Esa es una deformación del feminismo, es cierto que hay mucha gente pensando así. Es como si pretendieran extrapolar la lucha de clases a la lucha de sexos y eso no tiene sentido IMO.
El patriarcado es una construcción cultural que asigna roles en la sociedad según tu género (que no sexo). No creo que haya una diferencia muy grande de defensores del patriarcado entre los hombres y las mujeres, el patriarcado no es algo que defiendan todos los hombres y rechacen todas las mujeres.
IMO no es que las mujeres sean las oprimidas y los hombres los opresores, somos todos oprimidos (en proporciones que son discutibles, no tengo la verdad sobre esto). Eres oprimido seas varón o mujer si la sociedad te obliga a comportarte de una determinada manera por algo tan arbitrario como tener pene o vagina. Un ejemplo rápido que me viene a la mente es los juegos para niños; si eres niña no te regalan soldaditos, si eres niño no te regalan muñecas.
Si algo de esto te preocupa no se resuelve de otra manera que con feminismo, si como varón no estás cómodo con el rol que se te asigna no es culpa de las ni del feminismo, es culpa del patriarcado y flaco favor le haces a tus intereses yendo en contra del feminismo.