Puede terminar una relación por la familia?

Hola espero puedan aconsejarme 
Tengo 4 años de relación con mi pareja. Dos de ellos ya viviendo juntos. Nos llevamos bien.

El estuvo casado por tres años antes de conocernos. Su relación fue complicada y terminó debido a que su ex se fue al extranjero junto con su hija. Por desgracia ella no dejó que volviera a ver a su hija quien estaba muy pequeña a su partida. 
Desde entonces no han regresado.

Al comenzar una relación yo procuré llevarme bien con su familia, sin embargo comentarios ha cerca de su pasado no dejaron de decirse. Desde que ella era muy mala y constantemente peleaban, hasta que la idea de la separación fue la mejor.
Hasta cierto punto fue soportable y como estaba enamorada dejaba esos comentarios de lado.
No puedo negar que desde el principio noté "frialdad" de su lado.

Ahora que llevamos tiempo viviendo juntos, las cosas empeoraron. Ambos hemos platicado y queremos casarnos al Civil, lo cual fue un escándalo en su familia. Desde su mamá diciéndonos que el casarnos sólo complicarian las cosas al querer separarnos, hasta que el no tener hijos era la mejor idea (vieja loca,perdon). Hasta su hermana que por cierto resultó ser la mejor amiga de su ex, diciendo que la ex esposa es y siempre será la mamá de sus hijos y por lo tanto merece el primer lugar.  Y si antes eran frías,  bueno la cosa está peor.

En fín he hablado infinidad de veces con mi pareja y siempre pasa lo mismo. Me dice que no puede cambiar la opinión de su familia, pero eso no influye en nuestra vida.
Lo malo es que debido a eso yo casi no voy a visitarles, y consecuencia el tampoco quiere ir. No quiero que el deje de ver a su familia, pero tampoco quiero seguir aguantando esta situación. Este tema me ha como "enfermado"  al grado que hemos discutido debido a esto. 

Que debo hacer? Como enfrentó la situación? Espero puedan ayudarme.
Gracias de antemano