No quiero hacerme responsable de hijos ajenos

Hola.
Tengo 19 años, y mi pareja es mayor que yo. Nos Amamos muchísimo. Tenemos más de 5 años de relación. Hace un año me fui a vivir con el a su casa. El problema es que vive con sus 2 hijos adolescentes (su mamá no se quiso quedar con ellos ni quería ninguna responsabilidad y pienso que es  estrategia de ella precisamente porque sabía que el y yo tendríamos estps problemas.) 
Ultimamente mi esposo y yo tenemos muchos problemas por sus hijos. El quiere que me haga responsable de ellos a pesar de que son unos groseros conmigo y le hablan mal de mi a medio mundo, siendo que yo nunca he sido grosera.
Ya le dije que yo soy muy joven y no quiero responsabilidades que le tocan a su mamá. 
No se como afrontar la situación si el y yo nos Amamos.  AYUDENME!!!!!