Mi madre no quiere que lleve al hijo de mi Karen's cuando vamos de visita

Hola,
Mi pareja y yo vivimos juntos desde hace varios años. El tiene un hijo de su anterior relación que tiene 16 años. Nunca ha vivido con nosotros, esta con su madre y mi pareja le tiene un finde cada 2 semanas y en verano 1 mes. El tema es que de vez en cuando vamos a ver a mi madre que vive en otra ciudad donde nací, me gusta ir mucho, pero si coincide con el finde que me toca pues se lo lleva. Mi madre no quiere que me lleve porque no es nada suyo y ella es mayor y ya no quiere jaleos. Y claro yo intento ir cuando no le toca pero no siempre es posible. Y claro yo creo que también tengo que respetar tanto a mi madre como a mi pareja y sus situaciones. Acabo de tener un bebe, tiene ya 4 meses, y mi madre está loca por ver a la niña pero no quiere que me presente con el hijo de mi pareja sencillamente porque no es su nieto. El chaval es muy de su padre y de su madre, con lo demás no es muy sociable ni con su verdadera abuela, o tios, hay que sacarle la conversación, conmigo pues lo justo también, yo siempre me comporto con respeto pero no tengo una relación entrañable en ese sentido, es difícil sacarle conversación, y como ha sido hijo único pues han estado con el como muy protegido y cuando viene a nuestra casa v a su bola o con su padre y ya esta, ni yo estando embarazada me pregunto como.estaba, ni nada y ni nos echó una mano para colocar la casa y eso que mi bebe es su media hermana. En fin que yo soy cordial pero ni pretendo ni quiero comportarme como.una especie de madre porque no lo soy.
A mi tampoco me hace mucha gracia que vaya con nosotros cuando voy a ver a mi madre, pero me da un palo tremendo por mi pareja. No se que debería hacer, no quiero extender temas de mi pareja y su hijo a mi madre que ya tiene 80 años y no esta para líos. Ella solo quiere que vayamos los 2 y mi niña. Y yo no se si debería decírselo a mi pareja y como....Si me dais vuestra opinión, ideas o que harías vosotros...