Hola necesito un consejo

Quiero que me dieran un consejo hace un año me case mi esposo es buen hombre pero es que el solo quiere que este con su familia yo me llevo bien con ellos sus papas me caen bien vivimos con ellos el tiene dos hermanas y 6 sobrinos y yo soy hija unica tenemos una bebe de 7 meses lo que pasa es que yo me vengo en las mañanas a la casa de mis papas antes de que. Se van a trabajar me quedo agi con mi bebe y en la tarde mis papas llegan a comer y estan un rato con mi bebe y hasta las cuatro me boy con ellos ya que mi esposo trabaja con ellos lo que quiere mi esposo es solo andar con su familia y que mi bebe solo vea a sus papas hoy me dijo que ya no me va llevar con mis papas que porque ya se aburio de llevarme a la casa y que si queria estar aqui nadamas que me traia mi ropa y me quedara alli y tambien solo los domingos es cuando estamos mas tiempo con ellos pero al estar alli esta con su cara de enojado que ni me deja estar a gusto cosa que nunca le he puesto mala cara con sus papas yo no se que hacer mis papas quieren mucho a mi niña y por el trabajo solo la pueden ver un rato que hago