Celos? O tendré razón?

Hola! Tengo una pareja hace un año y medio, es divorciado y tiene una niña de 11 años,no he tenido problema con la aceptación de la niña hacia mí.
El detalle surge en cuanto me voy involucrando más medio de la familia. ya que mi pareja vive con sus padres.me he dado cuenta que la relación que manejan con su ex esposa es fuerte, como si fuera una mas de la familia.la dejan entrar por toda la casa. Mi pareja me contó que quiso volver con ella en algún momento lo cual ha generado en mí una incomodidad aunque ya sé que él supuestamente no tiene interés en ella. por varios problemas que tuvimos por tanta confianza en cuanto  a lo que conté arriba.pues ya esto cambió y la chava ya no entra a la casa.
 Ahora el problema es más que todo porque todos los días tienen constante comunicación a pesar de que la niña ya tiene su propio móvil, ella la ex esposa cambia todos los días los horarios y cómo tienen una custodia compartida todos los días llega a la casa a recoger a la niña. Y si no se hace como ella quiere le hace un problema a mi pareja y el termina haciendo lo que ella quiere. El dice que es por el beneficio de la niña. Pero realmente entre más pasa el tiempo más molestia me genera y me molesta que el no le pueda poner un alto y seguirle su jueguito con el pretexto de q ella se pone como loca.

También les cuento que hace un año nos dimos un tiempo y en ese tiempo en uno de todos los días que.entró a.la casa. Con quien se desahogo fue con ella.
Y el otro día se metio a escondidas a.Un baño para escuchar  Un mensaje de ella.
Que creen que tenga que hacer? Estaré exagerando? Es.normal? Estaré muy celosa?