Si, claro,
el sexo, una conversacion, un viaje, la convivencia, los hijos...hay muchas cosas que pueden destruir una pareja. Pero esta claro que no dejas de hacer cosas que te apetecen, y de las que ambos estan de acuerdo, por miedo a que eso ocurra.
En la pareja se van dando pequeños pasos, que contribuyen a distanciar, o acercar, dependiendo de como los dos actuen o perciban. En este caso, parece que ayudo a distanciar, y te vendria bien saber porque.
Lo que te conviene, es no dar excesiva importancia a este tipo de cosas, porque son cosas que pueden pasar.