El deporte destruye mi matrimonio

Hola a todos. Llevo dos años con el padre e mi hija (10 meses), vivimos actualmente juntos, pero mi vida es un infierno. Sabía cuándo lo conocí que montaba cicla muy aficionado y jugaba fútbol. No le vi lío, sin embrago ahora después de tener a nuestra hija y vivir juntos, el continúa con sus rutinas deportivas. 
Los fines de semana los sábados y domingos monta cicla aproximadamente de 6 a 10 u 11 am. A mí me parece injusto que esto pase, considero que el debería estar en casa con nosotras. 
El dice todo lo contrario, que son solo unas horas, que toda la tarde está con nosotros, que agradezca que se vaa hacer deportey no anda por ahí con viejas. Etc etc. No sé si tengo la razón o el tiene la razón y yo soy muy posesiva. He tratado de hablar con el para que no sea todos los fines de semana, pero es imposible. El no va a dejar hacer deporte. Me separo???????