Piensatelo bien
Lo que sea hazlo ya porque si piensas separarte de él es mejor que lo hagas ahora y no cuando el niño sea más grande que se dan cuenta más de las cosas.
Desde mi experiencia personal te digo que no les ocurre nada si no se crian con el padre, tampoco le vas a negar que vea al niño simplemente que la convivencia se da por finalizada. Pienso que a la larga terminaras por tener discusiones con él y no es bueno que un niño/a viva en ese ambiente y teniendote a tí que ya has demostrado que eres capaz de criarlo sola y mantenerlo ¿para que te hace falta él?
Yo también pensaba lo mismo que tú que era bueno que mi hijo se criara con su padre, pero conforme pasaba el tiempo y veía como su padre pasaba del niño yo iba sufriendo cada vez más y pensé para que quiero que mi hijo se crie con un padre que pasa de él ahora que es pequeño?cuando sea grande entonces aún más y a pesar de que estaba muy enamorada decidí dar el paso (pero mi hijo estaba antes que cualquier otra cosa) lo dejé y es lo mejor que he podido hacer en toda mi vida.
Mi ex sigue viendolo cada quince días y vacaciones porque firmamos un convenio regulador de mutuo acuerdo (no le negué en ningun momento a él que viera al niño)así que el niño no se ha criado con su padre pero si lo ve, algo es algo.