Mi pareja es impulsiva, tengo una hija con él y ahora estamos por irnos a vivir juntos, ¿qué es lo correcto?

Hola, buenas tardes

Me meto a éste sitio en busca de un consejo que en el mejor de los casos me ayude a abrir los ojos y reflexionar sobre que hacer en mi vida y tomar la mejor decisión.
Llevo 3 años de relación con mi pareja y al poco tiempo de ser novios sali embarazada de mi hija quien ahora tiene 1 año 7 meses , nuestro noviazgo duro 9 meses y yo lo dejé por que me dio una cachetada estando embarazada, pero hace como 6 meses nos volvimos a reconciliar, conoció a su hija, etc.
Ahora estamos arreglando el mudarnos a una casa el y yo juntos con nuestra hija, pero tengo muchas dudas, si es que será lo mejor, és estalla por cosas tan sencillas, si yo no hago algo que no le parece se molesta o si las circunstancias no son las correctas él se enoja, y a la vez tengo miedo que cuando estemos viviendo juntos haga algo más y no sé que creer cuando estamos bien, todo es perfecto es un hombre lindo y cariñoso y no sé con quien vaya a estar debo de confesar que hasta he llegado a creer que como su amor es tan grande por mi él va a cambiar.


Para no extender esta  nota he omitido muchísimos detalles, me ha llegado a pegar como 4 veces no han sido veces tan seguidas pero sí, lo ha hecho. 
Me duele esto, toda está situación, a veces es dificil reconocer la verdad.