Como llevar la relacion de pareja cuando ambos tenemos hijos!!

Estoy en una relacion ya hace un tiempo, mi pareja tiene dos hijos de diferente mama y viven en otro pais , no viven con el y yo tengo tres hijos , el problema que su hijo queviene de vacaciones es de edad similar a mis hijos, son niños es normal que peleen pero mi pareja siempre cree que su hijo tiene la razon , yo la verdad pense que iba ser mas facil convivir con alguien que tuviera hijos y que iba mirar bien a mis hijos pero yo siento que a el no le caen , para el su hijo es su mundo, yo me siento como un cero a la izquierda, yo trato de que su hijo no me mire como una mala persona lo trato bien y hasta me da gusto que jueguen entre ellos, pero cuando pelean y el niño llora ahi es cuando mi pareja dice que mis hijos son los que tienen la culpa que ellos pelean y yo no se que hacer , a veces prefiero mejor terminar con el y seguir haciendo mi vida sola con mis hijos, creo que es muy dificil que un hombre te mire bien a tus hijos cuando el tambien tiene hijos, alguien que haya pasado por la misma situacion?