No sé que hacer.

Hola.
quiero hacer una consulta de como reaccionar a una situación de mi Novio. Que es mayor que yo y tiene 3 hijos el mayor tiene 28 años(dejó los estudios y vive con el padre, No trabaja él le da todo), la hija 23(ya tiene a su hijo y su pareja) y el menor tiene 20 años. Él  se separó de la mujer por distintos motivos violentos de parte de la mujer hacia él..
comenzó que el dijo que estaba saliendo con alguien más y que quería separarse. Todo le dieron la espalda, pero él siempre estuvo ahí para ellos. Les ayudaba en lo que ellos necesitarán en los meses siguientes. Su hijo mayor estudia en la Universidad y lo ha dejado, el menor está recién por terminar el Secundario. La hija no salió del secundario pero empezó a estudiar de nuevo. Él ayuda a su Ex en lo que ella necesita y aún así lo tratan mal. (Expliqué un poco para que puedan entender.)
 Yo salgo con él y he dado su lugar y he entendido la situación, en cada momento de no molestar a los hijos cuando están en su casa, si yo iba le decía que no quería ir a su casa y nos quedábamos en un lugar apartado de la casa para no molestar a sus hijos. Y hay momento que él se olvida de mí, en momentos que está con algunos situaciones de que tiene que ayudar con algún problema de reparación de la casa de su Ex mujer. Yo para no detenerlo lo esperaba en el auto las horas que hicieran faltas, porque sé que él estaba pasándolo mal en ese momento. Ahora estoy quedándome más con el en casa,pero cuando hay algo que hacer unos planes. Y recibe una llamada o msj de su Ex mujer todo cabía las cosas y yo termino esperando, para no crear conflictos con sus familiares (cuñados, ahijado etc) y para que no pase un mal momento lo espero mientras el va a jugar una hora al fútbol. Y después de ellos nos hiriamos a lo que habíamos quedado inicialmente. Y yo que cuando él dice que le gusta las mujeres que se maquillan. Y lo intento y lo hago y no lo nota y me hace sentir mal, que no demuestre algún comentario halagador. Y Lo último que me dijo fue" Ya no me importa lo que digan los demas" Y justo la noche siguiente tuvimos una fiesta y fuimos juntos y aparecen sus ahijado y el me dice " quédate atrás que no sabía que ellos iban y se fue caminando a saludarlo y posicionarse lejos de mí" y yo yendo con una amiga más atrás. Después ve a otras minas diciendo lo lindas que están como broma y luego me dice " sabes que es broma" y después Yo me pongo mal y no sé qué hacer. Por qué lo amo. Y le he dado todo mi cariño y más para ayudarlo. Pero ya no sé qué hacer. Ó como actuar porque él me dice porquéte enojas? Ya te enojaste por estupideces. Sí yo no hago nada malo ó no me doy cuenta dímelo. Pero yo no puedo decirle nada para que no se preocupe o piense que me enojo de nada. Y le digo no hay problema, no tengo nada. No sé cómo empezar en decirle lo que me pasa.
SI ME AYUDAN PORFAVOR!!! 
desde ya mil gracias.