Relación con un hombre casado, con hijos y mayor que yo

 ola a todos soy nueva por aca y quiero pedirles consejos respecto a mi relación ya que estoy llegando a mi límite y de pronto no se que hacer.
Tengo 21 años y mi pareja 46, llevamos año y medio de relación, nos conocimos por cuestiones laborales, cuando nos comenzamos a tratar y el me cortejo le pregunte si tenía hijos (siempre he huido de personas con hijos por muy encantadores que sean), me dijo que solo tenía 1 de 18 años y vivia en otro estado. Total lo deje pasar porque di por entendido que si me estaba cortejando es porque ya no tenía que ver con nadie o por lo menos asi me lo dejo ver.
Al paso de los meses comenzaron mis sospechas y como a los 4 meses de novios sin espiarlo, me llego la información solita pues lo vi con uno de sus hijos que para nada tenía 18, es un pequeño de 10 y me entere que vivia en una two story con sus otros 2 hijos y su esposa es decir 3 hijos aparte del que vive en el otro estado, para lo cual lo acepto, me dijo que el vivia en una parte de la casa (independiente), sus hijos y esposa en otro lugar donde no se cruzaban para nada, que no me había dicho porque se había enamorado de mi desde antes de que nos hablaramos y tenía miedo de perderme, que llevaba 2 años separados, ''se la compre, se lo creí''.. Le pregunte que pasaba con el divorcio y según el ya estaba siendo tramitado, tuvimos muchas peleas antes de yo enterarme de todo eso porque el era muy celoso y posesivo siempre pensaba que yo coqueteaba con otros cosa que jamás hice, después me entere que la esposa lo engaño y por eso se separaron. Pasado el tiempo no quise indagar más sobre su vida al final de cuentas en un principio no lo tome en serio, con el paso del tiempo aprendi a quererlo, con ello más situaciones un tanto negativas que me incomodaban, principalmente el hecho que me oculto sus hijos ¿Que clase de padre hace eso?, con otras personas lo primero que me dicen es sobre sus hijos y por ello he salido corriendo a tiempo.. Pero cuando él me dijo sobre ellos no le di importancia pues al fin ''no era en serio''... al paso de 6 meses, me incomodo que viviera en el mismo domicilio aunque no fuer bajo el mismo techo, el se justifico diciendo que podrian acusarlo de abandono de hogar y bueno comprendí.. Cuando me hablaba de alguno de sus hijos me era incomodisimo y era motivo de pelea (yo no toleraba que me hablara de ellos pues me recordaban a la madre y si historia con ella), el le bajo a sus celos pues sabia que podia perderme, no lo iba esperar eternamente, comenzaba a prohibirme cosas como ver a mis amigas cosa muy absurba para mi. Todo ello se le quito porque despues de un tiempo me decidi a dejarlo y me busco, se salio de su casa supuestamente el primer tramite no funciono pues la esposa supo de mi y se nego a dar el divorcio y para que el procedimiento tardara le metio demandas sobre todo de pension alimenticia en donde tambien exige que le de a ella por los años que él no le permitio trabajar, he estado con él y tal vez no de la mejor manera, lo quiero muchisimo pero considero que soy muy joven para estarme amargando sobre sus problemas, hasta hoy despues de año y medio no se ha divorciado, mi familia no lo acepta. He tratado de irme de su lado pero siempre me busca y la verdad es que lo quiero, conocí a sus hijos y son lindos tienen 10, 5 y 4 años, al del otro estado no lo he conocido y por lo que veo para el fue un ''error'' porque no se caso con la madre y esa familia tampoco lo puede ver y no le permiten ver al niño, no da pension de nada, solo le lleva regalitos en navidad. Los dos pequeños me adoran y siempre quieren jugar conmigo, el mayorcito me tiene cierto resentimiento, me imagino por la madre, pero no le presto atención pues es un niño, he tratado de ganarme su cariño poco a poco, pero de pronto me gana el otro lado y digo es que estos niños no son míos, mi novio ha pensado quitarselos a su madre pero es de esas ideas que la mujer no debe trabajar, a mi no me agrada la idea de cuidar a los niños más que nada porque no tendría intimidad con mi novio a demás que yo haría lo que jamás en vida si me quedo con él; cocinar, lavar trastes, lavar ropa, hacer aseo, con mis padres no he tenido necesidad de nada, solo estudio y trabajo, ellos me han inculcado ser una mujer independiente, a veces le he prestado dinero pues lo que le quitan lo deja en la miseria y no le alcanza más que para una despensa pequeña, a mi nunca se me ha limitado en nada, aunque estoy dispuesta a soportar muchas cosas por él (y las he aguantado) ya se me ha hecho mucho tiempo, me da rabia que me haya ocultado las cosas, quisiera dejarlo no por sus problemas si no por el simple hecho que yo aportaria la mayor parte de los gastos cosa que me incomoda pues creo yo que un hombre de más de 40 ya tiene solvencia economica, cosa que con él no es así, los niños los adoro pero un ratito y de vez en cuando, si quiero tener 4 hijos las cosas para cada uno se minimizan y como a mi nunca me han limitado yo tampoco lo hare con mis hijos, lo principal, que me prohiba cosas, el ya vivio su vida él ya hizo y deshizo, hasta el mismo guía espiritual me dijo que lo mío con él no tendría futuro.
Tengo mucho coraje, lo quiero, es increible, es consentidor, muy guapo, fisicamente tiene un cuerpo atletico, siempre se preocupa porque yo me sienta bien y cuando trabaja por fuera para conseguir dinero extra me lleva a los mejores lugares, hasta a penas hace unos meses hablamos de casarnos en 2 años, irnos de viaje. Tal vez suene egoista el se jubilara este año y ese porcentaje se va con la aún esposa y lo peor es que trae a los niños mal arreglados, yo no quiero compartir nada de mi futuro esposo y me gana eso de que ya se haya casado, me prohiba cosas, tenga más de 2 hijos, mi familia no lo quiere... 
Que me aconsejan? Gracias por leer toda la historia.
Un abrazo!