El problema no está en la diferencia de edad
Lo malo es que ni tú ni tu hijo sois lo bastante para él como para romper su otra relación. Que, no te engañes, es perfectamente rompible si se quiere. Renunciaría a cosas de hacerlo, claro, pero a cambio te tendría a ti a tiempo completo y miles de hombres dan ese paso. También lo es que otros tantos no....
Mi consejo es que salgas de ahí. Estas viviendo la típica relación de dependencia tóxica. No diré que no vaya a costarte, pero si tienes lo que hay que tener y eres una mujer de verdad, no una mema pusilánime lo harás.
Por otro lado, este tipo de hombres seguirán con las dos mujeres y obteniendo lo que les interesa de cada una todo el tiempo que puedan o, dicho de otro modo, mientras se lo consintáis y solo cuando se ven forzados a escoger, lo hacen. De modo que si te deja ir por algo será...sin duda no estabais en la misma onda y lo mejor para ti es recuperar cordura y libertad.