Ayuda.

O sea, lo que él te dice es algo entendible desde el punto de vista que se separó y evidentemente no puede irse a vivir a otro lado, aunque podría vender y darle una parte a su ex esposa. Sin embargo, más allá de que en verdad no pase nada con su ex ¿te imaginas tu quedándote a dormir con él allí? La situación sería chocante.

Que debo hacer?? Dejar esa relación?? 

Pues ya de por sí tu te estás liando a una relación que viene compleja porque él está separado y con un hijo. Cuando hay hijos de por medio siempre son ellos la prioridad, pero en tu caso es más complejo aún porque él vive prácticamente pegado a su ex.
No sé cuánto hace que tu estás con él pero deberías de plantearle tranquilamente el hecho de que tu jamás podrás visitarlo en su casa a ver qué solución el te dá a ello.
Pero más allá de ello, creo que es muy complejo que lo tuyo tenga una solución sencilla y en el corto plazo.

¿Has constatado que todo eso es cierto?
Cómo dice charles1972... ¿tienes intención de pasar algunas noches allí, aunque sean de vez en cuando?
¿Hay algo más que no hayas contado?

Entiendo que llevas estas con él antes de separarse, cuando él estaba todavía con ella no? Si es así si estaba contigo y con ella a la vez también puede hacerlo ahora