Soy una egoista?!

Hola! Os pongo en situación. Tengo 25 años y mi chico 31. Llevamos 4 años juntos y todo es perfecto, la verdad  Este año yo he empezado a trabajar en una comunidad diferente a la mía, pero hasta el momento no ha supuesto nada a nuestra relación, porque siempre que podemos nos vemos. La cosa está en que él ahora está trabajando cerca de su casa (vive con sus padres), pero no es un trabajo estable. A pesar de ello, ha estado varios años trabajando y tiene bastante dinero ahorrado. Desde hace un tiempo me han crecido unas ganas inmensas de vivir con él y de ser mamá.
He hablado con él varias veces, pero sus argumentos siempre son los mismos. Dice que tiene las mismas ganas que yo de vivir juntos (no tantas de tener un hijo), pero que por el momento es imposible por nuestra situación, dice que si se quedara sin trabajo vendría a mi piso e intentaría buscar algo por la ciudad en la que estoy. Pero veo que para que eso ocurra, debe pasar al menos un par de años, y creo que no puedo aguantar ni medio año así.
Y me siento fatal, porque mis ganas no frenan. Soy una egoista pidiendole que venga a vivir conmigo, a pesar de que no tenga un trabajo estable? Si pienso friamente sé que tiene toda la razón y que lo mejor sería esperar, pero ya no sé que hacer para no amargarme todos los días pensando en lo feliz que sería si estuviéramos juntos ya... 
Perdon por el rollo, pero necesitaba desahogarme!