No se que hacer, sigo con el o no? ayuda!!!

Hola, me gustaria que me ayudaran, no se que hacer todo me da vueltas en la cabeza. La cosa esta asi, hace 7 años tuve un novio al cual llegue amar muchisimo, no me importaba ni la opinion de mi familia ni de mis amigos, ya que cuando empezamos a andar el tenia como 7 meses de haberse separado y tenia un hijo con su ex pareja, eso no me importo, pero al año y medio de ser novios el me engaño y me dejo por otra. En fin pasaron los años, yo hice mi vida y el la suya y a principios de este año el regreso a mi vida, la mujer por la que me dejo lo dejo, lo engaño, y fruto de esto tuvieron un hijo, en fin lo acepte, y empezamos a salir nuevamente, el niño tiene dos años, pero ahora la mama del niño lo abandono con El, y vive con mi novio, la verdad es que no se que hacer, lo quiero, pero ahora no puedo ver a mi novio si no es con su hijo, si salimos tiene que llevarlo porque la mama de mi novio no lo quiere cuidar, ni sus hermanas, pero no me es facil, siento que al ver al niño me voy a acordar de lo que paso hace tiempo y el es el fruto de su engaño, el niño no es el problema, me gustan los niños, el problema es la situacion en la que el vive, ya tiene dos hijos de dos matrimonios fracasados, y llevo un mes sin verlo porque no quiero verlo si lleva al niño. yo no tengo hijos. tengo 27 años y el 32, que hago ayudenme por favor.