Dificil que es entender el amor

Buenas noches.
Es mi primer mensaje y es que necesito ver puntos de vista que me ayuden a encaminar mi vida sentimental...
Hago un breve resumen...
Hace 13 años me enamoré de un compañero de trabajo. Era divorciado y comenzamos una aventura. En todo momento me quedó claro q iba a ser eso pero me enamoré...
Al tiempo empiezo a ver cosas raras y al pasar un año ya él no me lo puede ocultar más y me reconoce q sale con otra chica (yo llevaba meses preguntándole y me lo negaba una y otra vez).
Le dejé varias veces pero al vernos a diario volviamos a quedar. Lo pasé tan mal que pedí traslado en el trabajo y me fui a otra ciudad. 
Empecé a sentirme mejor haciendo otra vida pero en vacaciones seguíamos viéndonos y la verdad, segui porque le quería pero nunca me trató excesivamente bien...
Siempre me dijo que era una aventura, aunque yo sentía que me quería, compartiamos todo, horas y horas de tlf, algunos viajes, era un gran apoyo...
Él caso es que él siempre me dijo que como no eramos pareja yo podía tener otras relaciones y en estos años he tenido algunas que no fructificaron (todo se lo he contado siempre).
El caso es que este año que termina  se vuelca mucho en mi, me dice que me quiere, que para él yo soy su mujer, que tiene claro que conmigo sería muy feliz, que con su pareja esta por el niño, porque es aún muy pequeño.
Pues resulta que yo le cuento que he tenido un escarceo con otro compañero, de la ciudad donde vivo actualmente (a donde huí y NO ME LO PERDONA!! 
He pasado un año malísimo desde que le conte esto porque esta sufriendo mucho, intenta hacerme sentir culpable, me dice que le he decepcionado...
Me parece increíble...Si no es mi pareja pq él no quiere como puede sufrir tanto por ello?? 
El final es que después de un año haciéndome reproches sobre el tema ha decidido dejarme porque dice que no lo supera...
Y me duele muchisimo y no lo entiendo. Este año volvió a ilusionarme cuando yo ya hacia mi vida y por un escarceo rompe la posibilidad de ser felices...Algun hombre que me explique esta postura que ha tomado? Alguien que me diga que hacer, si luchar, si olvidarle...
Gracias por adelantado!