El problema es que luego hay que convivir, todo es muy bonito hasta ese momento. No dices tampoco si tu estas soltera, casada, viviendo en pareja, con novio...
De todos modos, no me parece lógico que regrese con la esposa dándole una oportunidad mientras se esta pillando contigo (todo según lo que tu dices), para mi suena extraño la verdad.
Tienes pocas opciones, o continuar quemándote hasta terminar ardiendo, o empezar a tomar perspectiva e ir poco a poco poniendo distancias entre ambos. Si el no se decide y continuáis asi te vas a convertir antes o después en "la otra", no creo por lo que has escrito que sea eso lo que tu deseas.
Es tu vida y tus decisiones, pero deberías de ir planteándote ir tomando distancia con él.
Suerte