Creo que la respuesta a tu pregunta es muy simple...
Tu eres tu... únicamente eres su amante, si también estas casada o tienes pareja ya te acuestas también con tu marido o novio, de modo que da igual el que estés con alguien mas... Pero su mujer es su mujer, y por supuesto, con ella solo puede estar él, si le plantea eso y accede, luego quizá ya no la vea del mismo modo, dudo que se quiera arriesgar a eso cuando para sus fantasías te tiene a ti, que al fin y al cabo y aunque te suene machista, "eres de otro".
Piénsalo y veras la lógica de lo que te digo...