Se cansó de mi o sintió miedo? (mi amante es amigo de mi marido)

Soy casada hace 5 años, mi marido es un hombre bueno pero nunca se ha destacado en la cama, el es todo ternura, casi infantil. Yo tengo 32 y el 36. Hace unas semanas (mediados de Marzo) tuve un cumpleaños de la oficina (donde mi marido trabajó por años) y al regresar uno de sus ex subordinados y amigo me ofrecio llevarme a la casa y acepté pero era relativamente temprano asi que decidimos ir a tomar un trago solos antes de irnos. La conversación cada vez fue siendo mas personal finalmente termine teniendo sexo con el. Siempre lo encontre guapo, pero jamas pense en ligar con el. Debo reconocer que al aceptar quedarme con el a solas hubo un cierto flirteo que me indico que el tambien queria algo mas esa noche conmigo, ambos estabamos nerviosos, me costaba mirarlo, etc. Se que puede sonar ... pero como lo conozco hace años se que era la primera vez que era infiel. Es un chiquillo muy de su casa. Me senti genial desde entonces nos hemos visto unas 5 veces. He sentido de todo culpa (al igual que el, que me confeso sentia mas culpa por mi marido que por su mujer, a quien conozco y es simpatica pero medio celosa y eso le molesta a el, porque hasta ahora nunca le habia dado motivos) Rabia por no poder controlarme cuando lo veo, se que es solo sexo, no pretendo que deje a su mujer, no pretendo dejar a mi marido, de hecho siento que ni siquiera tenemos tantas cosas en comun, pese a que tiene 34. Hace una 2 semanas que nos juntamos (normalmente lo haciamos 1 vez a la semana) en la oficina lo noto distante, no me aguanté y le pregunte si andaba todo en orden y me dijo que si.Es verdad que ha tenido mucho trabajo, pero no he querido presionarlo. En uno de nuestros encuentro le dije que suponia el tendria la decencia de decirme cuando parabamos el romance y me dijo que si. Estoy deseperada, lo pienso todo el día, solo quiero lanzarme a sus brazos, no me resigno a no sentir las sensaciones que me hace sentir.
En otras ocasiones, por ultimo me guiña un ojo o me mira deseoso cuando paso pero ahora nada, saluda, sonrie pero ya no propicia encuentros en los pasillos como antes.

Que pasa se canso (tan luego) o se asusto por algo que dije o hice? en todo caso nunca le pedi nada, ni le reclame ni nada similar, justamente para no espantarlo.
ayyyyuda
gracias