Tuvimos una aventura pero quiero que no me busque más

En resumen, hace meses llegué a mi nuevo trabajo y decidí tener una aventura con un compañero casado pero mi intención era puramente sexual, un poco de buen sexo. Sin embargo, empezamos a compartir tiempo y detalles y nos encariñamos. Despues de tres meses, decidí terminar con esa relación porque me di cuenta que me estaba como enamorando y además se que no trae nada bueno a mi vida. El lo entendió y durante casi un mes nos alejamos (cosa que es muy dificil porque trabajamos juntos y no hay ninguna posibilidad de traslado ni nada) pero luego fue inevitable estar juntos de nuevo y hicimos el amor, depues de eso, lo hicimos de nuevo en dos ocasiones pero siempre me he sentido mal conmigo mismo luego y lo trato como si nada hubiese pasado. El sexo es muy bueno especialemente para el porque manifiesta que es el mejor sexo que ha tenido y se que me buscará de nuevo y loque temo es que no lo pueda rechazar. No sé si alguien lo entienda pero hay relaciones en que los instintos son tan fuertes que es muy dificil resistirse y no quiero que esto se me salga de las manos.
En conclusión, quiero saber que puedo hacerle o decirle para que de verdad me deje de buscar, no le queden ni ganas de buscarme.
Gracias