Me urge su opinion ¿que hago?

HOLA a todos.
Tengo una relacion con un compañero de trabajo desde hace 3 años y medio, los dos somos casados con hijos el tiene 41 años y yo 37. Sabemos que es solo sexo y lo disfrutamos mucho compartimos mucho tiempo juntos en la oficina, hemos sabido separar el placer con lo familiar y lo laboral pero, me he dado cuenta que el tiene un interes mas que laboral por nuestra jefa, ella es soltera de 40 años sin compromiso por supuesto ella no sabe lo q existe entre nonotros.
En realidad no se si el sienta algo por ella? , lo hace para q ella no se de cueta de lo nuestro? o por obtenet un Status y algun beneficio en el trabajo? (por que si es muy barbero) pero la verdad lo veo contento con ella, son compañeros de comida desde hace mucho tiempo pero el no sabe que he notado algo entre ellos de q me he enterado q van al cine, al teatro y en ocaciones la lleva a su casa, etc.
Por parte de ella no le veo mucho interes yo creo que ella lo considera su amigo nadamas.
Hace 5 dias el y yo nos enojamos por una tonteria y hasta el momento nos nos hablamos mas que para cosas de trabajo yo creo que nuestros compañeros ya se dieron cuenta de q existe un distanciamiento entre el y yo, no hemos terminado, solo nos enojamos y no hemos hablado al respecto.
El es un buen hombre y un exelente amante y me la paso bien con el, yo he sido una incondicional en esta relacion pero, yo no puedo seguir asi con esta duda y duele mucho el ver q a el no le intereso como realmente me lo decia y duele mas el sentirse desplazada.
Me gustaria me orientaran que hacer le digo lo que pienso o dejo las cosas como estan y me alejo de el sin decirle nada.
Mi problema es que trabajamos en la misma area y nos vemos diario no me gustaria que el se de cuenta que me molesta el comportamiento q tiene con ella. La verdad me gustaria hacer algo que le doliera a el y para que valorara la realcion que tenemos o en realidad creen que a el no le importa para nada lo nuestro.
Por favor opinen sobre esto, MIL gracias por leerme.