Hola
Primero me gustaría saber si con "amantes" te refieres a una simple aventura o si sois algo más, y tenéis una relación.
Si es lo primero, lo más sensato sería que le dejaras. Una de las veces que quedéis, habla con él, dile todo lo que sientes y pregúntale qué piensa él de vosotros y si está enamorado, pues viviendo tan cerca y que apenas os veáis... Si solo sigue queriendo mantener encuentros esporádicos contigo, no te lo pienses más, y vete, no vuelvas a verle. Te lo digo por experiencia propia, a lo único que conlleva es a pasarlo cada vez peor, y a cerrarte puertas que podrían llevarte por mejores caminos. Al principio dolerá, pero sino le ves ni habláis, el tiempo curará tu herida.
Ahora bien, si lo vuentro es una relación más fuerte, ponte las pilas y dale un ultimatun. Explícale que no puedes continuar en esta situación y que, si realmente te quiere, te demuestre su interés y empecéis a veros más.
Espero que te vaya bien.
Besos.