Uff...
Es difícil darte un consejo, no se cuanto tiempo llevas con tu chico pero si el no hace nada para que no coincidais... no se.
Yo llegaría esta tarde y si el está allí ya, daría las buenas tardes, me sentaría con mi chico y pasaría de él, si se mete contigo, contéstale irónicamente y sin gritos, como de broma, por que tu novio no se altere el pobre recién operado digo, y cuando tu novio esté recuperado del todo habla con el del tema, dile que no le impides quedar con el pero que tu no quieres verle, que intente evitarlo.
Si no cambian las cosas, bueno, eso es harina de otro costal, tal vez tengas que tomar tu una decisión, pero ahí ya no me meto por que no conozco vuestra relación, tendrías que verlo tu.
Saludos.