Los chismes son casi inevitables
Además, si la gente no sabe, pero se huele algo, se inventa lo que pasa, cést la vie.
Por otro lado, tú y tu jefe sois adultos y entiendo que dos personas libres, luego si dicen, que digan. Si os gustáis y estáis a gusto juntos no veo porque no vais a poder salir juntos y ver que pasa. El único es que si termináis mal, que a veces sucede en esto del amor, si sería un problema que él, además de un ex mosqueado sea tu jefe. Te puedes quedar sin novio y sin trabajo en el mismo día, así que valóralo, que es un riesgo.
Si decides que no vuelves a quedar, dale una de cal y una de arena con excusas a tus negativas hasta que se de por aludido. Tu error habrá sido entonces, haber dicho antes que si, pero eso no se puede cambiar.
Saludos y good luck.