Ya no se que hacer

Llevo un año con mi novio trabajamos en el mismo lugar al igual que mi madre, el es divorciado mi mama sabe su historia puesto que tiene mas tiempo de conocerlo que yo al igual que todos los demas compañeros de trabajo, ellos no saben que ando con el y es q en el trabajo aparentamos q solo somos comañeros.
Ultimamente se han echo un poco de chismes que si andamos o no, a mi mama no le gusta eso y ya me dijo que no me quiere ver con el por el que diran y porq es divorciado y aparte fisicamente no es para mi.
La verda no se q hacer lo amo demasiado, pero tampoco quiero tenr broncas con mi familia y en el trabajo menos, quiero pedirle tiempo asi como yo le di tiempo a el durante su divorcio. No quiero eso pero deseo que las cosas se calmen un poco para q mi mama co el tiempo lo acepte y otra cosa que puedo hacer para q mi mama no lo vea como un bicho raro? A ella el le cae bien, pero no como para q andemos una por su divorcio, otra por los chismes del trabajo y otra por el fisico ayudenme por fa