Temo hacerle mucho daño

Empezó hace 9 meses, tonteamos, hasta que pasamos a la acción con mensajes y llamadas constantes hace más de un mes.
Ambos estamos casados, el me saca más de 20 años, yo tengo 30.
Los matrimonios nos conocemos y salimos juntos a cenar.
He empezado con mucho miedo, mi matrimonio a fecha de hoy está roto, de hecho llevo 3 meses ni que sì ni qie no y con el divorcio solicitado, aun asi seguimos saliendo juntos, somos de un pueblo de barcelona donde no hay trabajo y las casas son carísimas como para irme de alquiler cnnlas criaturas...mi amante no tiene nada que ver, mi matrimonio hace aguas desde hace 5 años y lo mantengo por los crios de 7 y 5 años.
Con mi amante era todo maravilloso, pero se ha enamorado de mi y baraja la opción de dejar a su mujer por mi, y no quiero eso, porque si salgo de mi matrimonio, no me voy a poner a vivir con alguien, que encima es amigo y tal...
Pero no he sido del todo franca con él, yo tambièn le digo que le quiero, y que me gustarìa estar con él, iba bien, lo que pasa es que se está volviendo muy pesao con los te quieros.
Yo supongo que él estè en plena crisis de los 50 y que mi llegada a su vida sea como un soplo de aire fresco y qie me tenga idealizada, y eso que aún no ha habido nada carnal.
Es un hombre que me gusta mucho, por su inteligencia, humor, caballerosidad... es muy respetuoso con las mujeres (a excepción de la suya, que la adora, pero obvio q no la respeta al haber querido tener algo conmigo)
Fue el quien empezò, yo jamàs lo hubiera intentado.
La duda es que es la primera vez q me veo en esta situación y no sè cómo hacer para que no se entregue tanto, me pide que le diga que le quiero y cositas por el estilo.
Yo me voy a divorciar, pero no para estar con èl. Que bastantes.comederos de cabeza tengo ya. Què me aconsejàis? Muchas gracias