Cita con conicido de mi "pareja"

Hola.. visitando el foro para pedir un consejo.. hace un poco mas de tres años tengo digamos una relacion y digo digamos porque desde un principio el me dejo en claro que solo seria sexo ocasional ya que es casado y nuestros encuentros son tan esporadicos ya que no soy su unica pareja, ya saben el clasico macho que tiene dos o tres, en muchas ocasiones e intentado dejarlo pero no he podido a pesar de todo yo lo quiero me enamore tontamente de el, la historia es demasiado larga y se que si se las contara me entenderian pero no quiero hacer una carta larga y se aburran de leerme pero estoy hecha un lio.

Tengo ya varias semanas pensando en como hacer para dejarlo definitivamente el no se merece lo que siento por el y yo no me merecezco recoger solo las sobras que va tirando pero me resulta tan dificil   aunque reconozco que la unica culpable aqui soy yo; pero como evitar que el corazon sienta eso es imposible... bueno el caso es que apenas el sabado pasado un conocido de el porque no son amigos aclarando; me mando un messenger despues de ver una foto que subi en el face ya que lo tengo de amigo, me invito a salir, claro aclarando que seria solo una aventura osease una sola noche asi lo planteo; el hombre es directo y eso me gusta, me pidio mi numero de cel y se lo envie porque se me hace un hombre interesante y porque creo  tengo derecho a disfrutar, total que empezamos a platicar por whatts y desde ese sabado hemos estado en comunicacion, asi que quedamos de salir este viernes, pero yo siento que estoy traicionando al hombre con el cual he compartido estos tres ul!@#*!s años; y estoy pensando en cancelar la cita; tengo miedo que aunque son conocidos comparten amigos en comun, por eso siento que lo traiciono... estoy tan confundida;

Denme un consejo por favor...