Tengo miedo de enamorarme de mi ex cuñado

Y sigo con mis problemas, nosé porque el corazón juega estas pasadas, hace 1 mes y medio termine una relación de 2 meses con un chico, por la razón que comence a sentir una atracción por el hermano de mi ex, jamás hubo engaño, besos nada de nada, solo que al darme cuenta de esa atracción decidi dar un paso al lado, porque no me gusta la infidelidad y yo al sentir eso por mi ex cuñado ya me estaba portando mal.

El asunto es que ahora a mas de un mes de haberme alejado de esa familia, mi es cuñado a llegado a mi casa para invitarme a salir, para que conversaramos, yo no acepté la invitación, pero conversamos un poco en el jardín y ahí me dijo que había tratado de ubicarme (eso es verdad recibi varios recados, pero no los quise hacer caso), porque necesitaba hablar conmigo, me dijo que me extraña, que no deja de pensar en mi, que el está dispuesto si es que yo lo acepto, a hablar con su hermano por lo nuestro, a lo que yo sin pensarlo mucho le respondí, que yo no quería problemas, que es verdad que siento algo especial por él, pero que no quiero ser la causante de problemas familiares, a si que que mejor era no salir, y desde ese día llama a diario a una amiga en común para que me convensa para que quedemos.

Por como es él tengo muy claro que si inicio una amistad o algo más me enamoraré muy rápido, pero no quiero problemas, me gustaría tener una relación limpia, y sé que con él no podría, ya que está la sombra de su hermano, que no aceptó muy bien cuando termine esa relación.

Hace unas semanas comente mi problema en este foro y me ayudaron mucho, ahora les quiero pedir si me pueden orientar nuevamente, si estoy bien o no en NO aceptar iniciar algo con mi ex cuñado, tengo miedo de verdad.