¿amistad, sexo o ambas? necesito opiniones

Saludos a tod@s!
Necesito opiniones sobre qué hacer. Intentare resumir todo lo que pueda mi situacion.
Conocí a un chico hace 4 años gracias a una aficion que tenemos en comun. Desde el principio hubo mucha conexión. Al cabo de unos meses empezamos a tontear, pero él había salido hacia menos de un año de una relación muy importante y yo estaba pasando por un mal momento, asique no me fie mucho de que fuera el momento para tomarse las cosas en serio y espere a ver cómo se desarrollaba la situación. Nos liamos,pero me fui de viaje un mes y a mi vuelta las cosas se habían enfriado con él. Él estaba algo arisco y esquivo conmigo y decidi no insistir y esperar a ver con el tiempo cómo actuaba él (nos vemos 2-3 veces a la semana, sabia que no duraria mucho esa situacion). Al cabo de un tiempo volvimos a la relación que teniamos anterior, mucha complicidad, conversaciones a diario, algo de tonteo, pero no pasabamos de ahí. Despues de unos meses asi me dijo que habia empezado a salir con otra chica, con la que ya habia estado liado anteriormente (luego supe que la chica llevaba años detras suyo). El caso es que decidi poner distancia, pero nuevamente con el tiempo volvio el acercamiento. Después de un año de relación con ella le fue infiel conmigo. Yo no sabia si tomarmelo como un calenton por su parte o si quería algo más pero no se atrevía a romper con la vida que llevaba. Volvio a distanciarse. Y nuevamente con el tiempo volvio el acercamiento, pero siempre intentando no sobrepasar ciertos limites. Tenemos por costumbre irnos de excursion juntos los 2 solos, pero sin tontear, intentando ser solo amigos. Pasado otro año volvió a la carga. Estuvo 3 meses detras mio hasta que no aguante mas y volvi a ceder, y volvio a serle infiel a su novia conmigo. Esta vez, gatillazo incluido, al acabar, explotó y me dijo (mientras me vestia, todo muy desconcertante) que esta no es la vida que queria, que si esta "bien" con su novia porque pasa esto y en ese plan. No me atreví a decirle lo que pensaba, solo le dije que ni estaba casado ni tenia hijos ni nada que lo atara a seguir asi, y que nosotros nos hemos pasado la vida intentando ser amigos cuando sabemos de sobra que no podemos ser solo eso porque siempre se tuercen las cosas (siempre las tuerce él he de decir). Despues de esto, lo de siempre: distanciamiento un tiempo y vuelta a la relacion de siempre.
Lo último ha sido que me fui con él el jueves a pasar el dia y al final del dia fue muy a saco, y esta vez no cedi, pero nos fuimos con un calenton...

Para acabar solo decir que siempre que intento hablar con él del tema y arreglar las cosas o llegar a una solución él se cierra en banda, y es imposible. Le he dicho mil veces que si la solucion es cortar por lo sano para que siga con su vida lo hacemos, y al final tanta evasiva no se lo que quiere. Tengo 2 teorias: a) no se atreve a cambiar la vida comoda y estable que lleva desde hace 3años y medio pero tampoco quiere que desaparezca de su vida. b) cuando se aburre le da el calenton, viene detras mio y hasta que consigue lo que quiere no para, para despues pasar.

Qué opinais? Qué hariais en mi lugar??

Muchas gracias. Saludos!!