Mi novio no confía en mi

Buenas tardes.
Llevo 2 años y 4 meses con mi novio y desde hace unos 5 meses mi novio me confesó que no confiaba en mi desde el principio de la relación.
La historia es que antes de empezar, éramos muy buenos amigos y era en la persona que más confiaba por lo que le conté que me gustaba un chico. Cuando empecé a ir un poco en serio con él yo tenía miedo de comenzar otra relación por dos cosas: porque hacía unos 6 meses que había terminado una relación de 3 años y porque la otra persona me rondaba un poco la cabeza (aunque tuviera novia).
Lo hablamos durante un tiempo y decidimos seguir adelante. Desde ese día hasta el día de hoy hemos estado juntos, nunca le he engañado, pero su desconfianza hacia mi es muy grande.
Cada vez que discutimos yo me siento mal, porque la verdad es que no veo la manera de hacerle confiar en mi. Cree le gusto a todos mis amigos (varones), que hablo con gente a sus espaldas, incluso pone en duda que le haya sido fiel.
He pensado que esa desconfianza se debe a que yo siento que es una persona insegura. También me ha admitido que no quiere confiar en mi por miedo a que le haga daño. ¿Cómo le voy a hacer daño si es la persona que más quiero?
Muchas gracias por dedicarme vuestro tiempo, todas las respuestas serán bienvenidas.