No sé si contarle a mi novio que estuve con alguien más

Hola a tod@s.
Les cuento mi situación.
Hace un tiempo mi novio de cuatro años me terminó, no es la primera vez que lo hace, la más larga fue como de un año, pero en esta última, cortó toda comunicación conmigo, no contestaba mensajes ni llamadas, me bloqueo en facebook, y total, que cortó la relación sin darme oportunidad de decir nada, ni poder hablar con él.
Después conocí a un hombre, que se notaba que sólo quería tener sexo, porque tan sólo a los días de conocerlo, ya había demostrado sus intenciones. Al principio lo evadí, porque yo no tenía interés, pero después de varios intentos de su parte cedí, igual sentía que en ese momento no me importaba nada, y pensaba que mi ex ya no iba a regresar, porque apesar de que insití en que yo no quería terminar con él, se fue.
La verdad es que no lo disfruté estar con el otro hombre, me sentí usada, como un objeto, y sin valor. Y para mi sorpresa a las dos semanas mi ex me volvió a buscar para regresar...
No pude decirle que no, porque lo quiero, y como les dije, yo nunca quise terminar.
Pero ahora me come el remordimiento, no sé si decirle, sé que sólo lo heriría y le metería inseguridades que no valen la pena. Quizá lo hice por falta de amor hacia mi misma, pero aún así, no puedo evitar sentir que si no le cuento lo estaría engañando. Espero que puedan aconsejarme, estoy realmente mal dándole vuelta a esto:
Gracias por tomarse el tiempo para leerme. Un abrazo a tod@s.