Cuando alguien destruye tu yo interno...¿se llama baja autoestima? consejo...

Una pregunta
no fue por ese mismo motivo que te separaste de tu pareja? porque no te defendió? Me quedó grabado el caso porque nunca entendí que alguien pudiera modificar toda su vida por lo que haya dicho una persona ajena a la pareja.
Le has dado ya demasiada importancia.
En mi humilde opinión deberías buscar ayuda profesional porque no es normal seguir así de sensible después de tanto tiempo. Por lo que has dicho esa persona no es de tu familia sino de la de él (se podría llegar a entender si hubiera sido tu madre o tu padre) pero la otra es que inconscientemente sientas algo por la persona que te humilló.
Busca en lo más profundo de tu ser la causa y trata de superarlo.
Quizás te haga bien desahogarte con todas las letras en algún foro (no tiene por qué ser este) y decir lo que te dijo y lo que sentiste, es una forma anónima de hacer terapia.
Suerte.

No conozco el caso
pero en términos generales, ciertas críticas, en determinada situación y de determinadas personas, claro que pueden afectar a tu yo interno, como lo llamas. Existe el maltrato psicológico y esas cosas. Pero si era una persona ajena a tí, tal vez te afectó por el momento personal que estabas pasando. A veces estamos de bajón total o stress y cualquier cosa, de quien sea, nos afecta más que en situaciones normales, en las que pasamos de muchas cosas que no merecen la pena.

En cuanto al recuerdo, y supongo que tendrá una explicación científica y neurológica, es normal que al revivir en tu cerebro la situación, revivas al mismo tiempo lo que sentiste en ese momento.

Si puedes, acude a un especialista. Si no, empieza por no recordar, que sólo te hará más daño.