Ayuda- discusión con mi novio por racismo

hola conocí a mi novio cuando tenia 13 años,comenzamos siendo los mejores amigos, aun lo somos, tenemos una amistad tan solida que diría que es de las mejores cosas de nuestra relación, actualmente tengo 19 años y recientemente he tenido una discusión desagradable con mi pareja, todo comenzó cuando me comentaba que uno de sus amigos tenia gustos muy parecidos a los míos en cuanto a lectura, y le dije

- ah genial!, deberías presentármelo, podríamos ser amigos
a lo que el responde
- no puedes ser su amiga porque eres negra.

el amigo de mi novio ciertamente es una persona que quizá se considera racista, o mas bien le gusta comentar bromas pesadas sobre las personas de color, a mi novio también, el dice que es "de broma" y muchas veces me ha dicho que le encanta mi color de piel, le gusta mucho y que incluso el comentario anterior también había sido de broma, no espero que me hiriera, de igual manera decidí pasar el comentario por alto esperando que no lo hiciera de nuevo. esa misma noche le conté que había sufrido un susto cuando al ir a la cocina estando todo oscuro y me sorprendí por mi madre que trato de asustarme a propósito siendo parte de una jugarreta, a lo que el dice

- como serán de negros, yo pensé que eso era un chiste nomas (refiriendo al hecho de que dicen que cuando apagan la luz las personas morenas no se ven)

sin embargo se estaba refiriendo a MI MADRE lo cual realmente hizo que quisiera decirle de todo en cambio decidí controlarme y decirle que me iba ( en ese momento estábamos chateando) dejandole claro que estaba muy molesta, el solo dijo que no me molestara y se fue de igual manera, cuando mi novio se molesta el nunca enfrenta la situación de igual manera se va por todos los días que sean necesario hasta que se calme y vuelve como si nada sin hablar de el asunto, incluso aunque yo quiero retomar el tema para dejar todo claro no le gusta simplemente quiere hacer como si nada hubiera pasado y eso no me parece sano, nunca pide perdón a menos que yo le haga ver que hizo algo muy hiriente y que debería disculparse, lo hace solo por complacerme no porque realmente lo sienta, aveces el dice que se comporta de manera odiosa conmigo por el hecho de que nunca ha tenido amigas mujeres solo yo y la forma de tratarse con los hombres es un poco diferente, ese tipo de jugarretas crueles para ellos según mi novio es normal, sin embargo es una persona muy amable y compasiva y se que me ama casi nunca tenemos problemas pero ahora mismo no se como enfrentar esta situación.

agradezco de antemano sus consejos