Mi opinión
Sabrás que es muy fácil decirte: "nada... eso no es importante... no le hagas caso a la gente, total la relación es solo entre ustedes dos..." Pero sabemos que la presión social es muy fuerte que, si no la tenemos clara, nos puede cambiar la forma de pensar muy rápido.
Mi opinión es que debes convencerte de que él es la persona para ti, sólo importa cómo te hace sentir, cómo te trata y qué bien le haces tú a él también. Una vez que te convenzas que definitivamente le amas y no hay nada ni nadie que pueda hacerte cambiar de opinión (más que él, por supuesto) entonces, los comentarios de la gente no tendrán poder sobre ti.
Yo alguna vez tuve ese problema ya que soy muy alta y mi novio de ese momento era 7cm más bajo que yo (¡peor que en tu caso!). Nos invitaron a una cena formal y no me quedaba opción: debía usar zapato de tacón con el vestido... Cuando me vio, se quedó un rato pensativo y luego me pidió que me cambiara ya que no podríamos ir así... ¡la diferencia ahora era de 12cm!
Luego de la velada, opté por decirle adiós, no por el hecho de que me pidiera que me cambiara, sino porque el muy insensible ni se fijó lo bonita que me veía ya que era más fuerte su inseguridad y su machismo...
Suerte en tu relación, no dejes que un hecho superficial arruine lo que en potencia puede ser de lo mejor que pueda ocurrir en tu vida.