¿has intentado hablar de esto con tu pareja?
Si tienes pánico podrías tratar de hablarlo con él, pues me imagino que ya con cuatro años de relación estable se tendrán plena confianza.
De igual manera si no te sientes lista para tener relaciones sexuales aún, puedes decírselo, y él seguramente entenderá que a cada quien le llega su momento en diferentes etapas.
Aún eres joven, por lo que si no estás lista es completamente comprensible.
Además, si llegas a hacerlo con ese temor o con dudas al respecto, lo más probable es que te duela debido tanto a la falta de lubricación de tu zona íntima como al hecho de que la misma no se expanda como es debido por la duda, el miedo o los nervios que sientas en ese momento.
Si, por el contrario, te sientes lista pero solamente le temes al dolor, puedes hablar de ello con tu pareja para que avancen poco a poco, y que te vaya dando confianza, pues no hay necesidad de que vayan tan rápido (aunque no sé realmente hace cuánto comenzaron con eso de los roces y demás acercamientos que mencionas).
En fin, mucho éxito y recuerda que la confianza es primordial en una relación.