Me inhibo y no se porque!! ayuda

Tengo un problema que no se como superarlo y necesito ayuda de verdad.
Me inhibo mucho al momento de tener relaciones con un hombre, no se si es verguenza o que. No soy virgen, he tenido relaciones pero siempre quien lleva la iniciativa es él, yo me quedo como petrificada y no me sale nada. Tal es asi que no puedo disfrutar y no se a que se debe.
A veces tengo intenciones y ganas de tocarlo por ejemplo pero no me sale, es como que me quedo "dura" y él se cansa de ser siempre el que da la iniciativa, me acaricia, todo y yo nada. A veces hasta él pierde las ganas.
Me dijo que siente que me pongo nerviosa y creo que si. Pero no puedo manejarlo.
Y al sentir esto es como que no me dan ganas de tener sexo porque no disfruto nada.
Que hago??