Eso es "relativo" puesto que cada quien tiene su forma de pensar al respecto, a algunas les importa a otras no. Pero en verdad no importa tanto ya que el verdadero protagonista del orgasmo femenino es el clítoris y en parte, los preliminares, puedes tener un pene grande "tamaño perfecto", pero si no sabes excitar bien a una mujer con los besos, masturbación, haciendole oral o lo que sea que le guste, será muy difícil que llegue al orgasmo.
Un pene muy pequeno y especialmente delgado sí tendría algo de dificultad para estimular "el punto G" (parte del clítoris que se asoma a la vagina y produce placer) pero en dado caso la estimulación se puede dar de otra forma.