El padre de mi hijo se va y vuelve y me tiene arta

Buenas noches tengo una situación difícil de explicar pero la contaré , tengo un hijo de 7 años y el padre de él yyo nunca tuvimos relación buena, él fue irresponsable etc y por ende me aleje de él con mi hijo, desde estos casi 8 años ya, el varias veces a intentado acercarse pero le sale negativo ya que las primeras veces él se desviaba y empezaba a notar otras intenciones en la cuál me molestaba yo mucho y lo espantaba y le prohibía todo, después de tantos años conforme al tiempo tengo una relación muy seria en la cuál mi hijo ve a este hombre como padre y ahora aparece el padre Nuevamente ( nunca le puse medidas cautelares ya que pienso que tampoco son situaciones que no pueda yo controlar ya que el tampoco insiste y se va aunque con el tiempo vuelve), como les iba diciendo él ahora actualmente tratamos después de todo hacer las disque pases por el niño ya que está grande y llegamos a conclusión que no es bueno que nos vea pelear, este hombre el padre de mi hijo tiene ya dos hijos más el cual si ayuda que me parece injusto ya que al mio nunca nada, y pensión nunca le puse tampoco para evitarme que se acercara ya que no veía buenas intenciones nunca lo hizo, aparte que nunca tuve necesidad ya que soy profesional con estabilidad laboral de buen nivel, este padre de mi hijo ahora que se acercó otra vez vi sus intenciones aparte de querer estar con su hijo me decía cosas como salgamos con el niño, envíeme fotos de los dos ( por cierto siempre desde que nos dejamos me pide fotos y eso me molesta), pero como le di lugar ami pareja y le dije que no y lo puse en su lugar demostrando que mi pareja vale mucho para mí, ahora me habla cortante y es odioso, aveces me hace sentir incomoda y nose ya como actuar con el porque yo tengo un carácter bastante difícil y por ende no me doy cuenta mi forma de expresarme y mi tono de voz, yo me siento normal pero el no si le hablo de manera talves exigiendo algo del niño el ya se molesta y me dice que yo le voy a pegar que yo soy insolente yyo no siento que le diga nada feo,, pero rayos me está empezando a stressar él, viene y me dice paso por usted a su casa?? ( sabiendo que yo estoy con mi pareja aunque no vivamos juntos viene con frecuencia y él a sabido eso,) entonces le digo que qué quiere meterse en problemas o que!? Que como me dice eso!!!!?... Y me sale y dice que como es posible que me importe mas lo que piense mi novio... Realmente esta relación de hablar según yo era de mi hijo y aveces cuando me dice cosas le contesto solo para ponerlo en su lugar, pero casi siempre sino es de mi hijo no le contesto lo dejo en visto, me estoy empezando a stressar mucho, ahora últimamente si le pido algo del niño me contesta cuando le da lagana y ojo tuve que acceder por la ley que fue por ese medio él se agarro para ver a su hijo... El es amigo de mi hermano y le dijo que yo solo hablo de mi novio y que él eso le obstina que soy loca y que él no quiere estar conmigo porque yo juego.. Esta muy loco ya no sé como actuar con este hombre quiero mandarlo ala chingada porque lo que me da és tras de eso una cochinada para aver aparecido después de tantos años ahora si queriendo ser padre, mi hermano dice que le preguntó que si me quería y dice que le dijo yo eso no lo puedo responder... Y luego le dijo que para estar conmigo debía pensar y hablar muchas cosas conmigo... Como que yo le estoy diciendo que yo quiero.. De verdad no lo entiendo es el papá de mi hijo si, pero me tiene arta con esa actitud me confunde y después que me trate mal no estoy para eso, alguien que me aconseje que debería hacer ya que el tiene a su novia o mujer y no quiero seguir así ya le he hablado de todas las formas que habla una mujer en su sano juicio y no hay por donde aveces siento que se molestó por mi relación pero no me importa, pero me enoja también porque así no podremos mantener una comunicación buena por mi hijo se que mi hijo ama mucho a su padrastro pero rayos! Ahora debo dejar que se relacionen y mi hijo ahí mas o menos lo acepta pero bueno. No creo poder estar aguantando sus arranques no entiendo enserio su actitud y para desgracia mi novio se pone celoso 
Alguien me ayuda quiero saber como puedo lidiar con el padre de mi hijo porque no sé que le pasa!!!! no entiendo su actitud enserio me cansa, no logro saber con exactitud porque después de hablar bien al principio ahora es así es muy difícil para mí, ya no quiero hablarle y no puedo evitarlo al 100% porque no confío en él y mi hijo yo lo cuido demasiado de él y de cualquiera incluso del padrastro soy una madre sobreprotectora ami hijo no se lo doy a nadie solo ami mamá y el papá cuando lo llega aver yo estoy de metida ahí no me importa que hago??? Quiero saber que le pasa al padre de mi hijo aunque aveces tengo mis sospechas de que se enojo por mi relación en mi fondo no sé aveces lo veo un poco raro de verdad, siento que talvez yo estoy imaginando muchas cosas que no son.. Pero después me confunde entonces digo talves no es asi, yyo estoy pensando mal ves me entienden.. No tengo claro si debo mejor dejarle de hablar pero nose si me afecte no tener comunicación con él porque no sé como no hablar si él está con mi hijo en mi casa no sé que hacer! Ayuda!