No se si me toma como pasatiempos o me toma en serio

Hace unos meses estoy conociendo a un hombre (lo conoci por internet, chateamos 5 meses y nos vimos en persona), llevamos 4 meses viendonos.
Estoy en una confusión, no se si realmente le importo, porque últimamente tengo que ser yo la que dice de quedar. Él acepta,no me rechaza. Incluso si le aviso media hora antes de quedar, siempre acepta. Pero me gustaría que tome más la iniciativa. Esto hace que piense que le da lo mismo verme o no. Y otra cosa es que nos estamos viendo poco.
Yo me siento cómoda con él, cuando lo veo. Nunca me ha echo sentir incómoda, Cuando le escribo, responde enseguida. Me ha invitado a su casa varias veces y él también viene a la mía. Dormimos juntos a veces, hemos tenido fajes pero no relaciones todavía. Aún no hemos tocado ese tema.
Ayer me escribió a la tarde, pero no me dijo de quedar y yo no dije nada, entonces ni nos vimos...y me quedé con ganas de verlo. Mi confusión es que no se si le importo o le da lo mismo...