Podría funcionar, porque no?
No veo ningún problema en que seáis primos segundos, conozco parejas que son primos hermanos; prácticamente no sois familia, solo parientes lejanos. Si la familia no lo entiende es su problema, tienes que buscar tu propia felicidad. Y lo referente a la edad lo mismo, es solo un número, además es bueno que él sea más mayor porque suelen ser más maduros.