Autorité parentale restitution

Bonjour,
Suite à une décision du juge l'été 2014 concernant la fixation d'une pension alimentaire pour notre fils âgé de 8 mois à l'époque, le juge à retiré l'autorité parentale à son papa.
Voilà 3 ans qu'il s'occupe de lui au mieux et que leur lien s'est construit et solidifié avec le temps. Nous nous entendons bien pour le petit et tout se passe au mieux. J'aimerais qu'il retrouve l'autorité parentale le concernant. J'ai été fouiner sur internet et j'ai vu que la demande ne pouvait être faite qu'un an après la décision de justice si les circonstances sont favorables. Est ce que cela veut dire que 3 ans après il est impossible pour lui de retrouver son autorité parentale? Y a t'il des cas exceptionnels? Peut-on en faire quand même la demande? I oui est ce que celle ci doit venir de moi la maman ou de lui qui souhaite la retrouver?
Je suis un peu perdue et espère qu'il y a un moyen de régler ce problème.
Merci d'avance