Changement de domicile légal d'un enfant

Bonjour,

Je suis maman avec mon fils de 10 et demi.
Cet enfant demande une attention particulière que j'assume depuis plus de 8 ans.
Il a des soins depuis l'âge de 5 ans, pour suivit pour trouble comportementaux en milieu scolaire ( Centre Médico Pédopsy où l'on se rend 2 fois par semaine il y voit un psychologue et Psychomotricien). Il va mieux pas encore assez pour ne plus avoir de séance. N'est plus admis à la cantine depuis 2 ans donc je vais le chercher tous les jours et je concilie le tous avec mon travail qui nous permet de vivre.
Je suis divorcée depuis 2006. Et la garde de l'enfant a été fixée chez moi. Le père a actuellement un droit de visite donc je prends en charge la moitié de tous les trajets.
Hors mon médecin me souligne le fait que de continuer à ce rythme, je risque d'avoir de gros risque de santé très prochainement.
Je suis acculée et je dois faire que mon fils ailles chez son Père.
A-t-il le droit de refuser la garde de son fils ?