Garde de bébé

Bonjour,
je suis séparé du père de mon fils depuis deux ans, nous avions pris la décision de partager la garde la semaine chez maman et le w.end chez papa.mon fils a aujourd'hui deux ans et demi et s'est bien adapté à cette situation meme si les débuts étaient un peu difficiles pour tous le monde.
J'ai reçu la semaine dernière une convocation devant le juge des affaires familialles car le papa demande que le domicile de mon fils soit à son adresse,me demande une pension de 200 euro,et ne voudrait que je voit mon fils seulement 2 w.end par mois.
je n'est jamais reçu d'aide financière de la part du papa pour le paiement des nourrices,je me suis toujours occupé de sa santé (rdv médecin,ect...),c'est moi qui le déclare sur ma feuille d'impot et qui organise l'emploi du temps de mon fils depuis sa naissance.
je ne souhaite pas interdire a son père d'avoir la garde le w.end mais je tiens vraiment à conserver ce meme emploi du temps pour ne pas déstabiliser mon enfant.
comment dois je me défendre??
j'ai peur de perdre la garde de mon fils alors que j'ai toujours fais de mon mieux pour lui.