Garde alterner

Bonjour je suis séparé depuis 2008 une garde alternée j ai toujours déduit les enfants moi comme ils sont domiciliés avec moi mon ex ne la jamais fait en 2014 j ai reçu un courrier qui disais qu il y avait une erreur je me suis rendu sur place hors que chaque année je me rendait au contributions ils me remplissaient eux mes papiers on ne m'a jamais rien demander mon ex a était remplir pour la première fois en 2014ces papiers . Mes le gentil monsieur lui a dit vous pouvez m apporté le jugement et les à déduit les enfants hors qu il ne l avait jamais fait ils sont remonté 2 ans en arrière j ai dû rembourser 4854,13 euros que je rembourse toujours car j ai du faire un prêt personnel pour cette somme .Mon ex était choqué car se monsieur lui avait rien dit de sa , car pour nous deux on a cru comme domicilié avec moi qu il était logiques de les déduires comme sont à ma charge et que je travail et que lui est en mutuelle . Je voudrais savoir si moi et lui somme d accord comme on l'a toujours fait est t il obliger de les mettre dans sa déclaration de contributions car le monsieur dit oui et des gens me disent que comme il est avait pas déclaré il devait rien réclamer le fameux monsieur pourriez vous m aider Merçi