Suppression de mes indemnités journalières

Bonjour,
Je suis salarié dans le Privé et j'ai eu un accident de travail en avril 2016 avec un arrêt incluant les sorties autorisées.
J'ai eu mon salaire de janvier 2017 des Indemnités journalières perçues
couvrant la période d'arrêt pour le motif que j'avais exercé une activité interdite durant la période d’indemnisation et mon employeur à du rembourser la CPAM et de les déduire de mon salaire. Je n'ai même pas été notifié par la CPAM qu'une telle action serait engagée sur le remboursement de mes IJ et je n'ai jamais eu de notification d'un contrôle.
Après de nombreux échanges téléphonique et par mail, j'ai obtenu réponse comme quoi, j avais assisté à un conseil Municipal à cette période et que c'était interdit. Je suis élu au conseil Municipal de mon village et selon eux je n'avais pas le droit. Je rappelle que le conseil municipal avait lieu à 20h30 et que j'étais bien en dehors des horaires pour lesquels je dois être à disposition des agents soit de 9h à 11h et de 14h à 16h en cas de contrôle. Que je ne perçois aucun salaire en tant qu'élu. Que d'assister au présent conseil à des heures pour lesquelles je suis en droit d'occuper mes fonctions en tant qu'élu déclencherait une telle sanction. Avez vous des conseils à me donner!
C'est à n'y rien comprendre