Refus de Permis de Construire

Bonjour,
Il y a un an, nous avons acheté un terrain, comportant 2 maisons sur un terrain classé en zone NC. Une maison est un petit chalet de 55m² et l'autre maison est une ruine 4 murs et un toit trop de boulot à rénover d'une soixantaine de m².
Avant d'acheter nous nous sommes renseigner auprès du Maire pour savoir si nous pouvions agrandir le chalet, selon lui il n'y avait aucun souci sachant que la personne qui vivait payait une taxe d'habitation et que la maison avait plus de 30 ans.
Nous avons donc acheté très contents de notre affaire et cet été nous avions le projet d'agrandir le chalet, nous avons trouvé un constructeur de maison en bois, le crédit, bref nous déposons le permis de construire pour agrandir la maison de 60m² en ossature bois pour rester sur le thème du chalet...
Mais avant de ce lancer nous reprenons RDV avec le maire qui nous confirme que l'on peut bien agrandir, mais celuis ci n'a pas fait de recherche et nous nous sommes fiés à sa bonne parole.
Il y a quelques jours, la réponse tombe, le permis refuser.
La personne qui a construit ce chalet, a déposé un permis de construire dans les années 70 pour construire un "abris de jardin" de 40m². Les 15 autres m² ont été constuit illégalement dans les années 70 aussi.
La communauté de commune nous refuse donc le permis car il s'agit d'un abris de jardin et non d'une maison de 40m².
Sachant que nous aurions eu le droit d'agrandir, s'il s'agissait d'une maison de 50m² minimum.
Est-ce qu'il existe un recours possible pour demander la modification de l'intitulé abris de jardin en maison ? Ou un autre recours ?

merci pour vos futures réponses