Zone agricole et permis de construire

Bonjour,
J'ai une etable qui ne sert plus depuis tres longtemps et qui est mitoyenne d'une maison qui appartient a mes voisins.Ma maison,celle dans laquelle je vis est separee par un chemin de ce batiment.J'ai fait recemment une demande a la mairie pour faire une habitation de cette etable qui dispose d'un terrain d'environ 800 m2. La ville me refuse le permis de construire car je suis en Zone agricole.Ce batiment est tres ancien et risque de s'ecrouler si je ne fais pas de travaux rapidement.On me reponds que si le batiment s'ecroule je n'ai pas le droit de reconstruire et si je restaure ,je ne peux l'utiliser que comme grenier et je dois pour cela depenser une somme consequente!!!!C'est d'autant pus dommage que c'est dans 1 hameau de caractere et que j'avais l'intention de faire une jolie restauration.....Ce qui parait surprenant est pourquoi nous mettent ils une etiquette de zone agricole au milieu d'un hameau habite???cela ne tient pas dbout et mon etable va s'ecrouler si je ne fais rien!!!!pouvez vous me conseiller et me donner le bon organisme a contacter?compte tenu que j'en ai deja vu pas mal!!

merci pour votre aide