Problème pour vendre une maison faite sur un terrain agricole

Bonjour,
en 1999 je faisais l'acquisition de parcelle de terrain agricole pour y faire un élevage de volaille j'ai obtenu un permis de construire pour les poulailers et le bureau suite a la tempête de fin 99 tout a été détruit , financierement je ne pouvais remonter l'élevage donc en 2001 je faisait du bureau une maison d'habitation qui est reconnue par les impôts je paie une taxe foncière depuis 2002 , je n'ai pas eu d'autre permis pour la maison juste le document H1
pour donner le changement d'affectation du local de bureau en maison mais je veux vendre et le notaire ne veux pas tenir compte des documents des impôts reconnaissant la maison il veux une modification du permis initial fait pour les bâtiments de l'élevage fait par l'urbanisme et là blocage de la DDE qui me dis que le terrain a changé d'affectation en 2008 et en zone N et ne veux pas me faire ce changement que faire ? merci de me conseiller car a ce jour la vente et bloquée par le notaire qui ne veux pas faire signé le sous seing
merci a celui qui peut m'aider a me sortir c=de cette situati
RAVIERRE