Attestation de conformité d'une construction

Bonjour,
J’ai signé un compromis de vente pour l’achat d’une petite résidence secondaire.
Ce compromis prévoit la signature de l’acte notarié dans le délai de 3 mois avec une prolongation possible de deux mois maxi si les documents nécessaires à l’établissement de l’acte ne sont pas réunis.
Il s’avère que c’est un artisan du bâtiment qui a réalisé cette construction pour la revendre.
L’attestation de non opposition à la déclaration d’achèvement des travaux vient d’être refusée par la mairie concernée car le constructeur qui est considéré comme un « promoteur » puisqu’il a construit pour revendre n’a pas fourni l’attestation constatant que les travaux réalisés respectent les règles d’accessibilité handicapés applicables (art. R. 111-19-21 du code de la construction). Ce certificat manquant ne peut être produit car la maison ne respecte pas ces normes.
Le vendeur ne voulant, voir ne pouvant pas mettre la maison en conformité, il me paraît hasardeux d’acheter sans ce certificat, même si au demeurant la maison telle quelle est me convient. (on m’a expliqué par ailleurs que dans le cas d’un achat je prenais des risques…)
Mon projet d’achat tombe donc à l’eau au bout de 5 mois d’attente (l’Agence immobilière : ça va arriver, ça va arriver…), sans que je sois, à mon avis, responsable de cet état de fait.

Le vendeur et (ou) l’agence immobilière ayant négocié cette vente ont-ils une responsabilité dans cette affaire :
- Puis-je considérer que le vendeur se refuse à l’exécution des clauses du compromis et lui demander le dédit prévu dans ce dernier ?
- L’agence immobilière aurait-elle du savoir et conseiller ? Qu’elle est sa responsabilité ?

Ou bien, dois-je me retirer sans plus (à la fin du délai maxi prévu soit dans une quinzaine de jour), le compromis devenant de fait caduque ?

Merci par avance de toute réponse pouvant m’aider.