Erreur notaire ,que faire ??

Bonjour,

J'ai signé un compromis de vente pour l'achat d'un appartement avec comme condition suspensive l'obtention d'un document annulant l'etat d'insalubrite de l'immeuble.
J'ai recu un document du notaire du vendeur indiquant que cette condition ne pourra etre rempli a temps. Je l'apelle donc pour annuler l'achat et il me dit qu'apres d'autres recherche il s'avere qu'il n'y a pas arrete pour insalubrite pour cet immeuble.
Je trouve tout ca "louche" et je souhaite ne pas acheter cet appartement.
Suis je dans mon droit et quel sont mes recours ????
Merci.