Annuler compromis de vente après découverte terrain non divisibl

Bonjour,

Nous avons signé un compromis de vente pour un terrain normalement divisible (un géomètre à fait le nécessaire) le 13 février.
Hors nous avons découvert après le dépôt du permis de construire (le 20 avril), que le terrain fait partie d'un ancien lotissement qui est aujourd'hui caduc.
Cependant le cahier des charges est toujours en vigueur. Dans ce cahier des charges il est indiqué que les terrains sont indivisibles et pour le devenir il faut l'accord de tous les co-lotis ou faire une assemblée exceptionnelle ce qui aujourd'hui n'est toujours pas le cas.
Entre temps la mairie nous a délivré un permis de construire pour la maison et nous avons réussi à avoir le financement d'une banque.
Dans l'attente des signatures des co-lotis nous avons reçu une lettre recommandée d'un voisin qui fait un recours gracieux car le projet n'est pas en accord avec le fameux cahier des charges. En effet on retrouve au sein du CDC des règles d'urbanisme qui sont contradictoires avec le PLU de la ville.

Nous souhaiterions savoir s'il est possible de faire annuler le compromis de vente sans avoir à payer les vendeurs ni l'agence?

Je vous remercie par avance pour vos retours