Quel paiement après un contrat caduc.

Bonjour,
Il y a un peu plus d'un an, mon compagnon et moi avons signé un contrat de construction avec un constructeur, CTVL, pour pas le siter, nous avions réserve le terrain. La condition pour commencer les travaux était qu'on vende notre appartement. Malheureusement 1 an 1/2 après nous avons toujours pas vendu et notre contrat avec le constructeur c'est fini le 22 avril, il est considéré comme caduc car nous avons pas obtenu notre prêt. Aujourd'hui il nous demande de payer pour le permis de construire qui a été déposer auprès de la mairie. Sachant que les conditions générales et que le contrat est caduc est ce normal qu'il nous demande des sous? (précision il demande 10% du prix de la maison soit 10000€)