Acompte versé au compromis à rendre ou non

Bonjour,

J'ai signé un compromis de vente avec clause suspensive d'obtention de crédit (chez un notaire), je n'ai pas fait prévaloir mon délais de rétractation de 7 jours.
Après avoir fait plusieurs banques je n'ai pu malgré tout mes efforts (caution solidaire mise en caution de bien immobiliers de mes ascendants) obtenir le prêt j'ai une attestation de refus de prêt.
Le vendeur me demande l'acompte versé pour préjudice.
J'ai informer tout au long de mes démarches le vendeurs que je n'avait pas encore les prêts et que je cherchais toujours à en obtenir..
Jusqu'au moment ou ayant fait quasiment le tour des banques j'ai informer le vendeur que je ne pouvait pas obtenir mon prêt celui ci un mois après fait une lettre au notaire comme quoi il demande l'acompte comme indemnité.
il y avait une date pour l'obtention du prêt à laquelle je n'avait toujours pas mon prêt cette date est dépassée.
Si le fait de dépasser cette date sans avoir le prêt ne rend t il pas caduc l'acte de compromis sans que le vendeur puisse demander des dommages pour préjudice.

Merci pour vos réponse car je suis vraiment dans une très mauvaise situations ayant emprunté temporairement cette somme à un ascendant et n'étant pas capable de la rembourser compte tenu de ma situation.

Cordialement