Rétractation vente VEFA

Bonjour à tous,

Je me tourne vers vous car me voilà bien embêté...
J'ai signé un compromis de vente avec un promoteur et donné un chèque de caution qui à été encaissé.
J'ai appris que le chantier de celui-ci été TRÈS en retard, alors j'ai décidé d'allez voir ailleurs.
J'ai donc fournis un refus de prêt pour que le promoteur me rembourse le chèque encaissé.

Ce matin je reçois un appel du promoteur m'indiquant que même avec un refus de prêt, elle ne me remboursera pas ma caution car je suis allez voir ailleurs (et en effet j'ai trouvé mieux).

N'est elle pas obligé de me remboursé la totalité de ma caution puisque je lui est fourni un refus de prêt? il s'agit quand même de 5 000€
Que dois-je faire? Suis-je en tort d'avoir trouvé mieux et de ne plus vouloir leur bien?

Merci d'avance pour les réponse que vous m'apporterez.
Cordialement