Frais de courtage post annulation vente

Bonjour,
Ayant signé il y a plusieurs mois un compromis de vente pour l'achat d'une maison, nous avons fait appel à un courtier pour négocier notre prêt.Juste avant que nous n'ayons signé l'accord de prêt auprès de la banque qui lui avait proposé le meilleur taux, le vendeur s'est rétracté en nous versant un dédit .La banque ne nous facture rien, puisque le dossier n'était pas encore signé ,mais le courtier exige de se faire tout de même regler les 2500 euros d'honoraires que nous aurions dû lui verser lors de l'achat du bien !!!Est-il en droit de le faire ou y a t-il une déduction à pratiquer??(Lorsque nous avions fait appel à lui au départ,il nous avait dit que ses honoraires seraient éffectivement dans les 2000 euros si nous choisissions le prêt qu'il avait négocié pour nous,sinon il nous demanderait 500 euros si nous choisissions de passer par notre banque habituelle !!!).
Merci de votre réponse