Comment recupérer des especes ?

Bonjour,
Nous souhaiterions avoir des conseils pour pouvoir récupérer (une caution : je ne sais pas si c'est vraiment le terme) des espèces versées de main à la main lors d'un engagement en vue d'un achat immobilier (terrain + hangar) à un particulier. (verser 4 000 euros)
En effet, l'annonce était parue dans un journal à la rubrique "immob.entreprise" sous l'intitulé : entrepot, bureau + cuisine et un peu de terrain...

Nous avons contacté cette personne et étant vivement intérressés, nous nous sommes engagés en lui disant que sa nous intéressé. Le vendeur demandait un chèque de caution et des espèces sur le champ. Nous lui avons donc laisser le chèque et 4 000 euros en espèces qu'il devait nous restituer si le projet n'aboutissait pas car il faut savoir qu'il nous avait dit de ne pas aller à l'urbanisme car ils n'accepteront pas de construction...
De notre côté, étant artisans tous les deux, nous sommes quand même aller à l'urbanisme en leur expliquant notre projet (qui était de pouvoir y installer nos 2 activitées et éventuellement y résider sur place, sachant aussi que sur le terrain juste à côté, le même type d'activité exercé dessus); il s'est avéré que la ZONE était AGRICOLE
donc refus par l'urbanisme, le CHAMP et autres car nous n'avons pas de statut agricole.

Le vendeur à quand même souhaiter aller au compromis de vente, hors le jour "J" nous avons expliquer au notaire se qu'il en était de notre rendez-vous à l'urbanisme (texte à l'appui) qui compromettait nos projets.
Nous n'avons donc RIEN SIGNE car il nous à conseiller d'approfondir nos demande à l'urbanisme et autres.
Bien entendu, le vendeur l'a pas trop bien pris. Il devait se renseigner de son côté mais ne voyant rien venir nous sommes aller le voir ; après une brève discussion (sans altercations), il nous à restituer le chèque laisser en garantie et SEULEMENT 1 000 EUROS d'espèces sur 4 000.
Je l'ai recontacté par téléphone et après discussion ( qui ne tiens pas debout) il m'a demandé de patienter et m'a laisser sous entendre que peut etre je récupèrerais la suite mais je n'ai pas tout bien compris.
J'ai bien peur ne pouvoir récupérer cet argent car nous n'avons pas penser à lui faire signer un papier concernant ces espèces versées; Grave ERREUR de notre part; Y A T'IL UN RECOURS POUR CE TYPE D'INCIDENT ?
En espérant une réponse favorable, recevez, messieurs, nos sincères remerciements.