Dépôt de garantie

Bonjour,
J'ai confié la vente de mon bien immo. à un notaire qui a trouvé un acquéreur et nous avons signé un compromis en 2007. L'acqéreur a versé un chèque de dépôt de garantie au notaire.
Le jour de la signature de l'acte chez le notaire, 3 mois après, l'acquéreur renonce à la vente puisqu'il se rend compte que le négociateur du notaire lui avait caché certaines informations importantes concernant le bien. J'ai bien compris le refus d'achat, j'aurai fait la même chose.
Suite à un appel tél. de l'acquéreur la semaine dernière, j'ai appris que le notaire ne lui avait toujours pas restitué le dépôt de garantie parce que je n'avais pas donner l'autorisation de le faire. Sincèrement je pensais que ça coulait de source : vente échouée = restitution du dépôt de garantie.
L'acquéreur compte porter plainte contre moi. Que dois-je faire ?

Merci pour vos réponses