Vices cachés d'un terrain inondable

Bonjour,
j'ai acheté un terrain à un lotisseur qui possède une entreprise de travaux publics. Je suis passé par un notaire pour l'achat de ce terrain où une étude de sol a été réalisée. Ayant reçu mon permis de construire en avril 2008, j'ai effectué les fondations par l'entreprise de ce lotisseur. A ma grande surprise, alors que je construis une maison en demi-niveau, l'eau a recouvert mes fondations profondes de 1 mètre. Dans l'urgence, en raison de la livraison du ciment par toupie prévue le lendemain, n'ayant pas d'autres solutions, ni le chef d'entreprise, pour palier à ce gros problème, près de 300 tonnes de cailloux ont été livrées pour réhausser les fondations. J'avais expliqué verbalement à l'époque à ce chef d'entreprise, donc celui qui m'a vendu le terrain, qu'en raison de la non connaissance de l'eau dans ce terrain, que je ne payerais pas ces cailloux et qu'il serait à sa charge. Aujourd'hui, il me réclame la somme de près de 5.000 euros pour les cailloux.
Que puis-je faire ? Quels sont mes droits ? Puis-je dénoncer un vice caché pour ce terrain? D'ailleurs, le notaire m'avait expliqué vaguement qu'un arrangement pouvait être possible avec le vendeur avant d'engager des poursuites. Merci de m'aider.

Denis54