Achat terrain avec servitude non déclarée

Bonjour,
Je reviens sur notre problème immobilier avec des nouveautés : nous avons signé un compromis pour l'achat d'un terrain le long duquel se situe un fossé dans lequel une canalisation d'écoulement des eaux pluviales a été installée par la commune. Quand nous avons négocié avec le propriétaire, celui-ci nous a montré les limites de son terrain en nous affirmant que le fossé avec la canalisation appartenait à la commune et ne faisait pas partie du terrain. Or, après moultes péripéties, nous avons fini par apprendre que vraisemblablement (le notaire nous dit faire des recherches qui vont encore durer 15 jours) cette bande de terrain est bien située sur notre futur terrain et fait l'objet (d'après une délibération du conseil minicipal de 1931) d'une servitude très importante : creusement d'un fossé + curage et entretien annuel à vie à la charge du propriétaire moyennant 2 500,00 Francs de l'époque !.
Nous avons donc informé le notaire qu'en l'état actuel nous ne pouvions pas signer l'acte de vente final car nous avions signé pour un terrain sans servitude dont la surface cadastrale indiquée dans le compromis ne correspond pas à la réalité (une centaine de mètres carrés en moins) alors qu'en fait il y a bien une servitude qui nous ampute d'une partie de la surface, servitude qui est d'ailleurs appelée à évoluer puisque la commune a besoin d'élargir le fossé pour placer une plus grosse conduite, ce qui amputera encore plus le terrain.
Nous avons donc proposé au vendeur de diminuer le prix du terrain compte tenu de ces éléments puisque nous avions signé un compromis en toute confiance et dans la totale ignorance de la servitude.
Nous n'avons pas encore de réponse du vendeur mais le notaire nous a contacté en nous affirmant que la servitude était apparente (il s'est enfin déplacé sur le terrain) et qu'il n'était pas obligatoire qu'elle figure dans le compromis. Il nous propose alors 2 solutions : soit signer en l'état (et donc devoir payer au prix fort un terrain moins grand que prévu et avec servitude conséquente non prévue) soit négocier une rupture amiable avec le vendeur. Notre problème est que nous n'avons eu que l'affirmation orale du vendeur comme quoi la canalisation n'était pas sur son terrain et le notaire essaie de nous couper l'herbe sous le pied en nous disant que la servitude est apparente donc que nous étions au courant et que nous ne pouvons pas invoquer ce fait pour rompre le compromis.
Que pouvons-nous faire ? Quels sont nos recours ? Le fait que le vendeur ne nous ait pas dit la vérité (peut-être l'ignorait-il lui même ?) nous permet-il de rompre le compromis sans charge ? Si on lui propose une réduction de prix et qu'il refuse, sommes nous engagés par le compromis ?
Merci de vos réponses rapides.