Litige limite de propriété - mur cloture

Bonjour,
J'ai acheté un terrain à construire avec des limites de propriétés signées par les voisins sur une base de plan fait par un géomètre expert.
Un vieux mur de clôture appartenant aux voisins longe le terrain sur la longueur. L'architecte à fait un plan de maison se basant sur la limite de propriété et s'appuyant sur ce mur. Le problème : le vieux mur des voisin n'est pas droit et fait un "ventre" de 50 cms sur mon terrain. Les voisins prétendent que la limite de propriété correspond à la limite physique fait par le mur leur appartenant, de mon côté, je prétends que ce mur n'est pas à sa place car il déborde sur mon terrain et de ce fait j'ai le droit d'empiéter dessus pour permettre de poursuivre la construction de ma maison.
Qui a raison ? quelles sont les démarches pour obtenir gain de cause?
Il faut savoir que le géomètre dit avoir mal mesuré le mur et son assurance à dépêché un expert. Conclusion: l'assurance (si on arrive au bout) va me dédommager que des mètres carrés manquants (4 m²).
Donc voila, je sais plus quoi faire, au pire, construire ma maison et perdre les m² manquant du fait de ce vieux mur.
Le terrain fait 302m², la maison fini 110m². Donc les 4 m² vont manquer cruellement.

Merci de votre aide.