BORNAGE TERRAIN ET CONFLIT VOISIN !!??

Bonjour,
Nous avons signé un compromis pour l'achat d'un terrain, le géomètre est passé par la suite (au frais du vendeur) pour borner la parcelle qui faut diviser car elle est rattachée à la maison du vendeur (déclaration préalable à déposer mais CU OK). Le soucis c'est qu'un des voisins pas trés aimable, a exprimé à plusieurs reprises son refus catégorique d'une construction sur cette parcelle, la mairie est au courant car ce Monsieur étant retraité, il aime beaucoup passer ces journées là-bas pour se plaindre... Mais la secrétaire du maire nous a dit que ce terrain est tout a fait constructible (le maire était venu sur place) et qu'il ne pourrait y avoir de refus de déclaration préalable ou du permis seulement parce qu'un voisin refuse qu'une maison s'implante à tel endroit (surtout qu'il n'y a aucun vis à vis...)
Mais, le géomètre doit adressé les courriers de convocations aux voisins pour la signature du pv de bornage cette semaine, et nous avons peur que celui-ci se présente pas ou qu'il refuse de signer. Que se passerait-il s'il ferait ça? Je sais qu'on peux aller au tribunal pour le forcer à signer mais est-ce qu'une procédure devant le tribunal va engendrer des frais à ce charment voisin? Car sinon, il prendra un plaisir à refuser toute collaboration, juste pour ralentir toutes nos démarches, il nous l'a clairement dit, à moins que ça lui coûte quelque chose (un peu radin quand même...)
Quelqu'un pourrait-il me renseigner et me dire éventuellement au pire, le délai que ça peut prendre pour obtenir une signature du pv de bornage si on doit passer devant le tribunal?
MERCI D'AVANCE !