Bout terrain

nous avons fait construire en 2013 dans un lotissement,. Notre voisin de l'époque a monter sa maison et fait un muret qui nous a dit etre en limite de prorpiété. Suivant ses dires nous avons monter un mur qui soutient notre portail au ras de son mur vu qu'il était en limite de propriété. Depuis le voisin a vendu mais juste avant la signature il s'est aperçu qu'il s'était tromper d'une vingtaine de mètre carré en moins pour lui. La vente s'est réalisée , le nouveau propriétaire a signé en sachant parfaitement qu'il manques du terrain. Depuis le nouveau nous demande de lui racheter les mètres carrés manquants. Il veut nous faire payes les frais de géomètre , notaire et terrain bien sur. Si on ne rachète pas le terrain la maison n'est plus conforme vue qu'elle ne se trouverait plus en limite de propriété ni a trois mètre de la notre, mais il refuse. Que faire ? Nous sommes perdus ?
Mon mari étant au chomage, nous n'avons pas de trop moyens.
Je vous remercie de vos réponses.