Contestation bornage terrain existant

Bonjour,

Nous avons acheté un bien de 406 m² en 2006 composé de 2 maisons anciennes du XIXe siècle dont 1 habitée à ce jour par notre famille.
Le terrain initial était beaucoup plus grand, et a fait l'objet d'un nouveau bornage par l'ancien propriétaire pour permettre la construction d'une maison neuve au droit de l'ancien jardin.
Nous avons déposé un permis de construire en juillet dernier, et notre demande a été rejetée sous prétexte que notre parcelle comporte désormais trop de bâtis construits!
La réglementation n'autoriserait que 129 m² construits par rapport à la superficie actuelle de notre parcelle.
Nos 2 anciennes maisons (dont une dépendance) représentent à ce jour 168 m² donc bien plus que la surface tolérée, alors que ces 2 bâtiments sont édifiés depuis la fin des années 1800!
De plus, notre projet consiste uniquement à relier les 2 volumes actuels par un jardin d'hiver en rez-de-chaussée, afin d'embellir notre bien et agrandir la surface habitable.
Est ce qu'un tel bornage aurait du être contesté et remis en cause à l'époque de l'ancien propriétaire.
Merci d'avance pour vos éléments de réponse avant de contester la décision auprès des institutions.
Cordialement.
Guillaume