Permis de construire refuse par le patrimoine architectural

bonsoir,
nous avons fait l'acquisition d'un terrain de plus de 2000 m ² constructutible sur la quasi totalité.
nous avons déposé notre permis de contruire en fesant bien attention que celle ci reste traditionnelle afin de s'adapté a l'architecture de la commune qui est un patrimoine classé.
Notre dossier a passer toutes les étapes sans probleme (Mairie , dde, ...) et a la fin de la chaine celui ci est refusé par une seul personne l'architecte des batiments de france .
Cause: implantation, la maison est trop éloignés de la voie , il veut que lon s'aligne a la premiere maison .
Quelle interet d'avoir un terrain constructible aussi grand si nous sommes obligés de s'implanter tout a l'entree.
De plus d'autre maison son implanter en retrait.

Sachant que sur le cu est specifier qu'une construction en milieu de parcelle ne seras pas accepter mais que le maire ne s'oppose pas a notre projet

Est que mr le maire a le dernier mot ou pas?
Qui peu dire si il y a une loi qui peu aller contre cette désicion?

merci bcp pour vos reponse