Remplacement portail par nouveau contre avis

Bonjour.

J'ai un portail de grange (qui fait office de portail pour rentrer en voiture chez moi) qui donne sur la rue du vilage à latte rainurée-languette qui doit avoir 40 ans que je veux remplacer par un portail en bois rainuré-languette neuf (même dessin mais pas de la même couleur, actuellement il est rouge délavé et je le veux en chêne). L'avis de l'architecte des batiments de france est bien entendu non comme d'habitude car il faut restaurer l'ancien et bla et bla...

Si je décide de changer tout de même mon portail, quels sont les risques encourus d'après la loi (je n'arrive pas à trouver de réponse sur internet) et en pratique ? Amende ? Risque de devoir le démonter ?

Pour rappel, ce n'est qu'un avis consultatif... mais que le maire suit systèmatiquement chez moi.

Merci pour vos réponses