Délai pour finir sa construction

Bonjour,
En limite de ma propriété, un permis a été accordé pour une construction de 50 m2 habitables. L'acheteur du terrain, maçon de métier, construit sa maison lui-même pendant ses temps libres. Cette construction est représentée par une grande partie en dépendances, car il garde la partie annexe pour stocker son matériel professionnel, la partie habitable devant sans doute être louée.
Le panneau de chantier a été enlevé puis remis "à l'envers". Une demande a été faite à la mairie pour que ce panneau soit visible et lisible. A ce jour, rien n'est fait.
Sachant que cette personne, qui habite à côté de sa construction en cours, n'a pas terminé l'extérieur de son habitation principale au bout de 20 ans, je crains que cette construction traine très longtemps!
Je voudrais savoir s'il a un délai pour finir sa construction au niveau extérieur, car d'après la mairie, il n'en a pas... seule chose : s'il ne travaille pas durant 1 an, après constat d'huissier, on pourrait obtenir l'annulation du permis de construire.
Merci d'avance de m'indiquer les recours possibles sachant que nous sommes deux propriétaires concernés par ce problème.
Cordialement