Habitation dans bail commercial

Bonjour,
Je suis locataire d'un local commercial depuis fin 2005.
Un bail notarié a été rédigé prévoyant que ce local serait affecté exclusivement à l'usage suivant : "Commercialisation de tout objet ou produit neuf ou d'occasion ayant un rapport direct ou indirect avec l'immobilier".
Le local étant "brut de parpaing", il a été prévu dans le bail que je m'engageait à effectuer pour 12.000 euros de travaux d'aménagement contre une diminution équivalente de loyer sur 5 ans, soit 300 euros au lieu de 500.
A ce jour j'ai largement dépassé ce montant et j'honnore mes loyers sans faille.
Début 2007, l'activité ayant du mal à démarer, je suis allé consulter le notaire qui avait rédigé l'acte afin de savoir si je pouvait utiliser une partie de mes locaux pour y habiter.
Il m'a répondu que, étant le gérant, j'avais tout à fait le droit d'habiter sur mon lieu de travail.
Fin 2007, je reçois la visite d'un huissier me mettant en demeure de ne plus habiter dans ce local, me précisant que mon bail peut être résilier si je refuse.
J'ai ensuite contacté mon notaire qui semblait très embété et plus très sur de lui...
Mettant en avant mes difficultés, j'ai obtenu du propriétaire la possibilité d'y demeurer temporairement.
J'ai des doutes sur l'honnêteté de mon propriétaire : maintenant que le local est refait à neuf (200 m²), je pense qu'il veux le récupérer pour le louer plus cher.
Je suis assez écoeuré de cette façon de faire et je souhaiterais savoir si mon affaire peut se plaider ou si je suis complètement dans mon tort.
Je vous remercie d'avance de vos conseils
Cordialement,
P. JOULIN