Taxes d'habitation

Bonjour,
Je suis associé dans une sci française qui est propriétaire d'une maison en Bretagne.
Cette maison n'est pas louée et est à l'usage des deux associés uniquement.
Nous sommes deux associés détenant chacun 50% des parts.
Personnellement je suis résident étranger (luxembourgeois) et mon associé est propriétaire et résident en France.
Nous sommes imposés sur la taxe d'habitation pour la sci et mon associé paye aussi une taxe d'habitation pour sa résidence principale.
Cette imposition en Bretagne est assez lourde et cette maison ne génèrent pas de rentrée financière.
Peux ton éviter cette taxe d'habitation ?