Chat et voisinage

Bonjour,
Mon chat sort régulièrement en bas sur le parking (je suis locataire au 2e étage d'une copropriété à la campagne). Chaque fois, je l'accompagne jusqu'en bas et idem quand il remonte à l'appartement, pour surveiller qu'il n'abîme pas les parties communes.

Le "problème" est que pendant ses sorties, il entre chez les gens du RdC qui laissent leurs fenêtres ouvertes...Ces personnes l'ont d'abord "accueilli", mais n'en veulent plus chez elles maintenant et s'en plaignent ; elles ont laissé l'habitude s'installer et voudraient le chasser, mais n'y arrivent pas.
Je précise que mon chat est très gentil, pas vicieux pour un sous, ne fait aucuns dégâts si ce n'est des traces de pattes, éventuellement.
Comment faire ? Car ces personnes focalisent maintenant sur lui et donc sur moi.
S'il s'agissait d'un chat extérieur à l'immeuble, elles l'empêcheraient certainement d'entrer...

C'est un chat qui a eu l'habitude de sortir et de chasser, il n'est pas question qu'il reste enfermé dans 30m carrés 24h/24, ni qu'il sorte le soir pour aller se battre avec d'autres (il est calé sur le rythme humain : sortie la journée et dodo le soir à l'intérieur).

Par ailleurs, je vais bientôt être propriétaire ; est-ce que cela change quelque chose à mes droits et devoirs concernant mon chat ? (en dehors du fait que je ne pourrai pas me faire expulser)

D'avance merci.