Logement chez l'habitant, quels sont mes droits ?

Bonjour !
Je suis étudiant à Amiens et locataire depuis 4 ans dans une chambre meublée chez l'habitant, mais j'habite au dessus du garage et je suis indépendant des pièces du propriétaires (donc j'ai une salle de bain et une cuisine indépendantes, le logement en question est une sorte de rajout collé à la maison des propriétaires).
Malgré mon sérieux et ma discrétion, les propriétaires ont commencé récemment à se plaindre de moi à mes colocataires. (deux filles).
D'après eux, je suis quelqu'un de très désordonné, avec un bordel monstre. Je tiens à préciser que dans ma chambre de 8/9m², j'ai emménagé toutes mes affaires provenant de la chambre que j'ai chez mes parents, qui fait le double. De plus, je n'ai qu'une armoire pour mes vêtements et un petit tiroir dans lequel je ne peux quasiment rien mettre.
Le propriétaire a même été dire à ma nouvelle colocataire qu'elle doit faire attention, parce que je suis un personnage à moi tout seul et que je fais des études cinématographiques. Pourquoi me faire passer pour un danger avec ce genre d'arguments ?!

Que l'on me trouve désordonné, soit, mais que l'on ne me le dise pas en face, je trouve cela très incorrect. Je paie un loyer et je suis donc locataire, malgré mes devoirs, j'ai aussi mes droits. Je ne paie pas de loyer l'été parce que je ne suis pas hébergé dans cette chambre, mais j'ai l'accord des propriétaires pour y laisser mes affaires. C'est donc comme cela qu'ils ont été fouiner dans mes affaires, pendant la mise en place d'un nouveau rideau dans ma chambre.
Je ne sais pas s'il est interdit aux propriétaires de rentrer dans ma chambre si je ne paie pas de loyer mais qu'il y a encore mes affaires, et le problème n'est pas là.

J'ai une nouvelle colocataire qui est arrivé ce week end, et ils ont déjà commencé à parler de moi comme si j'étais un danger. Quand il s'agit de me parler en face, ou en présence de mes parents, ils me voueraient limite un culte, puisque devant mes parents, je suis le locataire le plus gentil qu'ils aient pu connaitre...

De plus, je n'ai signé aucun bail depuis 4 ans, il s'agit d'un bail oral. Mais je ne supporte plus les réflexions dans mon dos et encore moins depuis qu'on a fait allusion à moi et à mon père en parlant de "chinois envahissant notre pays". Même si je n'étais pas totalement concerné par cette réflexion, j'ai quand même des origines malgré ma nationalité française, et le fait qu'ils se plaignent de tout ça dans mon dos et à mes colocataires, ne me facilitent pas la tâche.

Enfin, malgré le fait que je n'ai eu aucun soucis de ce côté les 4 premières années, je n'ai pas le droit d'inviter une personne même pour une nuit. Cependant, à ma nouvelle colocataire, ils ont bien entendu donné leur autorisation tant que la personne invitée ne fait pas de bazar.

Du coup, je voulais savoir quels étaient mes droits en tant que locataire dans un logement chez l'habitant mais collé à leur maison (donc je n'entre pas par leur porte, je n'utilise pas leur pièce, je rentre par le garage et je suis indépendant malgré le fait que je partage la même adresse.)
Puis-je me faire expulser pour ça ? Je voulais laisser un message dans leur boite aux lettres, de manière polie, pour les prévenir que je ne cautionnais pas les messes basses et qu'il aurait été préférable de m'en parler s'ils avaient un problème avec moi.
Cependant, j'ai peur de me faire expulser s'ils prennent mal les mots que je leur dis, étant donné que je n'ai pas de bail écrit. (cependant, ma location est dûe de septembre à juin inclus)
J'ai aussi peur de me faire expulser si j'invite une personne à dormir. (Oui, il s'agit de ma copine, et elle habite loin d'Amiens)

Enfin, je précise que la propriétaire m'a carrément dit que je devais payer une cotisation pour héberger quelqu'un, sinon rien. Ce que je trouve déplacé dans le sens où mon amie risque de payer une fortune pour le trajet, et sera contrainte de payer une chambre d'hôtel, tout ça pour un week end...

Edit : Je rajoute que je m'entends parfaitement avec mes colocataires, et que tout ceux qui sont passés dans ce logement depuis mon arrivée, ne se sont jamais plaints de moi. Normalement, le "bazar" qu'il y a dans ma chambre ne devrait me concerner que moi, pas le propriétaire et les autres. Surtout qu'à la fin de la location, je rendrai la chambre propre et vide.