Conflit agence

Bonjour,
Je devais visiter une maison par agence et jai annulé car une amie m'a donné le nom du propriétaire. Nous avons fait la visite avec le propriétaire. Quand le vendeur est aller voir l'agence ils lui ont dit j'espère que ce n'est pas avec Mme ... donc moi parce qu'il porterait plainte. Je précise je n'ai pas fait de visite avec l'agence par contre il m'a dit ou elle était située et décrit la maison plutôt relu ce qu'y a écrit sur le site de l'agence.
Est ce qu'il peut vraiment porter plainte contre moi?