L'accusation mensongère est-elle une diffamation

Bonjour,
Suite a des dégâts des eaux chez lui et venant de quelque part plus haut, mon voisin du dessous que je n'ai jamais vu depuis que je suis locataire (4 ans) a fait sa déclaration auprès de son assurance.
Les experts de nos assurances respectives nous ont donné rendez-vous chez lui puis chez moi pour constater et déterminer la provenance. bref...

le jour de l'expertise mon voisin que je ne connais donc pas, a refusé que je rentre chez lui prétextant devant les experts et le gardien, que étant musulman il ne pouvait pas faire entrer chez lui une alcoolique qui plus est, était "déjà bourrée" au moment où il me parlait...
Je ne bois qu'un verre ou deux à l'occasion des fêtes de fin d'année et... les effluves d'un martini ne tiennent pas un mois et demi tout de même !!!
Loin d'être parfaite, j'ai deux pécher mignon : le tabac et le café... et l'un comme l'autre ne sentent pas l'alcool (et je n'ai pas d'alcool chez moi )
enfin voilà, j'en suis resté comme deux rond de flanc, et les experts gênés m'ont dit de les attendre chez moi.
pensez-vous que je peux porter plainte pour diffamation contre ce monsieur et comment dois-je procéder le cas échéant ?
merci pour les réponses que vous pourrez m'apporter.