Propriétaire véreux, droit de visite.

Bonjour,

Voici mon problème, je suis locataire d'un appartement depuis 2005, et bien entendu loyer toujours à jour.
Au début de cette année j'ai eu des débuts de moisissure dans mon appartement, j'ai bien sur prévenu le propriétaire qui voulais rien savoir, prétextant que c'est de ma faute. Il faut dire que c'est un radin qui a toujours peur de faire des travaux, même inévitable.
Durant ce temps, la moisissure se développe de plus en plus, j'ai contacter le service hygiène de ma Mairie, qui est venu et qui a constaté un manque d'isolation de l'appartement.
Après cette visite, la mairie a envoyé un courrier au propriétaire lui invitant à faire les travaux sous peine de classer l'appartement insalubre.
Suite à ce courrier le propriétaire a fait venir un expert pour vérifier, celui-ci confirme le constat de la maire : manque d'isolation.
Le propriétaire a donc fait des travaux qui consiste à tailler le bas des portes pour faire passer plus d'air et faire des trous au niveau des fenêtres.
Cependant le problème des moisissures reste le même au niveau des murs, et le propriétaire ne veut rien savoir, il nous demande de faire les travaux.
Ayant marre de cette appartement, nous avons chercher à déménager.
C'est chose fait et nous allons déménager dans 2 mois.
Le courrier de préavis est donc partie 2 mois avant le départ même si j'ai un préavis raccourci à un mois étant RMiste.

Le jour même de la réception de la lettre, le propriétaire a mandaté une Agence qui m'a appelé pour venir le lendemain faire des photos. Je lui ai proposé un rendez-vous une semaine après n'étant pas disponible avant.

Le propriétaire m'a envoyé une lettre recommandé avec AR en me menaçant d'envoyer un huissier pour venir constater afin d'allonger mon préavis car je n'ai pas accepter tout de suite le rdv, mais seulement une semaine après.
Il me sort mes obligations de visites de tous les jours entre 17h et 19h selon la loi.

Ça m'énerve car si j'étais de mauvaise fois, j'aurais pu envoyer ma lettre de préavis un mois à l'avance au lieu de 2 mois comme je l'ai fait. Je pense être très correct avec lui malgré tout ce qu'il a fait.

Que puis-je lui répondre maintenant, le préavis court t il lors de la réception de la lettre ou c'est le délai avant le départ ?

J'ai l'intention donc de ne faire visiter qu'a partir de un mois avant mon départ, suis-je en tord.
Sinon puis-je imposer que des visites entre 17 et 19h comme l'indique la loi ?

Je vous remercie de vos réponse.