Moisissures et caution

Bonjour,
mon amie et moi habitons un appartement que nous louons depuis la mi 2007 à une agence locative (elle gère ce bien dont elle n'est pas propriétaire).
En septembre de l'année passée, nous avons voulu déplacer quelques meubles et nous nous sommes rendus compte que d'importantes traces de moisissures étaient apparues sur les murs (la plus importante couvre environ 1 mètre carré).
Nous avons contacté l'agence de location ainsi que le propriétaire pour faire état du sinistre. Le propriétaire s'est déplacé pour constater l'étendue des dégâts.
Nous avons appris qu'à notre étage, 2 autres appartements sont très fortement sinistrés : notre voisine a de l'eau qui passe par le plafond quand il pleut, et un autre appartement a été complètement ravagé par l'humidité. L'immeuble étant encore sous garantie décennale, l'agence nous a prévenu qu'il allait y avoir des expertises, des travaux et que tout ceci allait prendre beaucoup de temps.
Lors de la visite du propriétaire, nous lui avons demandé si nous devions nettoyer les moisissures, il nous a répondu que non. Toutefois, comme mon amie et moi songeons fortement à déménager (nous savons déjà que nous ne pourrons toutefois pas échapper aux 3 mois de préavis :/), nous nous demandons s'il y a un risque de nous voir prélever la caution si lors de l'état des lieux les traces de moisissures n'ont pas été nettoyées (une expertise du bâtiment vient d'être réalisée la semaine dernière, mais ni l'agence ni le propriétaire n'a jugé utile de nous en transmettre les résultats).
Merci d'avance pour vos commentaires !