Problème d'état des lieux

Bonjour !
J'ai beau essayer de faire mes recherches mais je ne trouve pas de cas similaire au mien. Voilà j'ai effectué mon état des lieux avec l'agent immobilière, qui m'a certifie que je n'avais pas dégradé l'appart, j'ai donc une copie de l'état des lieux.
Mon propriétaire n'envoie pas la caution . Je m'efforce de contacter ce dernier qui finit par m'incendier en disant qu'il avait refait un état des lieux sans ma présence, et que l'état de l'appartement était déplorable, dégradé, sale...
L'appartement étant vraiment délabré d'origine, je me suis tenu de lui rappeler . Le propriétaire assure avoir utiliser la caution pour frais de réparation, ménage....
Je trouve ça scandaleux et j'imagine que c'est illégale de refaire un état des lieux sans ma présence en sachant qu'il avait déjà était officiellement fait.
Merci de me renseigner, j'ai vraiment besoin de cette caution, j'espère que j'ai été assez clair..
Bien à vous,
E.