Le bailleur refuse de rendre le dépôt de garantie

Bonjour,
j'ai fait les choses dans les règles mais je me suis fait avoir. j'ai envoyé ma lettre de préavis avec A/R le 15 /02 2016 à l'agence, celle-ci m'a confirmée ma décision, donc départ le 14 mai 2016 (le 15 étant un dimanche). je n'ai pu trouvé un nouvel appartement que le 09 mai 2016, j'informe l'agence que l'appartement sera vide le 14 mai comme prévu, donc de me fixer un RDV pour l'état des lieux de sortie, appel sur répondeur. je déménage et arrivé le 17 puisque le 16 mai férié, je rappelle l'agence pour le rdv, on me répond que la personne qui s'occupe des visites est en formation de rappeler le mercredi suivant. j'ai rappelé 3 fois répondeur, ma mère à même rappeler l'agence même réponse . ces appels incessants sans réponse à durer jusqu'au 8 juin où la personne qui fait les visites m'a répondu et donné rdv pour le 15 juin ne pouvant pas être là avant, je lui ai demandé si je devais payer l'indemnité d'occupation de juin puisque j'avais reçu l'avis de paiement. elle m'a certifié de ne pas en tenir compte car elle se jugeait responsable de ce retard qu'elle s'arrangerait avec la propriétaire, donc j'ai fait confiance. le 15 juin nous établissons l'EDS, tout est nickel = à celui d'entrée et même plus propre, puisque j'ai reblanchi les murs, ce qui est noté sur l'EDS, donc RAS. j'ai attendu l'envoi de mon dépôt de garantie jusqu'à hier et là, on me dit que la propriétaire refuse car j'ai gardé les clefs jusqu'au 15 juin et que je dois payer le mois, mais ce n'est pas ma faute si l'agence a fait trainer pour donner un RDV !! j'ai beau dire que l'agence est responsable rien n'y fait . Que me conseillez vous, car mai juin j'ai payé le loyer de mon nouvel appartement (+caution) ! merci pour vos
réponses.