Dépôt de garantie non rendu

Bonjour,
L’année dernière, j’ai pris une location d’un appartement au mois de mai à la suite d’une séparation.
Comme je vivais mal la solitude, je décidais de retourner chez ma mère et j’en avais parlé à mon propriétaire qui habitait juste à côté. Il était d’accord et je n’ai fait qu’un mois de préavis sur les 3 normalement prévu. C’était un accord oral avec le propriétaire et il est à noter que ça ne passait pas par une agence. Il ne m’a pas dit que j’avais 3 mois à faire normalement et que ça le dérangeait.
L’état des lieux de sortie a été fait et il était parfait. Après, j’ai attendu le retour de la caution et le propriétaire me disait qu’il n’avait pas encore reloué et qu’il attendait, comme j’avais de très bons rapports avec lui, je n’étais pas spécialement pressé mais cela a duré plus de 4 mois. Là, j’ai été plus pressant et après, il ne répondait plus au téléphone. J’ai alors fait une lettre recommandée mais elle n’a pas été prise et m’est revenue. J’en ai fait une deuxième à une autre adresse qui était sur les documents de location et là, pareil, elle m’est revenue, bien sûr cela a pris au moins 2 mois car les lettres ne reviennent pas rapidement.
Aujourd’hui, j’ai réussi à l’avoir au téléphone et il me dit qu’il n’a pas à payer car e n’ai pas respecté les 3 mois de préavis et que c’est moi qui lui doit de l’argent. Je lui fais remarquer qu’il n’a pas signalé que j’avais 3 mois de préavis à faire quand je lui ai demandé de raccourcir le préavis mais il me dit que nous n’en avons pas parlé. Il se retranche derrière le droit et pas derrière la parole donnée.
Quels sont mes droits ? Puis je gagner en justice en arguant qu’il n’a pas signalé qu’il refusait que je parte au bout d’un mois ? Il me dit aussi que lors de l’état des lieux, il a inscrit « pour quitus » sur le document et que ça veut dire qu’il ne me doit plus rien, est-ce vrai ?
Merci pour votre aide