Restitution de caution

Bonjour,
Nous louions un logement que nous venons de quitter. Nous avons procédé à l'état des lieux avec l'agence avec laquelle nous avions signé le bail. Pour elle, il n'y a aucun soucis, le logement était dans l'état initial mais notre chère propriétaire s'en mêle et pour des raisons injustifiées nous dit qu'elle ne nous rendra pas la caution.
Ma question est la suivante : l'agence nous dit que comme elle n'a pas gardé la caution du logement ( c'est la propriétaire qui l'a encaissé), en cas de litige nous devrons nous retourner contre la propriétaire et non contre elle.
Qui a raison? Merci d'avance de votre attention.