Déménagement sans préavis, urgence.

Bonjour,
Je vis dans un logement sociaux, et j'ai plusieurs enfants à charge avec mon mari. Depuis déjà presqu'un an, nous avons été agressé par des voisins, et ce à répétition. Nous avons porté plaintes plusieurs fois, et déposé une demande de mutation afin d'obtenir un nouveau logement, dans le même groupe de logements sociaux.
Et jusqu'à lors, aucunes réponses nous aient parvenues. Nous avons trouvé un logement en particulier. Le déménagement est prévu dans une semaine, car il serait libéré le 1er Septembre. Nous devons donc déménagé dans l'immédiat, sans donner de moi de préavis, et les menaces des voisins sont de plus en plus persistances.
Dans ce cas là, est-ce qu'ils sont en droit, de gardé ma caution ( à cause d'absence de préavis) ?

Merci à tous.