Trop perçu

Je viens de voir sur le site de la caf qu'on me réclame 5770€ de trop perçu d'allocations logement sur 2015 et 2016. J'ai reçu par courrier une demande concernant une reprise d'activité fin 2016 de leur part je leur ai dit que oui en effet je travaillais a mi temps. Je suis à la retraite depuis fin 2014 et ne percevant que 1100€ j'ai décidé de travailler à mi temps pour combler celle ci. Les impots étant relié avec la caf celle ci avait automatiquement mes ressources. Comment ce fait il qu'ils n'aient pas fait le nécessaire tout de suite pour revaloriser l'allocation logement je ne comprends pas. Maintenant que dois je faire??? Merci pour vos commentaires