Indu RSA (4000€) retenu sur allocation logement et jeune enfant

Bonjour,
Etant bénéficiaire du RSA suite à la fermeture de mon commerce j'etais hebergé par une amie depuis 2009 (je précise que le RSA servait à payer mes divers échéanciers dut à la fermeture de mon commerce).
Mi 2012 nous avons eu un rapport et elle est tombée enceinte. L' enfant né en Fevrier 2013 et je le reconnais. Dans la foulée nous nous déclaront en concubinage depuis la date où nous avons appris la grossesse donc rétroactivement 9 mois avant.
Nos dossiers sont donc fusionnés et la Caf réclame aujourd'hui un indu de 4000€ à mon nom. Ma concubine est au chomage (1100€) et moi sans aucunes ressources (RSA coupé).
Nous touchons l' alloc jeune enfant: 180€ et 350€ d' aide au logement.
Les 4000€ sont réclamé en mon nom mais au jour d' aujourd'hui ils veulent retenir dessus pour mon indu: en gros ma compagne est pénalisée ainsi que mon enfant.
Je voudrais savoir si ils ont le droit de retenir l' integralité de nos prestations soit 500 et quelques € et sinon à hauteur de combien maximum?
De plus je ne vois pas pourquoi ma concubine et mon enfant seraient pénalisée par ma dette et est il possible que je demande un échéancier seulement à mon nom ce qui laisserai les pleines prestations à ma compagne?

Merci par avance pour votre aide.