Conjoint de retour et CAF

Bonjour, Je voudrait un petit conseil mon conjoint était incarcérée donc nous nous somment déclarer étant séparer (Je touche le soutien famille) pour les deux enfants gare de 4 et 2 ans , Mon conjoint est sorti en aménagement avec le bracelet électronique il a rendez vous pour percevoir le RSA sachant qu'il a 25 ans et qu'il ne travaille pas. Une dame de la caf Ma dit que si je me déclarer avec lui à la CAF j'allais perdre tout mes droits que faire ? Mon père veut bien lui faire une attestation comme quoi il l'héberge .. je suis perdu !!! :( HELP