Remboursement du AF perçu

Bonjour,
Je suis propriétaire de ma maison.
Depuis février 2014 je travail en suisse.
Je voyage beaucoup dans le monde entier et je suis a la maison que quelques semaine de l'années (quelques weekends et vacances).
Je paie mes impôts et CMU en France et je ne perçoit aucune aide de la caf.
Depuis mon départ j’accueille une mère de famille avec ces trois enfants en difficulté dans ma maison à titre gratuit. Ma maison n'est pas vide et bien entretenu. Nous avons établi un CONTRAT DE PRÊT ENTRE PARTICULIERS. Je paie les taxes foncières et habitations et les facture d'eau et Electricité etc.
La seul chose que je demande c'est de s'occuper de mon courrier et ma maison quand je ne suis pas la.

La CAF lui à fait un control et a décider qu'on vivait en concubinage. Du au fait que mon salaire est plus que le maximum pour percevoir les allocations familiale, ont lui demande de rembourser la totalité des montants perçu.

Ma question:
Est ce que la CAF a le droit de faire ça et est-ce que je puisse m'opposer au fait qu'on me mets en situations de concubinage avec quelqu'un dont je n'ai pas de relation affectueuse?
Bien sur cette personne est dans l'incapacité de rembourser la CAF.
Je me sens en quelque sorte responsable de son désarroi et je voudrais intervenir, parce que il y une injustice total a mon avis.


Bien à vous et merci de vos réponses