Separation difficile avec maison inachevée

Actuellement entrain de me séparer de mon ex-conjoint
les parents de celui-ci me réclame les deux moitiés des cautions qu'ils nous avaient versé il-y- a maintenant 6ans pour le premier appartement et 5ans pour le deuxième
Sachant qu'a l'époque cela était un don et non un prêt.
je n'ai pas souvenir d'avoir signé de reconnaissance de dettes mais eux disent avoir des papiers
jusque là ils ne m'ont jamais rien réclamé
Sont-ils en droit de me les réclamer et que dois-je faire?

Nous étions entrain de faire construire une maison dont les travaux son actuellement bloqué. il me disait vouloir garder cette maison mais j'ai appris aujourd'hui par son père, qu'il ne ferait rien et qu'il ne la vendrai jamais car ils ne veulent qu'une seule chose, c'est que je paye toute ma vie ce prêt.
Quand je dit "ils " je parle de mon ex-ami et de ses parents.

A-t-il le droit de faire ça ?

en vous remerciant d'avance