Mon fils est allé vivre chez sa mère

Bonjour,
Je suis divorcé et remarié. De mon premier mariage, j'ai deux enfants, un fils de 19 ans et demi et une fille de 21 ans.
Ma fille est étudiante et est à la charge de sa mère qui lui verse une pension alimentaire afin de lui payer son appartement. Mon fils est à ma charge depuis 7 ans mais après quelques altercations, celui ci à décidé d'aller vivre chez sa mère qui s'est empressée de me demander de l'argent. Mon fils ne supporte pas que je lui fasse des remarques alors que je le trouve au lit à 14h en semaine, alors qu'il est en fac de médecine (qu'il vient de rater pour la deuxième année consécutive) et que de plus il fume du shit. Il assimile cela à du harcèlement et maintient que je le dévalorise.
J'ai répondu à mon fils que je prenais en charge sa sécurité sociale étudiant, sa complémentaire santé, son téléphone et son assurance moto et que je lui donne 100 € par mois pour ses frais. Je n'irais pas au delà. Bien sur, sa mère veut me trainer au tribunal. Ce qui m'inquiète c'est que nous avons pris une maison suffisamment grande pour l'héberger quand il est venu chez nous il y a 7 ans, donc loyer élevé. Vais je devoir déménager s'il ne veut pas habiter chez moi ? pour avoir un loyer moins élevé. Que prévoit la loi dans ce cas ? l'ordonnance de jugement m'a bien donné la garde de mon fils, mais si celui ci, qui est maintenant majeur, veut aller habiter chez sa mère, que puis-je faire ? Il est bien entendu que je ne peux pas verser les 350 € qu'elle me réclame.
Merci de m'apporter quelques éclaircissements vis à vis de la loi et de mes obligations.