Mon fils veut vivre chez son père

Bonjour,
Je suis séparée depuis 5 ans et trois enfants, ils vont chez leur papa en vacances depuis que celui-ci a refait sa vie c'est à dire depuis deux ans, et cela de façon régulière pendant les vacances scolaires, depuis quelques mois la pension n'est pas honoré à chaque fois soit disant suite a un couac de la sécu, il se trouve que l'année dernière la compagne de leur papa a évoqué le fait que si les enfants le voulaient ils pourraient vivre chez eux, et là le couperet est tombé leur père me l'a proposé et m'a dit si on le fait c'est pour cette rentrée, je lui ai dit que non pas possible car ce n'est pas le genre de décision que l'on prend sur un coup de tête, dans la mesure où c'est moi qui m'en suis toujours occupé, il n'est pas en mesure de subvenir au paiement de la pension mais bien entendu est prêt à subvenir à leurs besoins à tout les trois, mes enfants ont 12, 10, et 8 ans. Autant dire que j'ai bien les boules. Je ne sais pas comment faire, d'autant plus que sa compagne a déjà deux enfants et qu'elle s'est plaint ouvertement que le père de mes enfants faisait une différence entre ses enfants et les miens et qu'il y a assez souvent des crises d'enguelade à ce sujet, mais à part ça ils sont prêts à les prendre une année. Comment puis-je faire ?