Mon ex veut abandonner ses droits sur notre fils de 15 ans

Bonjour,
je suis séparée depuis 13 ans d'avec le père de mon fils ainé il a refait sa vie très rapidement et a eu 3 autres fils de sa nouvelle union quant à moi je suis mariée avec 2 autres fils de ma nouvelle union. J'ai depuis 2009 l'autorité parentale totale
Nous rencontrons tout deux dans nos foyers respectifs les même difficultés avec notre fils sauf que son épouse ne veut plus s'occuper de lui ( a causes des difficultés de notre fils ) quand il y doit y passer les week end et les vacances de la a ce que notre fils n y aille que quand son père ne travaille pas.....
Le problème est que mon ex pense très fortement a "abandonner" ses droits de père en vers notre fils qui va avoir 15 ans je suis complètement outrée qu'il pense faire ce choix .Peut il le faire sans inquiétude et sans sanctions ??