Enlever les droit du père comment faire??????

Bonjour, voila je vous explique, j'ai un petit garçon de 4 ans qui a un pere ( mon ex compagnon), qui c'est retrouver sans domicile pour accueillir mon fils 1 week end sur 2 en juillet, et aller faire du black sur une peniche commercial.
La première chose qu'il lui est passé par la tête c'était de le prendre avec lui sur cette peniche qui n'est pas un lieu pour les enfant.
J'ai fait appel a un avocat pour pourvoir arreter ce mode de garde vue qu'il est officiellement a la rue. Au moi d'aout dernier, le juge en a conclu qu'il avait maintenant juste un droit de visite 1 samedi sur 2 de 10h a 17h. Depuis aout 2010 a aujourd'hui mai 2011 il est venu le voir qu'une seule fois.
Ce manque de presence n'est pas la premiere a son actif, il y a 1 a 2 ans il avait disparu de la circulation pendant 8 mois et reapparu du jour au lendemain, et a chaque fois c la meme chose, il disparait et revient le voie une a 4 fois et redisparait pendant X temps.
Je pense au bien psychologique de mon fils, et je ne voie rien de bon dans ce qu'il fait, et aimerais lui enlever ces droit parentaux, car il lui apporte rien, il ne prend pas de nouvelle de lui, il trouve toujours une escuse bidon, mon enfant n'est pas un jouet qu'on et qu'on jete quand on veux.
Est il possible de lui enlever ces droit parentaux pour le bien de mon fils, merci d'avance.