Droit et obligation parentales

Bonjour,
Je suis en couple depuis deux ans avec une femme qui a 3 enfants
je n' ai jamais vraiment accepté ces enfants mais c'est le prix a payer pour la garder pres de moi.
Donc le jugement du divorce de ma concubine a réparti les enfants de la manière suivante:
la semaine et un week end sur deux chez nous+ la moitié des vacances.
un week end sur deux +la moitié des vacances chez le père des enfants.

Pour l' instant ça roule,j' arrive a avoir de l'intimité un week end sur deux avec mon amie et les enfants sont chez les grands parents pendant les vacances.

aux dernières grandes vacances 2010 les enfants étaient le mois de juillet chez les parents de mon amie et le mois d'aout chez leur père et chez la mère de celui ci.
Elle a été violente avec eux et a frappé les enfants . le grand c'est rebellé et ça a été la pagaille . Le père a été prevenu,bref...

Lundi il nous annonce qu'il ne souhaite plus voir les enfants,il ne peut pas s'en occuper.
Cela implique que nous les aurions a temps plein ce qui ne me conviens pas du tout.

On a téléphoné a notre avocat et nous a dit qu'il avais tout a fait le droit de faire ça.

Quels sont nos recours?