Non paiement des indemnité de retard

Bonjour,
Notre maison vient de nous être livrée avec 2 mois et demi de retard.
Ils ne veulent pas payer la moitié des indemnités de retard pour cause d'intempéries (preuve juste montrée : bulletin météo france; 45 jours sous 0 dans le 77 entre dec 07 et fev 08). On leur a parlé de la déclaration à la caisse des congés payés du batiment et ils nous disent qu'ils sont constructeur de maisons individuelles et qu'ils ne sont pas régit par la CCPB (les ouvriers sont mobiles, et peuvent travailler sur d'autre chantier).
Que faire?
J'ai lu en fouillant la toile que les conditions d'intempéries doivent être connu par la maitrise d'ouvrage (nous) dès le contrat.
Nous n'avons pas payé les derniers 5% puisque qu'ils veulent décompter du reste à payer la moitié des indemnités (76 jours de retard - 45 jours d'intempéries) et nous ne sommes pas d'accord...
Notre interlocuteur fait pression en disant que leur juriste n'attesterai ces jours d'intempéries si elle n'était pas sûre d'être en son droit. Il sous-traite aux ouvriers locaux. Et nous répète 100 fois qu'il ne sont pas géré par la caisse des congés payés du batiment.
Et j'avais déjà avancé le fait que la maison était hors d'eau, hors d'air durant ces jours, il me répond qu'il s'en fiche, que c'est un moyen de ne pas payer les indemnité de retard en déplaçant la date de livraison avec le nb de jours d'intempéries sur l'ensemble de la construction.
Merci de votre réponse.