Retenue sur règlement du solde de travaux

Bonjour,
J'ai entrepris de travaux de rénovation sur lequel il n'y avait mentionné que la date de début des travaux et pas la date de fin (le délais de 3 mois de travaux a été donné oralement). Après un mois de retard, nous les avons sommé de venir commencé les travaux ; une équipe de 3 personnes est venue pendant 5 jours, puis ne sont jamais revenus. Ils nous ont laissé un chantier sans aucune protection, avec des montagnes de gravats non déblaillés ! Nous les avons mis en demeure par courrier AR de reprendre les travaux et de récupérer leur retard. Ils sont revenus. Mais nous avons été obligé de faire certaines taches nous-même car ils nsous sabotaient le travail ! ENfin, avec 1 mois 1/2 de retard, ils ont terminés les travaux. Malgré tout, ils ont endommagés une cloture en passant trop près avec leur camion, et ils nous ont détruit 12 m² de pelouse puisqu'ils n'ont pas mis de protection sous les tas de sable et qu'ils en ont mis plus que nécessaire.

Aucune retenue sur garantie n'a été prévue au contrat / devis. Puis-je malgré tout faire une retenue sur facture de 5%, montant qui nous dédommagerait du retard dans l'exécution du contrat, de tous les travaux faits nous-même, et qui nous dédommagerait des inconvénients subis par l'abandon du chantier ? Qu'est-ce que je rsique si la société refuse et me demande le montant complet ? Puis-je leur opposer mon refus de payer la totalité ?

Merci d'avance pour votre réponse.