Vente annulée car assurance trop chère

Bonjour,
Nous avons signé un compromis de vente de notre maison chez le notaire en AVRIL 2015. Nous devions signer la vente fin JUIN 2015. Malheureusement, les acheteurs ne veulent plus signer la vente car, malgré l'accord de leur banque pour le prêt, ils trouvent que le coût de l'assurance est trop élevé (graves problèmes de santé antérieurs à la signature du compromis). Pour nous, c'est la catastrophe ! Nous devons payer un prêt relais et remettre la maison en vente avec tout ce que cela implique... Les acheteurs peuvent-ils se rétracter après la date légale et dans quelles conditions ? Est-il obligatoire de passer par la justice pour que le dépôt fait à la signature du compromis nous reste acquis à nous les vendeurs qui avons fait confiance à tort ? Même l'agent immobilier qui a vendu notre maison ne sait plus trop quoi penser !
Merci pour le temps passé à nous lire et à nous répondre.