Refus 2ème visite après signature compromis

Bonjour,
Nous avons RDV lundi dans une agence immobiliere pour signer un compromis de vente d'une maison. Nous l'avons visitée une fois et avons fait une proposition ensuite car nous avons eu le coup de coeur. L'agent immobilier nous a recontacté pour avoir des renseignements sur notre état civile afin de rédiger le compromis. Lors de cette conversation, nous avons demandé si nous pourrions revisiter la maison après signature et il a refusé, demandant que cela se fasse après notre délai de rétractation: "le vendeur a fait un effort en baissant son prix initial, on pouvait faire ce geste"!! que peut on faire? Nous aimons beaucoup cette maison mais cela n'inspire pas confiance...
Merci d'avance pour vos réponses. Marmotte