Date signature acquisition et notaire

Bonjour,
Je suis en phase d'acquérir un bien immobilier en passant par une agence.
Pour simplifier les choses, l'agence immo m'a proposé de choisir le même notaire que celui du vendeur (le vendeur vend sa maison, et cette vente lui permettra d'acheter une autre).
Jusque-là tout s'est bien déroulé.
Sauf que pour connaître un peu le notaire, je lui passe un coup de fil histoire de faire connaissance et avant de terminer, il m'annonce qu'il ne travaille pas le samedi et donc la signature prévue un samedi devra se faire à une date ultérieure.
Ce qui ne m'arrange pas puisque j'ai pas mal de choses à faire et il est impératif pour moi d'occuper les lieux comme cela avait été convenu, au mieux avant la date butoir, sinon à la date figurant sur le compromis.
J'ai donc pris l'initiative d'appeler le vendeur pour m'expliquer avec lui ; celui-ci m'a dit qu'il était prêt à laisser sa maison le plus tôt possible, mais il n'a pas encore fini la procédure d'achat de sa nouvelle maison.
Au final, j'ai l'impression que l'agence et le notaire s'arrangent pour faciliter la vie au vendeur et m'imposer les évènements à moi l'acheteur. Je comprends que mon vendeur actuel ait besoin de cet argent pour acheter sa maison, mais je ne comprends pas pourquoi est-ce moi qui dois subir les désagréments.
Le notaire m'a expliqué qu'il doit d'abord obtenir de la mairie un certain nombre de papiers administratifs d'une part pour la vente et l'achat concernant le vendeur, et d'autre part, pour mon achat (me concernant).
J'ai donc appelé l'agence immo pour leur signaler que finalement la date butoir ne convient pas au notaire et que c'est hors de question pour moi de la déplacer à une date ultérieure.
Tous (agence et notaire) m'ont dit faire le nécessaire pour que le vendeur déménage rapidement, et que mon achat se fasse dans les meilleurs délais, au mieux, avant la date butoir. J'en doute un peu vu le déroulement des faits.
J'aimerais savoir dans quelle mesure pourrais-je leur faire pression ?
Cordialement