Emprunt immo, ne pas utiliser tout le montant

Bonjour,

Nous construisons notre maison et avons contracté un prêt à la banque populaire à un taux de 4.9% sur 25 ans. Pour l'instant nous n'avons retiré que 1/4 du montant total du pret.
Les taux ayant bien baissé en 9 mois, j'ai demandé a mon banquier si on pouvait renégocier le taux, il m'a dit que c'était possible sur la partie que ja n'ai pas encore consommée et me parle même d'un taux mini à 4.A % sauf que comme d'hab il doit voir avec la direction des prets qui décide.
Au bout de 15 jours sans nouvelles il me dit qu'il fait ce qu'i peut mais que la direction des prets ne va peut etre pas etre d'accord...
Est ce que je pourrais stopper mon pret avec le 1/4 du montant consommé et remprunter les 3/4 restants dans une autre banque sans payer de pénalités (de remboursement anticipé?

MErci de vos réponses