Accord sans passer devant notaire

Bonjour à tous,

il y a 4 ans de cela, j'ai acheté un cors de ferme que je rénove.
Pour obtenir cette maison, l'un des 4 enfants (qui est maintenant mon voisin) m'a obligé à lui signer un papier qu'il a écrit lui meme ou je m'engageais à lui laisser jouissance d'une grange jusqu'à ce qu'il n'en ai plus l'utilité.
Il m'a fait signer cela 1h avant de passer devant notaire pour la signature officiel de la maison, sous peine de ne pas signer et de faire valoir son droit d'acheter la maison en priorité. Comme je voulais cette maison je l'ai fait mais maintenant, je souhaiterai qu'il libère ma propriété.
Que puis-je faire????

merci de vos réponses.