Non respect droit de passage

Bonjour,
nous sommes propriétaire et accordons un droit de passage a notre voisin car son terrain est enclavé, pour acceder chez lui il est obligé de passer par notre portail ( que nous ne fermons jamais a clé!) nous lui avons demander de toujours refermer le portail derrière lui car bons nombres de démarcheurs et autres individus entrent dans notre cour a tout heure de la journée; hors il le fait que lorsqu'il en a envie! même ses visiteurs! nous sommes obligés de descendre a répétition refermer ce portail a chaque fois, et même pendant la nuit! ( car il travaille desfois la nuit!)
nous lui avons dit que c'était en aucun cas pour les embêter mais c'est une question de sécurité et d'intimité aussi! rien a faire! il le pousse a moitié, le laisse completement ouvert, quel recourt avons nous? LORSqu'on part en vacances le portail est contamment ouvert et nous donnons diretement sur la voix publique! aidez nous! merci pour vos futures reponses!