Conditions d'annulation d'une servitude

Bonjour,

Quelles sont les conditions d'annulation d'une servitude?
Il s'agit d'une servitude présente dans mon acte de vente, qui donnerait le droit à mon voisin (maison mitoyenne) de rentrer dans ma cour pour accéder à sa cave par un petit escalier.
Est-il possible d'annuler cette servitude, sachant que:
- elle n'est pas présente dans l'acte d'achat du voisin,
- le voisin dispose déjà d'un accès à leur cave dans sa maison
- les anciens propriétaires ne se servaient pas de cette servitude, elle n'a donc pas servi pendant plus de 30 ans.

Cordialement,