Mandat CHSCT

Bonjour,
Je suis secrétaire adjoint du CHSCT au sein de mon entreprise.
Suite à un désaccord avec mon DS j'ai pris la décision de ne plus adhérer à ce syndicat.
Lors d'un conseil syndical je me suis justifié de cet acte et mon DS m'a expliqué que si je n'adhère plus je perd mon mandat au CHSCT .
A-t-il raison ????