En principe, la modification des horaires relève du pouvoir de direction de l'employeur, donc, en cas de refus, vous vous exposez à ce qu'il exerce son pouvoir disciplinaire = licenciement (faute grave)

toutefois, il peut aussi renoncer à la modification envisagée et le contrat se poursuit alors aux conditions antérieures.

dans tous les cas, il est tenu de respecter les dispositions de la convention collective qui lui imposent :
- la forme de la proposition de la modification
- le préavis avant la mise en oeuvre de la modification

aussi, l'employeur doit user normalement de son pouvoir de direction, ne pas en abuser pour provoquer votre départ, par exemple ;
"Mais attendu que (...) l'employeur, qui avait agi de manière brutale et vexatoire à l'égard de la salariée, avait abusé de son pouvoir de direction en adoptant une attitude susceptible de provoquer la rupture du contrat de travail ; que les moyens ne sont pas fondés"

Pourquoi veut-il changer vos horaires ? da mihi factum, tibi dabo jus