Supprimer un jour de repos

Bonjour,
Voila je suis en CDD dans une entreprise depuis 2 mois, pendant les vacances de ma collegue les patrons devaient embaucher quelqu'un pour la remplacer mais sans me prevenir il ne le font pas et partent du principe que je vais venir travailler pendant mon jour de repos durant les 3 semaines de ses vacances (ce que je sais par ma collegue) mais il ne m'en ont toujours pas parler (nous sommes lundi et c'est pour jeudi). Ai-je le droit de refuser de venir jeudi?
Merci d'avance pour vos reponses.