Congès

Bonjour,
j'ai été en arrêt maladie pendant 2 ans, j'ai repris depuis 1 mois et ayant besoin d'une journée pour mon déménagement (celle-ci m'a été carrément refusée) et d'une journée de congés pour aller voir un spécialiste au mois de Décembre j'ai fait ma demande par écrit à mon patron qui m'a répondu qu'il fallait que je prenne la semaine complète. Il me reste 18 jours de CP acquis.
A t il le droit de m'obliger à prendre toute une semaine alors que je n'ai besoin que d'un jour?
D'avance merci pour votre aide