Impots france et suisse

Bonjour,
J'ai fait une saison de 4 mois en suisse dans le Valais avec un permis L. J'ai bien sur déclaré sur mes impôts français cette période. Il me demande 500 euros d’impôts sur le revenue sachant que je n'avais toucher en France que quelques mois de chomages.
J'ai pu lire sur mes fiches de payes suisses qu'un impôt a la source m'avait été prélevé sur chacune de mes paies, donc je ne comprend pas pourquoi je dois aussi payer les taxes en France.
Pensez-vous que cela peux être une erreur des impôts français?
merci de votre aide.