Soucie CFE

Depuis l'ouverture de mon affaire en 2009, j'habitais un village avec mes enfants.deux ans plus tard, je déménageais au village d'a coté, je signale bien au RSI mon changement.pas de problème. depuis l'an dernier, obligation de s'inscrire à la chambre du commerce et industrie.
et la je reçois mon CFE , je dois payer à deux adresses donc deux CFE. je contact les impôts pour leurs dire que la première adresse ne me concerne plus.ils me renvoient à la chambre du commerce car j'ai deux adresse une avec un siret du siège (1ere adresse) et autre un siret établissement de la 2eme adresse (le siret change des 2 dernières lettres. de la je dois contacter l'INSEE qui ne m'aide pas non plus juste de dire de fermer une adresse.
du coup comment dois je faire pour ne pas régler deux CFE.
je précise que je déclare un coin de table car je n'ai pas de boutique .
Merci de bien vouloir m'apporter de l'aide.