Demande de garde exclusive

Bonjour,
Mon conjoint et moi sommes séparés (nous n'étions pas mariés) depuis bientôt un an. Nous avons convenu à l'amiable d'une garde alternée (une semaine sur deux) pour notre fils de 4 ans. Depuis notre séparation, j'ai déposé plainte contre lui pour violences, nous sommes passés devant un médiateur pénal, il a reconnu les faits et s'est engagé à ne pas recommencer. Seulement, il continue à me pourrir la vie par le biais de menaces, d'insultes (à mon encontre et à l'encontre de mon nouveau compagnon),etc. J'ai redéposé plainte. Du coup, la garde alternée se passe très mal, nous n'arrivons pas à nous entendre sur les modalités (il veut changer notre fils d'école, modifie sans cesse l'organisation pour les vacances, veut que je le dédommage de ses frais de déplacement car notre fils est scolarisé dans la ville où je réside) Je lui ai proposé une médiation familiale qu'il refuse. Je suis partagée entre le fait de ne pas vouloir priver mon fils de son père et celui de demander la garde exclusive. En effet, je pense que pour lui, la garde alternée est un moyen de garder un pied dans ma vie, de continuer à exercer son autorité sur moi. Je voudrais avoir des conseils. Même s'il n'est pas violent avec notre enfant et qu'il s'en occupe correctement, je me demande si ses nombreux comportements ne vont pas nuire à l'équilibre du petit. Les faits avérés de violence ont-ils une incidence sur la décision du juge quant à la garde de l'enfant? Je vous remercie de votre aide.