Garde enfant affaire pas jugée

Bonjour
Voilà mon conjoint et moi-même avons décidé de nous séparer. Nous avons une fille de 16mois. Depuis le moment où je lui ai dit que j'étais enceinte il m'en veut (alors qu'il n'a jamais manifesté son désaccord quand je lui ai annoncé). En fait il a déjà vécu cette situation car il est déjà papa d'un garçon de onze ans. Quand nous nous sommes connus il était en procès avec la maman. J’ai accepté d'aller voir la psychologue qui était en charge du dossier (une demande d'expertise psychologique). Il me paraissait être un père responsable qui se souciait de l’avenir de son fils. En fin de compte c’est un grand gamin qui ne veut pas trop de responsabilité et veut garder sa liberté, sans contraintes. Notre vie était donc devenue insupportable : il buvait, me reprochait de lui avoir fait un enfant dans le dos. J’ai senti que c’était trop d’efforts pour lui de vivre avec nous. Moi n’en pouvant plus j’ai préféré lui annoncé que je désirais me séparés de lui. Mais voilà : nous sommes colocataires d’un appartement hLM que nous avons eut grâce au cilg de mon entreprise. Et il ne veut pas partir. Il me suggère d’aller vivre chez mes parents qui habitent loin du lieu de mon travail et surtout du lieu de résidence de la nounou de ma fille (je serais obligée de la réveillée à 5h15 du matin pour l’emmener le matin). Je suis donc restée avec ma fille et ma mère chez nous pour pouvoir répondre aux besoins de ma fille. J’ai fait appelle à une avocate qui a déposée une demande en référé avec un caractère urgent. Apparemment le juge n’a pas trouvé que la situation été urgente. Il sait que j’ai peur de lui laisser ma fille trop longtemps (il est réellement irresponsable (ou étourdi mais quand la vie d’un enfant est en jeu peut-on parler d’étourderie !) il laisse traîner des clous, laisse la barrière de l’escalier ouverte, et quand il boit trop c’est pire : il laisse la porte d’entrée donnant sur la rue ouverte et même un jour la plaque électrique de cuisson allumé). La question se pose alors que dans ma requête je demande à ce qu’il ait sa fille le week end de 9h00 à19h30 le samedi et dimanche (c'est-à-dire sans la nuit) lui veut actuellement que je lui laisse durant les nuits. Ai-je le droit de m’y opposer (en sachant qu’il peut la voir actuellement tous les soirs puisque nous vivons dans le même lieu mais que lui rentre tard et que sa fille dort donc qu’il n’en profite pas. Le problème va également se poser durant les vacances : ai-je une quelconque obligation vu que rien n’a été légalement décidé. Il me menace d’aller faire une main courante ?
Voilà je vous remercie d’avance pour les réponses et les aides que vous pourrez m’apporter