Droit de visite bébé de 4 mois

Bonjour,
je lis un peu le forum depuis plusieurs jours et j'espère que vous pourrez m'aider
Après 7 ans de couple (pacsés depuis 3 ans et demi), mon ex m'a quitté quand j'étais dans mon 4e mois de grossesse en me disant ne pas vouloir de l'enfant (en plein préparatifs du mariage, et avec un achat d'appartement sur plan en cours...)
Par la suite il a voulu reconnaître l'enfant 4 mois avant sa naissance (je pensais qu'il était seulement perdu et que peut-être il voudrait recommencé avec notre fils). Je l'ai laissé être présent autant qu'il le voulait pendant ma grossesse (je n'ai mis ses affaires dehors qu'en mars, soit un mois avant d'accoucher, car il ne l'avait toujours pas fait malgré mes multiples demandes).
Je l'ai même laisssé dormir chez moi les 3 premières semaines de vie de notre fils (et je l'ai nourrit...). Il a été minable : il se couchait à 5 h du matin pour se lever à 12h, et le peu qu'il s'est occupé du bébé, j'ai retrouvé mon fils tout seul sur sa table à langer à 3 reprises... et d'autres actes complètement inconcscients. Depuis, on s'est bien disputé et je n'ose plus lui laissé mon bébé plus de quelques secondes.
Après j'ai exigé mes clés, il ne voulait toujours pas qu'on se remette ensemble (entre temps il m'a dit qu'il avait une autre nana, et qu'il m'avait même trompé avec elle au début de ma grossesse...). S'en était trop, ras le bol d'être gentil et d'accepter qu'il aille où il veut quand il veut.
Je lui ai alors fait signé plusieurs papier : rupture du Pacs et requête au JAF : Visite 2 soirs par semaine et Pension Alimentaire. Il a signé être d'accord.
Maintenant il m'a menacé de prendre un avocat en disant que je voulais le séparer de son fils

Moi je suis enseignante, je vais reprendre à temps partiel pour m'occuper de mon fils le plus possible, j'ai trouvé une nounou en face de chez moi, je suis propriétaire de mon appartement... Bref, on ne pas me reprocher grand chose. Lui il rentre en général de son travail à 19 h ...
De plus j'allaite toujours et je veux continuer en mixte même en travaillant.

On voit le juge dans 15 jours, et je m'angoisse : est-ce qu'il va demander un week-end sur 2 et la moitié des vacances scolaires ? Si c'est le cas, peut-il l'obtenir ?
Vu son immaturité (tant avec moi qu'avec le bébé) je ne veux pas qu'il puisse être seul avec l'enfant. Il n'a jamais vécu avec lui, pour moi c'est inconcevable de laisser mon enfant sans moi, surtout la nuit.
Quand pensez- vous ? Est-ce qu'un juge pourrait comprendre que je ne veux pas qu'il voit mon fils sans pas présence ? Ou maximum quelque heures ?
Merci d'avance