Resiliation de bail loyés en retard ou non payés

Bonjour, je loue une maison à un couple depuis le 1er décembre 2014. Le 6 février 2016, l'épouse m'envoie un A.R. me disant qu'elle se sépare et qu'elle quitte le logement. Le mari veut garder la maison et me confirme qu'il paiera seul. A l'échéance du bail, nous devions refaire un bail à son nom seul, et il devait mettre une personne en caution.
Depuis 3 ans , je ne suis jamais payée dans les temps, j'ai même été payée un 21 du mois (date du 5 sur le bail). J'avais demandé un virement automatique (verbalement) lors de la signature du bail (ils avaient dit oui). Actuellement, le loyer de mai n'est toujours pas réglé, et j'attends aussi celui de aout. (juin et juillet ont été réglés et il devait payé en plusieurs fois le mois de mai).
A ce jour, je n'ai plus envie de renouveler le bail, mais je ne lui ai pas donné congé avant le 31 mai. Comment puis-je faire pour qu'il s'en aille ?
Je dois voir aussi pour des travaux, c'est lui qui doit fixer le rdv, mais il ne fait rien pour avancer depuis quelques mois. Je suis donc coincée.
Quand je veux un papier ou autre chose, je suis obligée de demander plusieurs fois, à la fin je ne demande plus. J'en ai assez de cette situation.
De plus, ils sont rentrés presque 3 semaines avant dans les lieux et ceci gratuitement (novembre 2014).
Merci