Bonjour,
Dans votre situation, le père des enfants détient toujours, conjointement avec vous, l'autorité parentale même si la situation fait qu'elle est plus limitée. Il paraît difficile d'intenter une action en déchéance de paternité. En effet, vous parlez de visites épisodiques, il n'y a donc pas "désintérêt" total.
Logiquement, c'est à lui qu'il revient de s'occuper de ses enfants.

S'il ne peut pas (ou ne veut pas) :
- Un tiers (grand-parent, parrain, etc.) peut alors présenter une requête au Juge aux Affaires Familiales pour la garde des enfants. Ce tiers n’a pas à prouver de motifs graves pouvant entraîner la déchéance de l’autorité parentale du parent mais uniquement que l’intérêt des enfants commande que leur garde lui soit confiée. Il doit démontrer qu’il est capable de procurer les soins et l’affection qui sont nécessaires aux enfants.
- Le parent peut saisir le JAF pour que l'exercice de l'autorité parentale soit déléguée à un tiers.
Ces possibilités ne sont toutefois accordées le plus souvent qu'à titre provisoire.

Vous n'avez, dans l'état actuel des choses, pas la possibilité de choisir un tuteur (par testament ou acte notarié), qu'il soit ou non parent du mineur. Cette possibilité n'appartient qu'au dernier vivant des père et mère s'il a conservé, au jour de son décès, l'exercice de l'autorité parentale.

Pour ce qui concerne votre succession : dans le cas de la maison, l'assurance-décès du crédit remboursera la banque, vos enfants étant vos héritiers deviendront propriétaires indivis du bien. La gestion de ce patrimoine sera assurée par la personne détentrice de l'autorité parentale ou le tuteur sous le contrôle du juge des tutelles.
Cordialement.