Bonjour,
L'inconvénient dans votre situation actuelle, c'est que vous êtes gérant, même sans rémunération, vous êtes tenus d'acquitter les cotisations maladie et vieillesse sur un forfait minimum.
En revanche, pour l'urssaf, il n'y a rien à payer, je suis étonné qu'il vous appelle sur la part allocation familiale, à mon avis, ça doit être du "provisionnelle".
Dans votre cas, je vous conseille juste de démissionner de la fonction de gérant, de plus, comme vous ne semblez pas être impliqué dans la gestion de l'entreprise, vous vous mettez à l'abri en terme de responsabilité.
En étant qu'associé à 50% d'une SARL, vous percevrez éventuellement des dividendes, mais vous ne serez pas redevable des cotisations RSI.