Licenciement faute lourde avec transaction

Bonjour,
J'ai plus de 50 ans et travaillais depuis 16 ans dans l'entreprise de ma Soeur et mon Beau Frère. Des problèmes familiaux graves entrainaient des relations professionnelles pénibles qu'elle provoquait. On peut dire que j'ai subi un véritable harcèlement depuis plusieurs années (je suis cadre, mais dans les derniers temps, on ne s'adressait à moi que pour nettoyer les WC, les carafes d'eau, elle me parlait très mal de haut et sur un ton désagréable, etc... et elle ne s'adressait qu'à mon collaborateur pour les questions professionnelles. Bon, voyant que j'allais tomber malade, je leur ai dit que je voulais partir. Et après un dernier clash fin mai 08 au cours duquel ma soeur m'a asséné des coups dans le dos alors que j'étais au téléphone avec un fournisseur, mon beau-frère est intervenu et m'a mise à pied immédiatement. Il m'a dit qu'il ne voulais plus me voir et que je serais convoquée à un entretien, qu'il me verserait l'intégralité de mes indemnités, sans me dire quel type de licenciement il engagerait. Cela m'arrangeait d'être licenciée pour ne plus subir. Je n'y connais rien en cette matière, et il le sait. Il m'a fait signer une transaction avec indemnité transactionnelle en invoquant l'insubordination répétée avec mon supérieur hiérarchique (ma soeur), et des fautes (mineures) répétées. Pendant 3 mois j'ai reçu mon salaire en restant chez moi, lui faisant confiance sur ce qu'il m'avait dit. Le 29 mai, j'ai reçu une lettre de licenciement, sans indication du type de celui-ci. Je m'attendais à une faute simple voire grave.
Or, début septembre, j'ai reçu mon solde de tout compte et ma feuille assedic, et j'ai alors découvert que j'étais licenciée pour faute LOURDE, qu'il manquait environ 10 000 euros sur le calcul de ma prime de licenciement (convention collective des télécommunications), que le calcul de l'indemnité de congés payés était erroné à mon désavantage bien sûr (il me restait 31 jours N-1 et 7.5 j N). Concernant l'indemnité de préavis, j'aurais dû recevoir en juillet, si ne j'avais pas été licenciée, une prime de résultat comme tous les ans d'environ 1000 euros qu'ils ne m'ont pas payée.
Puis-je réclamer auprès de mon employeur les sommes manquantes et modification du type de licenciement alors qu'ils mont fait signer une transaction ? Et, est-il logique, si faute lourde il y a, qu'ils ne m'aient pas privée de mes indemnités. J'ai le sentiment d'avoir été manipulée, car ils ne m'ont jamais dit que la faute lourde était invoquée.
Je suis seule, et je ne sais pas quoi faire. Donnez-moi je vous prie des renseignements éclairés.
D'avance merci