Mur mitoyen abattu par le voisin sans accord

Bonjour,

J'ai besoin de votre aide, pour un sujet qui au demeurant semble complexe sur un plan juridique.
En synthèse :
- Je suis propriétaire depuis plus de vingt ans d'un petit terrain, où je cultive exclusivement des fruits et légumes, destinés à notre alimentation personnelle (mon épouse et moi même), étant en retraite et nos revenus très faibles. Il n'y a pas de maison sur ce terrain. Ce terrain est situé dans une petite bourgade d'un département des Pays de Loire

- Mon voisin possédait un terrain comme le mien, plus long, qui comportait une maison dans le haut du terrain. A son décès, le terrain a été acheté par un agriculteur en retraite, qui souhaite aujourd'hui faire construire une seconde maison à des fins locatives. C'est la construction de cette seconde maison qui me pose problème, sachant :
1 - Qu'il a obtenu le permis de construire.
2 - Que cette maison sera construite sur la ligne de mitoyenneté des deux terrains (Je n'en ai pas été informé)
3 - Que la mitoyenneté des deux terrains est matérialisée par un mur et qu'il a abattu sans même m'informer et ce, sur toute la longueur du mur de la future maison. (J'ai appris par hasard qu'un des murs de cette maison allait être construite sur la ligne de mitoyenneté !).
4 - Que tout le long de ce mur de mitoyenneté, il y a de nombreux arbres fruitiers en espalier, plus des cultures de légumes destinées à notre alimentation.
5 - Qu'il me demande un droit d'échelle pour construire le mur et le crépir, ce qui signifie que tous les arbres seront cassés ou détériores obligatoirement, plus les cultures, et ce, pendant tout le temps de la construction de la maison...
6 - Que la maison, qui aura deux étages, me privera totalement du soleil (indispensable à la culture des fruits et légumes), en projetant l'ombre d'est en ouest sur mon terrain, qui est très petit... La maison aura environ 8 mètres de hauteur. Qu'il y a déjà un bâtiment important à l'ouest, une maison au sud de mon terrain. Je vais donc être totalement privé de luminosité.
7 Qu'il a missionné un géomètre expert, pour réaliser un bornage, que j'ai refusé de signer ce bornage et que le département juridique de sa compagnie d'assurances m'a écrit, en me menaçant d'un procès si je ne signe pas le bornage.

Mes questions :
1- Avait-il le droit d'abattre le mur, sans mon accord et sans même m'en informer ? Si oui puis-je l'attaquer en justice et que dois-je faire en priorité (Huissier, avocat ?)
2 - Puis-je juridiquement remettre en cause son permis de construire, sachant que :
- Sa motivation est de construire une grande maison (sic), dans le but exclusif d'obtenir des revenus locatifs plus importants ( Il n'y a pas de cas de force majeure, et il a de l'argent)...
- Son terrain ne faisant à peu près que 14/15 m de large, il préfère coller sa maison sur la ligne de mitoyenneté, alors qu'il a de la place pour réduire la largeur de la maison et travailler sur la longueur... (Ce qui résoudrait de facto le problème du droit d'échelle) et procurerai un éloignement favorable à un peu d'ensoleillement.
3 - La privation d'ensoleillement peut-elle être plaidée dans mon cas (faibles ressources) ? Et puis je en obtenir une indemnisation.
4 - Suis-je en droit de refuser de signer le bornage ? Le fait de le signer engendre-t-il une confirmation implicite de ma part pour la construction de cette maison en ligne de mitoyenneté ?

Je me sens un peu dépassé et outré par ce dictat de construction anarchique et l'absence de dialogue de ce propriétaire. Je vous remercie par avance de vos conseils, cela m'aidera beaucoup.

Cordialement.