Lorsque vous arrivez au cœur de la commune et que vous prenez la rue de l'égalité qui mène château du Pé, vous trouvez juste après le cimetière une petite maison fraîche refaite. Il s'agit là de l'ancienne demeure des gardiens de la propriété.
A l'origine l'ensemble de la propriété du château du Pé regroupait près de 12 hectares. En effet, elle englobait l'actuelle maison de retraite avec la tour, une partie du cimetière, la ferme tenue actuellement par la famille Ardois et l'ensemble des terres jusqu'à l'entrée du chemin aux bœufs où se trouvait le moulin. Au début du XIXème siècle la succession de ce domaine revient à Sophie, la fille d'Anonyme De Martel, résidant à Nantes. Cette dernière a épousé Aristide Victor Locquet de Grandville, maire de Port-Saint-Père,
Député en 1848 et riche négociant, il possède deux châteaux sur sa commune, celui de la Tour et celui de Grandville qu'il vient de faire construire en 1825. Cette jolie demeure, avec chapelle particulière nichée au milieu d'un grand parc boisé d'un côté et d'une vaste prairie dominant la vallée de l'Acheneau, devient leur résidence principale. La propriété du Pé à Saint-Jean-de-Boiseau devient alors leur résidence secondaire. Ils n'y viennent plus qu'à la belle saison pour des fêtes et des parties de chasse. Elle est cependant toujours habitée par le frère de Sophie, Gustave, atteint d'une grave maladie pulmonaire.
Pour protéger le château du vandalisme, Sophie et son mari décident de clôturer l'ensemble de la propriété jusqu'à hauteur de la ferme attenante. Déjà à cette époque, depuis plus d'un siècle, le moulin a été rasé, seul le logement du meunier a été conservé et est loué à un habitant du village. Ce mur de clôture d'environ 1,5 m de hauteur comporte 3 entrées principales avec piliers surmontés d'un lion en terre cuite et d'une grille en fer forgée. Deux entrées, avec porte simple, permettent l'accès l'une rue de la rivière, par la tour du Pé, et l'autre du côté de la Noë (derrière la carrière). Il existait aussi une entrée côté ferme Ardois et un accès au port du Pé où il y avait aussi des bâtiments avec pressoirs et stockage du vin.
Les propriétaires vont aussi faire construire, entre 1828 et 1830, la maison du gardien à l'entrée, côté bourg, ainsi que la tour du Pé pour la vue sur la Loire et les loisirs. On raconte que Sophie fit construire cette tour pour son frère malade afin qu'il puisse s'y reposer tout en regardant le paysage. Cette tradition orale est crédible, mais le pauvre Gustave n'en profitera que peu d'années car il décèdera en 1842 à l’âge de 39 ans. A cette époque une grande mode dans le domaine de l'urbanisme bourgeois a été lancée par un sculpteur nantais Frédérique Lemot, grand prix de Rome. Il a importé de ses voyages en Italie un style d'habitation d'architecture toscane rustique de la fin XVIIIème qu'il fait réaliser dans le domaine qu'il vient d'acquérir à Clisson.
La fameuse maison du jardinier à la Garenne-Lemot fait alors des envieux et Sophie de Granville et son mari font appel à un élève de l'architecte nantais, Mathurin Crucy, pour toutes ces réalisations au château du Pé. Ainsi les piliers recevant les grilles d'entrées, la tour et la maison sont agrémentés de parements de briques roses ou de tuiles tiges de botte très caractéristiques pour leur décoration. Si l'intérieur du logement est très modeste, son aspect extérieur est très élégant et méritait d'être conservé.
Nous ne savons pas encore quel en fut le premier occupant en tant que gardien. Nous savons qu'en 1890, c'est monsieur Darmentier, le garde particulier de M. Chesneau, demeurant au Pé, qui y résidait. Il avait le droit d'entretenir une petite basse-cour autour de l'habitation pour son usage personnel. Victime d'un vandalisme qui lui avait fait perdre 5 canards tués à coups de fourche, sa plainte nous a permis de l'identifier. C'est un jeune couple qui va lui succéder : Alexandre Sorin, agriculteur de Port-Saint-Père, âgé de 28 ans, vient d'épouser le 25 novembre 1900, Marie Françoise Chauvin, âgé de 22 ans, de Rouans. Ils vont aussitôt emménager dans la petite maison pour remplir la même fonction de gardiennage. En plus de la basse-cour, ils élèvent une vache. Ils auront quatre enfants qui naîtront et grandiront tous en ces lieux. En septembre 1938, Marie-Françoise Sorin se retrouve veuve et continuera à vivre dans cette habitation jusqu'à sa mort, à l'âge de 84 ans, le 10 octobre 1962. Durant les 62 années qu'elle passera dans cette maison de gardiennage de la propriété du Pé, elle verra se succéder 5 propriétaires du château. Mme de Tinguy, Mme de St Meleuc, Mme de Monti de Rezé, M. Georges Du Réau, M. Zaccharie Du Réau.
Cette petite femme, toute courbée sous le poids des ans, a été immortalisée par le peintre Edmond Bertreux, en train de soigner ses poules devant l'entrée de la maison. Nous avons utilisé une reproduction de ce tableau pour illustrer notre ouvrage : Saint-Jean-de-Boiseau, 14 siècles d'histoire en bord de Loire. Entre 1962 et 1980, le local sera inoccupé. Il commence à se délabrer lorsque M. de Vaufleury, nouveau propriétaire, héberge le cantonnier Albert Deschamps, pour interdire l'accès de la propriété aux habitants de la commune, trop habitués à son avis, à se promener dans le parc depuis les fêtes folkloriques qui s'y déroulaient avec l'accord de l'ancien propriétaire. Durant ces quelques années, le local se dégrade de plus en plus. Le propriétaire n'a pas les moyens financiers d'effectuer les travaux nécessaires dans le château et dans cette maison. Au décès de M. Deschamps, la maison est devenue un taudis, totalement inhabitable. Elle restera dans cet état jusqu'à la remise en état qui se terminera en 2003.