Dès le XI ème siècle, un édifice garde le passage du Cosson. Jusqu’au XVI ème siècle, il passe par différentes familles pour arriver par héritage au « la Ferté Senectère « . Henri I de la Ferté Senectère entreprend en 1625 la construction du château actuel. Il fait également construire le porche d’entrée avec à l’époque un pont levis et les deux pavillons d’entrées avec leur toit à l’impérial. Son projet de départ était de raser le vieux château afin qu’il ait une parfaite symétrie. Mais faute de moyen, il n’y aura que la partie de droite de l’édifice qui sera reconstruite.