En 1453, Antoine de Chabannes, un ancien compagnon d’armes de Jeanne d’Arc, prend possession des lieux. Il transforme le château en une forteresse militaire composée de six tours en briques roses. Le monument passe par alliance à la famille d’Anjou et de Bourdon-Montpensier. Anne Marie Louise d’Orléans, duchesse de Montpensier, plus connue sous le nom de grande mademoiselle, vivra son exil suite à son implication dans la Fronde au château de Saint Fargeau. Elle fera venir l’architecte Le Vau qui modifiera les bâtiments et les toitures, créa le grand escalier sur cour et une ouverture vers les jardins.