Le premier seigneur connu du château vers 1050 est Geoffroy de Saint Médard. Il était vassal des comtes de Tours et Blois. Mais le personnage emblématique du monument c’est le favori de Louis XIII : Henri Ruzé d’Effiat, marquis de Cinq Mars. Il obtient dès 1638 les charges de grand maître de la garde robe et de grand écuyer du roi.