Au XVI ème siècle, Philibert Babou, argentier du roi et surintendant des finances devient propriétaire du château. Son épouse, Marie Gaudin, est reconnue comme la plus belle femme de son temps, elle est la maîtresse de François 1er. Ils reconstruisent le château en 1520. Leur arrière petite fille , Gabrielle d’Estrées ( maîtresse d’Henri IV ) est née au château en 1565.