En 1519, les Gouffier achètent le château. Ils vont faire construire par l’architecte Clément Metezeau un château dans le plus pur style classique. Le pavillon central est ornementé et les ailes sont plus simples, un campanile domine la partie centrale. La construction dura de 1605 à 1625. A partir de 1645, trois familles de fermiers généraux prennent possession du château : Lepage, Boyer de la Boissiere et Haran de Borda. Les différentes familles embellissent le château et créent les jardins.