Après plusieurs propriétaires, le château est acheté en 1729 par le comte Marc Pierre de Voyer de Paulmy d’Argenson. C’est un conseiller d’état, chancelier du duc d’Orléans et ministre de la guerre de Louis XV, de 1742 à 1757. Il va entreprendre des modifications et agrandissements du château en 1751 dans un style rocaille. C’est son fils le marquis de Voyer qui achève les travaux en 1783.