A la fin du siècle, le château passe par mariage à la famille de Moreton- Chabrillan. En 1803, le comte Aimé de Moreton Chabrillan épouse la comtesse Zephyrine Olympe de Choiseul Gouffier. Il sera chambellan de Napoléon 1er. Le couple fera des travaux d’embellissement : bibliothèque, théâtre et serre exotique.