En 1770 , l’évêque Jarente de la Bruyère, un ami du duc de Choiseul est exilé par Louis XV dans l’édifice. Il va lancer de grand travaux pour retrouver le faste de Versailles le long de la Loire. De beaux jardins vont être créés, et le château va être agrandi dans le style néo-classique. A la Révolution le monument est vendu comme bien national. Le baron de Couteulx du Molay l’achète. Il reste dans la même famille jusqu’en 1859. Le château deviendra un pensionnat de jeunes filles pour connaître ensuite différents propriétaires. Depuis 2010, les propriétaires actuels œuvrent grandement à la restauration de l’édifice.