A la fin du conflit, les Caumont récupèrent le château. L’architecture défensive du monument évolue : construction de tours d’artillerie, tours semi-circulaires percées de canonnières, pont levis, barbacane, corps de logis. Les propriétaires préfèrent vivre aux Milandes, qui est une demeure plus agréable. Lors de la Révolution, le château est délaissé. Il devient une carrière de pierre et la végétation l’envahit. Les pierres vont notamment servir pour la construction de la cale du port, juste en contrebas du monument. En 1966, Philippe et Véronique Rossillon achètent le château en ruine. Ils entreprennent des travaux de restauration et de reconstruction très importants.