Henri III réhabilite la mémoire de la famille de Montgommery et leur restitue leurs biens, confisqués par Catherine de Médicis quelques années plus tôt. Gabriel II de Montgommery récupère les terres de son père et devient également un des chefs des protestants. De sa demeure il ne reste qu’un pavillon fait de chaume et torchis. Il va construire entre la fin du XVI ème et le début du XVII ème un château de style Louis XIII , qui sera encadré de deux ailes. Il était en forme de U, entouré de fossés. Dans les années 1863, il va être mutilé, l’édifice d’aujourd’hui est composé d’un escalier monumental, d’un pavillon et d’une aile plus éloignée.