Par la suite, le château devient propriété des Beynac. Commarque va devenir une co-seigneurie. Cinq seigneurs cohabitent sur le site : les Gondrix, Cendrieux, les Escars, les Commarque et les Beynac. Le roi Charles IX ordonne la destruction de la forteresse mais elle est finalement sauvée. Les familles quittent progressivement le castrum. Au XVI ème, le château est abandonné pendant quatre siècles. Il va devenir une carrière de pierres. Au XX ème, les chantiers de fouilles commencent. Depuis 1962, ce sont les descendants de la famille de Commarque qui ont repris le domaine.