En 1760, la famille de Lenfernat fait construire dans la continuité du château, un pavillon. Un peu plus tard sous le directoire, Charles Joseph Bagieu, régisseur de la grande armée va recevoir de Napoléon Bonaparte des graines et plantes pour les acclimater aux Grotteaux. L’orangerie est construite à cette époque. Aujourd’hui le monument propose des chambres d’hôtes et des visites en période estivale. Il a bénéficié d’une très grande restauration en 2015 par les propriétaires actuels.