Après de nombreux propriétaires en 1739, François Balthazar Dange D’Orsay, secrétaire du roi Louis XV et fermier général, acquit le château de Grillemont. Il va le transformer en une demeure du XVIII ème siècle avec la destruction du donjon, le remblais de la cour d’honneur, il ouvre de nombreuses fenêtres et fait réaliser aussi des trompes l’œil pour avoir une vraie symétrie.
A cette époque un village s’était développé près du monument, il le déplace dans le bourg actuel de la Chapelle Blanche Saint Martin. Un jardin à la française sera créé à la place du bourg dans la prairie.