Le duc d’Orléans, futur Louis Philippe achète la pagode pour agrandir la forêt qu’il vient d’acquérir. Le château, va malheureusement tomber aux mains de marchands de biens, connus sous le nom de « la bande noire ». Le mobilier va être vendu et le château détruit. Du grand domaine de Chanteloup, il ne reste que la pagode, la grande pièce d’eau et son canal, le pavillon du concierge et les deux pavillons d’entrées.