En 1200, le site est un ensemble castral construit par la famille de Tilly. De cette période, il reste les salles basses ( fondations du logis seigneurial du XIII ème siècle ) et la chapelle. La dernière des Tilly épouse un Harcourt. Le château reste dans cette même famille entre le XIV et XVI ème siècle. C’est à eut que nous devons la façade actuelle.