Tout commença en 1027 quand le seigneur Gauthier Loggia fait don d’une parcelle de terre à l’abbaye voisine de Marmoutier. C’est en 1110 qu’elle fonde un prieuré fortifié. Les bâtiments vont être construits entre le XI et le XIII ème siècle. Au XII ème siècle un grand bâtiment ( aujourd’hui disparu ), au pied de la tour accueille la salle seigneuriale. Cette tour avait un rôle défensif mais elle était aussi un signe de pouvoir.