Le premier seigneur de Betz le château est Gilles de Betz, il obtient vers l’an mil de son suzerain, le comte d’Anjou Foulques Nerra, l’autorisation de construire son château en pierre. Il a déjà un donjon en bois, construit sur une motte derrière l’église du village mais ce site en fond de vallée est choisi car les souterrains étaient préexistants. De plus le lieu permet d’avoir le contrôle sur le passage du Brignon.