Martin Berthelot acquiert la seigneurie d'Azay au XVème siècle. Son fils, Gilles, trésorier du royaume sous François 1er se fit construire le château de 1518 à 1527.Suite à une affaire de malversations le château est saisi et offert à Antoine Raffin compagnon...