Mentionné en 1140 dans le cartulaire noir de la cathédrale d’Auch, le château de Lavardens s’élève sur un éperon rocheux. Il appartient aux comtes d’Armagnac. En 1496, la forteresse est prise d’assaut et tombe aux mains des troupes du roi Charles VIII qui la détruisent en partie. En 1585, la seigneurie de Lavardens est offerte en récompense à Antoine de Roquelaure, protecteur du roi Henri IV. À partir de 1608, il entreprend la construction d'un château moderne sur les fondations médiévales. Cette résidence de plaisance devait y accueillir sa jeune épouse, Suzanne de Bassabat (et leurs 12 enfants !). En 1653, la peste chasse les quelque 200 ouvriers de Lavardens et le château ne sera jamais achevé.