La seigneurie de Bonnac a appartenu successivement aux Durfort, aux Villemur, aux d’Usson et à l’Abbé de Monteils à la veille de la Révolution. Les différentes étapes de sa construction sont liées à ces transferts successifs de propriété. Gaspard de Villemur édifia sa maison seigneuriale sur les murs en terre de la palissade évoquée dans un acte de reconnaissance de 1494, en les doublant à l’extérieur. Le château est vendu en 1649 à François Dusson de Bonrepaux. Salomon, son fils aîné, quitte le Mas d’Azil où sa famille tenait la tête de la Communauté protestante de la ville et s’installe à Bonnac. Il en restaure les ruines entre 1673 et 1685. Le 3e marquis de Bonnac dit « Jambe de bois » a un rôle prépondérant sur le développement économique et industriel de la localité. Il mourut ruiné. Ses héritiers refusèrent sa succession. Bonnac fut vendu aux enchères.
En 1784, l’Abbé de Monteils, Vicaire Général de l’évêque de Pamiers, rachète les biens du marquis, restaure les appartements et fait faire la chapelle. En 1806, le domaine du château est vendu par la nièce de l’abbé de Monteils à Rousse, maître de forges de Tarascon. En 1816 il passe entre les mains de la famille Charly dont la dernière descendante fit hériter les actuels propriétaires.