L’origine de l’actuel Hôtel de Ville est très ancienne, ses douves, son pont et sa porte en arc de cercle avec un fronton triangulaire datent du XVIIe siècle, mais à cet emplacement se trouvait déjà au XVe siècle un château qui était la demeure seigneuriale d’Yvon de Carnazet.
Le château était constitué de quatre bâtiments disposés en carré, cernés de douves alimentées en eaux par la Juine. Il restera la demeure des héritiers Carnazet jusqu’au XVIIe siècle avant d’être cédé à Marie Cornuel, dame du Mesnil, et revendu comme "château ruiné" à la veille de la Révolution. Il est alors transformé en habitation bourgeoise par ses propriétaires successifs et une partie des douves comblée.