Durant la première moitié du XVIIIe siècle, le premier château de Mozet est déjà accompagné d'une « large terrasse revêtüe de pierres de taille, où l'on a construit un Parterre » (Saumery). Le château actuel abrite le Foyer intercommunal Saint-Antoine. C'est une longue bâtisse classique de deux niveaux, élevée sur une pente douce dont la façade principale est tournée vers la vallée du Samson. Le corps central, relevant de la seconde moitié du XVIIIe siècle, a été allongé ultérieurement de part et d'autre de travées dans le même style. L'hospice a été fondé en 1867 par Madame Marie-Louise-Virginie de Ville, comme le rappelle l'inscription surmontant la porte d'entrée. Le jardin qui subsiste en contrebas du château et de sa longue terrasse, ne consiste qu'en une surface gazonnée libre de toute plantation, contournée par une large circulation gravillonnée. Au sud du château, une grotte élevée en blocs de roche est adossée au mur de soutènement de la terrasse.