Implanté sur un promontoire rocheux, le château de Tavigny et sa ferme (à l'ouest) forment un ensemble monumental en moellons de grès schisteux dont les volumes sont disposés autour de deux cours. Constitué au fil du temps, le château comprend un donjon médiéval barrant sa cour, une longue aile de bâtiments (à l'est) cantonnée de deux tours rondes édifiées en plusieurs temps entre le XVIe et le XVIIIe siècle et plusieurs volumes plus tardifs accolés à ses extrémités. Au sud, une longue aile de communs isole la cour du château du logis de ferme de plan presque carré. Elevés à flanc de coteau vers le sud, de robustes et longs murs en moellons de grès soutiennent trois niveaux de terrasses, jadis plantées de jardins productifs, aujourd'hui colonisées par de hautes herbes et par quelques hautes tiges et buissons. La terrasse supérieure établie en regard de la longue aile orientale était jadis ornée d'un jardin régulier dont le seul élément subsistant est une allée de charme abritant une promenade surélevée en bordure du mur d'enceinte nord. Après des travaux de nettoyage du site, des aménagements ponctuels et déplacés ont malheureusement investi cette ancienne terrasse-jardin.