A partir du XVIIe siècle, la terre de Morialmé appartient aux seigneurs de Bryas originaires d'Artois en France. Charles de Bryas reçoit la « baronnie de Morialmé » en 1633 de son oncle maternel Ghislain de Nédonchel, chanoine de Tournai. Créé Comte en 1649 par le roi d'Espagne Philippe IV, Charles de Bryas est Gouverneur de Mariembourg. C'est sans doute lui qui fait construire le corps central du château actuel formé d'un long volume de dix travées de deux niveaux. Le corps d'habitation est encadré de deux ailes classiques en H ajoutées vers 1750. L'ensemble est précédé d'une vaste cour d'honneur bordée d'entrepôts et de remises à voitures de la même époque abritées derrière deux suites de six arcades surbaissées entre pilastres et sous une haute toiture d'ardoise à la Mansart (à droite seulement). Le château est bordé au nord-ouest par une importante ferme en carré, au sud et à l'est par des fossés secs. On accède au jardin par une porte modeste ménagée dans la façade arrière du corps de logis donnant directement sur un pont à deux arches qui enjambe l'ancien fossé oriental. Depuis celui-ci, une volée d'escaliers donne latéralement accès au fond de celui-ci. Au-delà subsiste une grande surface enherbée bordée à l'est par un sous-bois mixte de conifères et de feuillus et, au sud, par le chemin prolongeant la grand'rue du village. Cette surface, qui occupe l'espace du jardin régulier du XVIIIe siècle, ne conserve comme seuls vestiges de celui-ci que de courts talus enherbés sur ses limites et un vieux châtaigner ponctuant l'angle sud-ouest de la propriété, à proximité de l'entrée actuelle. D'après les documents cartographiques et iconographiques disponibles, le long jardin entièrement emmuré était divisé en surfaces régulières de culture dont le caractère apparaît peu décoratif en regard de l'importance des murs qui le ceinturaient. La plus grande partie des espaces proches du château était affectée en jardins de rapport : fruitiers et légumiers. Depuis l'extrême fin du XVIIIe siècle, époque à laquelle les comtes de Bryas quittent Morialmé pour retourner vivre en Artois, les jardins se sont peu à peu dépréciés au cours du temps pour disparaître vers le début du XXe siècle. L'état actuel pose de surcroît le problème de la surélévation du sol des jardins qui se trouvent aujourd'hui plus élevés que le niveau du rez-de-chaussée du château.