Éléments architecturaux : L'abbaye possédait de nombreuses dépendances à l'extérieur du noyau abbatial : porte de Landelies, ferme, moulin, etc... Nous retiendrons uniquement les bâtiments intra-muros. Le vaste complexe abbatial entièrement clos, est principalement constitué des ruines de bâtiments d'époques Gothique et Renaissance. Plusieurs fois dévasté, il connut une dernière phase de travaux en 1940 qui donna à l'abbatiale son aspect actuel. Les bâtiments encore utilisés aujourd'hui sont principalement situés au sud et répartis autour de la cour d'entrée : le second quartier abbatial ou Hospice Herset, construit en U de style classique ; en vis-à-vis et de même style, la carrosserie, les écuries et les ateliers ; enfin l'église de l'hospice au sud de la cour, construite en 1870. On conserve un ensemble de ruines d'un grand intérêt notamment l'église abbatiale, le reste du cloître et les réfectoires au nord-est. La grande allée qui divisait le potager du jardin de l'Abbé, au sud de l'église abbatiale, conduisait au pavillon Saint-Joseph, élégante construction octogonale du XVIIIe siècle enchassée dans la muraille d'enceinte. Il présente deux niveaux en brique et pierre bleue, sous toiture d'ardoise campaniforme, sommée d'une girouette et bordée d'une corniche moulurée. Le soubassement est percé d'une niche abritant un groupe de statues, inscrite dans un arc en plein cintre ; le niveau supérieur est éclairé de quatre grandes fenêtres à croisée de pierre sous cordon larmier continu ; les appuis sont prolongés en bandeau. Une petite porte latérale donne accès à une salle servant de remise tandis qu'un escalier extérieur permet d'accéder à l'étage. L'ancien jardin de l'Abbé est clôturé par un mur de brique et de moellon dans lequel s'ouvre une grille inscrite entre deux piliers classiques en pierre, amortis par une pomme de pin et accostés d'une demi urne. Cet aménagement date du XIXe siècle.

Éléments végétaux : Dans la cour d'entrée, la cour d'honneur et à l'emplacement de l'ancien quartier des hôtes, séries de topiaires d'if (Taxus baccata) taillés en cône.

Potager : Aulne cultivait de grands potagers : le jardin de l'Abbé est le plus ancien jardin de l'abbaye. Au XVIIIe siècle, ce long rectangle était divisé en quatre parties par des allées aboutissant à un bassin circulaire central. La grande allée axiale conduisait à l'élégant pavillon Saint-Joseph. Redivisé au XIXe siècle, ce jardin a perdu sa belle ordonnance. La muraille qui le clôturait au sud a été abaissée et percée d'un escalier menant à un espace réservé aux fruitiers peu entretenus. D'autres potagers jadis situés en bordure de la Sambre, ont aujourd'hui disparu.

L'eau : Dans la cour principale, face à l'entrée de l'église abbatiale, grand bassin octogonal conçu en boulingrin entièrement en pierre avec large margelle, aménagé en 1940 selon les plans de l'architecte Lemaire. Quatre escaliers de pierre disposés en direction des quatre points cardinaux permettent de descendre à une terrasse bordant le bassin. Alimenté par le moulin de l'abbaye, il aurait été animé, à l'époque, de cinq jets d'eau.

État de conservation : Des nombreux jardins que comptait l'abbaye à la fin du XVIIIe siècle, ne subsiste que le Jardin de l'Abbé au sud, des traces du jardin du Cloître et les jardins de la cour d'entrée et de la cour d'honneur ne formant plus qu'un seul ensemble depuis la suppression, en 1940, du mur qui les divisait. Le jardin de l'Abbé a été considérablement simplifié, le tracé du XVIIIe siècle et le bassin central ont disparu. Un nouvel accès avec grille a été créé au XIXe siècle, le mur sud a été abaissé et une serre a été accolée au mur nord. Un jardin agrémentait le centre du cloître où, à la croisée des allées, jaillissait une fontaine. Cet espace n'est plus qu'une pelouse. Jusqu'en 1940, la cour était fermée à la limite de l'église abbatiale par une galerie, puis par un mur et séparée ainsi de la cour d'honneur. C'est à l'Abbé Wallez que l'on doit la belle perspective des différentes cours réunies, l'aménagement d'un jardin dans la cour d'honneur et le creusement d'un bassin octogonal face à l'église abbatiale. A l'extérieur du complexe abbatial, le jardin de la Montagne à l'est, composé d'une dizaine de terrasses, était célèbre pour ses grottes, ses belles plantations et ses minuscules sanctuaires. Ce jardin, encore accessible en 1870, est actuellement recouvert de taillis et a perdu tout intérêt. Le jardin du Prieur, au nord, situé la Sambre et le quartier des anciens - bien visible sur la carte de Ferraris - s'étendait jusqu'à la porte de Landelies. Conçu selon un tracé plus libre que le jardin de l'Abbé, il a été transformé en terrain de golf miniature. Prolongeant le jardin du Prieur, le jardin du Moulin bien emmuraillé apparaît clairemment sur une vue générale de l'abbaye dessinée par Remacle Leloup en 1740. Composé d'une succession de carrés de culture, il était encore bien conservé au début de ce siècle mais se trouve aujourd'hui à l'abandon. La carte de Ferraris montre encore, au nord-ouest de l'abbaye, une vaste surface rectangulaire entrecoupée d'allées rectilignes. L'aménagement de ce grand potager qui couvrait plus de deux hectares a été entrepris et achevé sous l'abbatiat de Dom Hilaire Lepot. Entièrement clos de hautes murailles, il comprenait quatre grandes parcelles, un bassin entouré d'une margelle en pierre de taille et, à l'extrémité de l'allée principale, un pavillon probablement réservé aux jardiniers. En 1833, la muraille a été démolie de même que le bassin. Du grand jardin, il ne reste plus de trace aujourd'hui. Le verger étendu sur deux hectares et situé à l'ouest du grand jardin a également disparu. La cour de l'infirmerie à l'est, convertie en zone de culture fruitière, conserve quelques pieds de buis.

Maintenance : Un entretien tout à fait correct est assuré dans les parties accessibles au public, principalement dans la cour d'honneur, la cour d'entrée et le jardin de l'Abbé. Les cheminements en graviers rouges sont nets, les topiaires taillés et les pelouses entretenues régulièrement. La niche du pavillon Saint-Joseph pourrait être restaurée. Les fruitiers plantés dans la cour de l'infirmerie, proches du jardin de l'Abbé, sont laissés à l'abandon.