Lors de l’installation du musée dans les locaux de l’hôtel de la Princerie en 1932, le jardin a été aménagé dans l’esprit d’un « musée lapidaire ». Un « musée lapidaire » est un lieu où sont exposés des sculptures de pierre, des dalles gravées, des sarcophages ou encore des éléments architecturaux.
Ce type d’espace était particulièrement affectionné au XIXe siècle, alors que le courant du romantisme teinté de mélancolie s’épanouissait en Europe. Les ruines des sépultures et monuments médiévaux redécouverts au cours de cette période ont souvent servi de décor à ces jardins, leur charge poétique et philosophique rappelant la fragilité de la condition humaine.
Les éléments installés dans le jardin de l’hôtel de la Princerie proviennent majoritairement de l’ancienne abbaye médiévale Saint Vanne de Verdun (située sur la citadelle), abandonnée suite à la Révolution française et détruite au XIXe siècle. La plupart des éléments illustrent la construction gothique (XVe siècle), sauf les deux grands médaillons représentant deux évangélistes (le taureau de Saint Luc et le Lion de Saint Marc), tous deux datant de la période romane de l’abbaye (XIIe siècle).
La société savante de Verdun, la Société Philomathique, s’est assurée de la sauvegarde, du déplacement et du dépôt de ces éléments au Musée.