Au XVIIIe siècle, le prince Honoré II possède, dans la plaine de Carnolès un terrain contigu au couvent de la Madone. Le « jardin du prince » est réalisé en 1725 par l’architecte Latour « ....celui-ci n’était autrefois qu’un pré avec un plan de gros arbres d’orangers en étoile ... » Le prince Antoine Ier fait planter un espalier de citronniers, une allée de jeunes orangers ceinturant le jardin, ainsi qu’un espalier d’orangers du Portugal.
L’actuelle collection d’agrumes est plantée à partir de 1970, grâce à l’INRA de Corse A la suite d’une convention signée en 1997 avec la station de recherche agronomique de San Guiliano, ce jardin devient centre d’acclimatation et de recherche. Aujourd’hui on recence 137 variétés d’agrumes présentées en un seul site parmi lesquels 24 orangers doux (citrus sinensis), 6 bigaradiers (citrus aurantium) ; 6 citronniers (citrus limon)... La collection du Palais Carnolès constitue un champ d’essais des grands principes de la lutte intégrée. En 1999, le Conservatoire français des collections spécialisées a distingué la « la collection de citrus » de ce jardin.