La storia di palazzo Pagano e del suo giardino inizia nel XIV secolo come grancia dell'abbazia di Montevergine, dall'inizio del Seicento in poi il sito è acquistato da famiglie nobiliari campane che trasformano gli antichi fondi rustici in luogo di delizie. Il disegno del giardino, tuttora conservato, segue lo schema all'italiana. Di notevole interesse le numerose fontane e le edicole, ricche di figurazioni.