"Appartenente alla nobile famiglia degli Spezza, le cui origini documentate risalirebbero alla fine del XIV secolo, i cui membri ebbero accesso a cariche istituzionali di vario genere ed importanza, che rivestirono tra il 1599 e il 1625 il ruolo di finanziatori e garanti della politica dei Santacroce, signori di Patrica, il palazzo cittadino fu edificato nella seconda metà del XVI secolo. Nell'arco dei due secoli successivi il complesso subirà , tuttavia, numerose alterazioni, sistemazioni e demolizioni, soprattutto per quel che riguarda i preesistenti fabbricati, che in origine costituivano la "˜corte feudale' del paese. Rispetto alle strutture preesistenti, il nuovo edificio venne concepito secondo criteri di estrema eleganza e raffinatezza, in particolare nel suo prospetto principale, caratterizzato da un fondale liscio sul quale risaltano l'imponente portale bugnato, le cornici modanate delle finestre, poggianti su eleganti marcapiani in peperino e le colonne angolari bugnate. La famiglia Spezza nel corso del Seicento incrementò la propria importanza nel contesto cittadino. Un esponente di questo periodo fu il conte Ercole e, successivamente, il suo primogenito Nicola. La stretta vicinanza con i Colonna, nuovi signori di Patrica, culminerà nel 1759 con un atto di riconoscimento di importanti "prerogative, privilegi ed esenzioni" nel marchesato, attribuite da Federico Colonna al conte Nicola Spezza e ai suoi discendenti. Un intervento significativo risalente a questo periodo fu la sistemazione del cosiddetto "cortile d'onore", con la creazione di una serie di terrazzamenti ascendenti verso la Rocca o "Cittadella" e la costruzione nel 1774 dell'elegante "Ninfeo", che designa l'ingresso al giardino pensile di formazione seicentesca. Il Ninfeo rappresenta un "˜unicum' nell'ambito dell'architettura locale, discostandosi profondamente dal gusto rinascimentale per aderire a canoni stilistici e decorativi di dichiarata ispirazione francese. L'intera struttura, che rappresenta una sorta di monumentale "˜cornice' del cosiddetto "Corridoio Prospettico", è costituita da una serie di colonne monolitiche finemente scolpite con motivi di ispirazione naturalistica e con figure grottesche di eccellente manifattura. Le colonne più alte, insieme a quelle di altezza inferiore che si trovano all'estremità della struttura, terminano con articolati pinnacoli, che ne amplificano il carattere puramente decorativo. Queste colonne sono raccordate nella parte centrale da un architrave, al centro del quale è scolpito un rosone raffigurante la rosa dei venti, nelle parti laterali, rispetto al portale d'ingresso, il raccordo, dall'andamento discendente verso le estremità , è realizzato mediante modiglioni terminanti in eleganti volute, sotto i quali si aprono deliziose nicchie rimarcate da cornici modanate. La scenografia, estremamente elegante e articolata, del Ninfeo, bene si sposa con l'aspetto severo ed imponente della facciata del palazzo e con le macere, dal carattere dichiaratamente rustico, che si "˜arrampicano' in un turbinio di spirali fin sopra la Rocca. Riguardo alla sua committenza, si è ipotizzato che l'ideatore di questa struttura stato il monsignor Gian Domenico Finateri, zio di Anna Maria Finateri, moglie del conte Nicola Spezza. Monsignor Finateri fu diplomatico pontificio di indiscussa fama e priore dell' Ordine di Malta e San Lazzaro, risedette presso la corte di Francia fino allo scoppio della Rivoluzione e, una volta tornato in Italia fu ospite per diverso tempo nel palazzo baronale. In effetti ogni elemento stilistico del Ninfeo a canoni architettonici propri del tardo barocco d'Oltralpe, ma in ogni caso il riferimento al Monsignor Finateri deve essere fatto semplicemente come ispiratore e non come committente. Nel corso del XIX secolo, numerosi membri della famiglia si dedicarono ad una vasta opera di ristrutturazione ed abbellimento dell'intero complesso architettonico, come la decorazione della Sala degli Antenati o quella delle volte nelle retrocamere del piano nobile. Tuttavia, gli interventi più consistenti furono le demolizioni degli antichi " Palazzi della Corte" e la realizzazione, nel terzo quarto dell'Ottocento, di un giardino pensile detto "giardino segreto" che diede una suggestiva "apertura" al prospetto meridionale del palazzo, immergendo l'intera struttura in un contesto naturale di eccezionale fascino. Nel 1851 Ercole Spezza si unଠin matrimonio con Severina dei conti Pecci, nipote di Vincenzo Giovacchino Pecci, futuro papa Leone XIII, unione che diede nuovo impulso e potere alla famiglia. Particolarmente significativa è infine l'opera di restauro e manutenzione del complesso, palazzo e giardino, condotta dai proprietari nell'ultimo mezzo secolo - a partire dal conte Vincenzo e sua moglie Maria Vittoria Silvestri Faà - contessa di Anagni fino ai giorni nostri."