L'attuale palazzo risale al 1670 circa e fu edificato come residenza della famiglia mercantile dei Moriconi, i quali però in seguito a un tracollo economico dovettero vendere l'edificio nel 1680 ai Controni, mercanti di seta. I nuovi proprietari inaugurano un vasto programma di abbellimento del palazzo: nel 1686 viene realizzato lo straordinario scalone monumentale dalla forte vocazione scenografica tradizionalmente attribuito all'architetto lucchese Domenico Martinelli e di cui è stata rilevata l'assonanza con lo scalone di palazzo Reale a Genova di Carlo Fontana. Al 1706 risale il progetto di risistemazione del giardino affidato probabilmente a Filippo Juvarra presente a Lucca per ristrutturare il palazzo Pubblico e a cui i Controni avevano commissionato il rinnovamento della villa di Vorno. Entro il secondo decennio vengono affrescati lo scalone e vari saloni con cicli decorativi e quadrature di Pietro Scorzini, Bartolomeo De Santi e Lorenzo Castellotti. A metà Ottocento su richiesta del duca di Lucca Carlo Lodovico giunse in città un birraio bavarese, Felix Pfanner, per impiantare in città la prima fabbrica di birra. Per realizzare il progetto prese in affitto il giardino e le cantine di palazzo Controni e nell'arco di qualche decennio fu in grado di acquistare l'intero edificio che è tuttora proprietà della famiglia Pfanner. Il palazzo è stato oggetto a partire dal 1995 di ingenti lavori di restauro e conserva al suo interno, oltre ai notevoli arredi settecenteschi, una raccolta di strumenti medico-chirurgici e di antichi testi di medicina appartenuti a Pietro Pfanner, chirurgo e sindaco di Lucca dal 1920 al 1922.