"Nel luogo dell'attuale palazzo nel XV secolo è attestata una casa con orto di proprietà di Marco Granacci che passata in eredità al nipote Francesco era stata concessa alla figlia di lui Fiammetta andata in sposa nel 1551 a Francesco Gaburri. Questi nel 1561 riunଠpiù case limitrofe in un unico palazzo, citato nel 1590 dal Breve ristretto delle bellezze della città di Firenze di Giovanni De Bardi. La proprietà venne ampliata a più riprese dai Gaburri: nel 1630 con altri acquisti e nel 1700 quando Francesco Niccolò Gaburri, noto mecenate e collezionista, riammodernò e rinnovò la veste decorativa del palazzo chiamando alcuni tra i pittori e quadraturisti più in voga tra cui Rinaldo Botti, Lorenzo Del Moro, Alessandro Gherardini, Benedetto Fortini. Di questi affreschi non è rimasta traccia perchà© ridipinti nell'800 da Michele Giuntini. Francesco Niccolò entro il 1710 ridisegnò anche il giardino suddividendolo in vari riquadri e dotandolo di due nuove fontane una centrale e una murale con "grotta di spugna e di statue", di una limonaia e di un boschetto di agrumi con relativa tettoia per la stagione fredda. Con l'estinzione della famiglia Gaburri il palazzo passò a Sigismondo Lotteringhi Della Stufa marito di Maria Teresa Gaburri e nipote di Francesco Niccolò e nel 1808 venne acquistato da Michele Giuntini. Nel giardino, che aveva assunto un nuovo disegno e dove erano state collocate due voliere, fu piantato un boschetto romantico nella zona ovest. Quando nel 1857 il palazzo passa a Giovan Battista Vivarelli Colonna il giardino era composto da sei spartimenti e da un boschetto romantico, tra le strutture oltre alle citate fontane vi erano due kaffeehaus (uno ancora esistente), due tepidari e due stufe. Dopo la vendita del palazzo nel 1979 al Comune di Firenze seguଠun lungo periodo di abbandono del giardino e successivamente un impegnativo intervento di restauro (1998-2000) che lo ha riportato alla fruizione pubblica. Il palazzo è sede dell'Assessorato alla Cultura."