Il palazzo, oggi sede della Provincia e della Prefettura di Rieti, fu edificato nelle attuali forme tardo-rinascimentali nel 1589, su progetto di Giovan Domenico Bianchi, per Marcantonio Vicentini. L'edificio mostra un' elegante facciata a doppio loggiato verso il giardino pensile - recentemente restaurato e aperto al pubblico dalla Provincia di Rieti - che offre una vista panoramica sulla città vecchia e sui monti circostanti.

Il giardino, di forma rettangolare, è delimitato sul lato lungo, prospiciente piazza C. Battisti, da un muro di recinzione con cancellate in ferro, per tutto l'opposto lato lungo, da una balconata che prosegue su uno dei lati corti in direzione nord-ovest. Sull'opposto lato corto è chiuso dalla quinta loggiata del Palazzo Vicentini. Il giardino presenta due aiuole centrali con fontana e un'aiuola lineare che corre lungo i due lati del belvedere. Le aiuole centrali, di forma mistilinea, simmetriche, sono delimitate da una siepe formale di Bruxus sempervirens alta circa 50 cm, che si eleva in prossimità degli angoli e degli accessi dei vialetti, sagomandosi a sfera e a cono. Il cancello di accesso è sormontato da rose rampicanti e da Parthenocissus tricuspidata, piantate ai piedi dei pilastri dalla parte interna. L'aiuola che corre lungo il alto nord-ovest (lato corto) è piuttosto profonda, m 2 circa, per la maggior parte della sua lunghezza. Nella parte anteriore presenta cespugli di alloro, nella parte posteriore, addossate alla balaustrata, piante di ligustro, di lauro ceraso e qualche cespuglio di rosa. La formazione nell'insieme presenta una certa compattezza e un'altezza di circa 3 m. L'aiuola che corre lungo il lato sud-occidentale, (il lato lungo verso il belvedere), è stretta e allungata e presenta una siepe sagomata di bosso di forma ondulata sormontata nei punti più alti da sfere anch'esse di bosso. Nelle aiuole centrali, più spostati verso piazza C. Battisti crescono sei esemplari di Pinus pinea in filare alti circa venti metri.