Una torre-fortilizio, documentata prima del Mille, fu inglobata nel XVI secolo nella residenza di Sforza Monaldeschi della Cervara della quale restano alcune sale affrescate. Il complesso passò ai Bourbon del Monte e quindi, intorno al 1880, fu acquistato dal conte à‰douard Cahen, banchiere impegnato nell'espansione edilizia di Roma dopo l'Unità d'Italia. Cahen con molta abilità acquistò i terreni agricoli intorno a Castel Sant'Angelo, che accrebbero valore quando fu avviata l'urbanizzazione dell'area con la creazione del Quartiere Prati. Il nuovo assetto comportò la distruzione della rinascimentale Villa Altoviti, affacciata sul Tevere, e il colto e raffinato finanziere ne acquistò parte delle collezioni. Nel 1885 il re Umberto I nominò Cahen marchese di Torre Alfina, per compensarlo dei suoi servigi. Alla sua morte, nel 1894, à‰douard fu tumulato nel Bosco del Sasseto in un romantico tempietto neogotico che richiama la vicina residenza che l'architetto senese Giuseppe Partini stava trasformando in un castelletto turrito con richiami medievali e rinascimentali. La sua opera fu continuata dal figlio Rodolfo.