Oltre a questo, Palombara è altrettanto rinomata per il castello Savelli-Torlonia, un maniero di origine medievale che domina il centro storico della città e che vanta il primato di essere con i suoi 132 ambienti e una superficie di oltre 10mila metri quadrati, il castello più grande del Lazio. Il suo simbolo che ne amplifica la possenza della struttura muraria è limponente torre di guardia in muratura con coronamento a caditoie dalla quale si può godere di unampia visuale sullabitato cittadino e i territori circostanti.
Testimonianze dellesistenza del castello palombarese si hanno già in epoca alto medievale ma non si conosce con esattezza lanno della sua edificazione. Nel 1180, tra le sue spesse mura, è accaduto un evento storico ovvero larresto dellantipapa Innocenzo III, eletto con il sostegno dellimperatore Federico Barbarossa in opposizione al papa reggente Alessandro III.
I lavori di rifacimento della struttura preesistente del Castello iniziarono allorchè i conti di Palombara lo cedettero nel 1250 alla famiglia romana dei Savelli, una delle casate maggiormente coinvolte negli intrighi e nelle dinamiche politiche che condizionavano lelezione dei Papi. Apparteneva ai Savelli, papa Onorio IV che proprio nel castello di Palombara firmò il suo testamento. Tra le famiglie rivali dei Savelli vi erano gli Orsini. In seguito alla discesa del re francese Carlo VIII in Italia che voleva impossessarsi del regno di Napoli, gli Orsini alleati del sovrano transalpino si impadronirono del maniero anche per intercessione di papa Rodrigo Borgia. Per non perdere il loro possedimento palombarese, i sostenitori dei Savelli diedero alle fiamme gran parte dellabitato di Palombara. La supremazia degli Orsini, tuttavia, durò pochissimo. Alla morte di Rodrigo Borgia (papa Alessandro VI), i Savelli si rimpadronirono del castello.
Fu proprio in questo frangente, nella prima metà del Cinquecento, che i Savelli decisero di abbellire il loro possedimento fortificato facendone affrescare le sale interne. Lincarico venne conferito allartista senese Baldassarre Peruzzi. Fra le pitture del castello spiccano quelle dedicate ad alcuni eroi romani e le allegorie sulle arti liberali ovvero astronomia, musica, geometria e dialettica.
Terminata lepoca dei Savelli, il Castello, alla stregua di altri in Lazio, ha cambiato numerosi proprietari passando dapprima ai Borghese e, in seguito, ai Torlonia. Nel 1971, la proprietà è passata allamministrazione comunale palombarese. Attualmente al suo interno ospita un museo naturalistico e la biblioteca comunale. E possibile visitarlo la domenica e nei giorni festivi.
