II Palazzo Ducale sorge nel sito del vecchio Castello medievale, di incerte origini, ma di cui si parla sin dai primissimi anni del XII sec. quando le milizie di Papa Pasquale II distrussero Zagarolo a causa della ribellione di Pietro della Colonna. Roccaforte di questa grande famiglia romana. Nel 1591 vi si riunì il consiglio di otto cardinali preposto alla revisione dell’edizione a stampa della Bibbia. Nel maggio del 1606 trovò rifugio nel palazzo il pittore Michelangelo