Da alcuni anni aperto al pubblico dai Marchesi Castiglioni, l'antico Palazzo, è un esempio di Casa-Museo, dove sono conservati gli arredi e gli oggetti personali di Francesco Saverio Castiglioni , nato a Cingoli nel 1761 e passato alla storia come papa Pio VIII. Il palazzo, eretto alla fine del 1760, è costituito da due precedenti dimore le cui strutture originarie, per quanto unite, restano distinte formando due unità abitative con due portoni d'ingresso gemelli.
L'interno è articolato con falsi piani, scale, dislivelli, cortili. Di particolare interesse il Ritratto di Pio VIII, realizzato a figura intera da Vincenzo Camuccini (1771/1844); il busto di marmo del pontefice; una Portantina del ' 600; la Cappella, dove si conservano suppellettili sacre ed arredi liturgici; il Salone della Musica il cui soffitto, unico esempio nelle Marche, è formato da nove cupole ottagonali, tutte finemente decorate a grottesche, così realizzate per consentire un'acustica perfetta; la Camera del Papa; la Biblioteca, originariamente collocata in un'altra ala del Palazzo, dove è conservata soltanto una minima parte dei volumi collezionati dal pontefice: il fondo più importante, (più di diciassettemila volumi), costituisce oggi una delle raccolte più prestigiose della Biblioteca Mozzi - Borgetti di Macerata. La visita si conclude nella Sala delle esposizioni dove nel 1992 è stata allestita la mostra "Papa Castiglioni: suoi ricordi a Cingoli".