Situato nella piazza del Duca questo palazzo quattrocentesco, voluto da Giovanni Giacomo Baviera, venne impreziosito con decori a stucco in 5 sale raffiguranti la storia dell’umanità dalla sua origine fino alla storia di Roma (Iliade, Genesi, Storia di Roma e Fatiche di Ercole). Questi bellissimi stucchi risalgono al 1590 e sono opera del celebre plasticatore urbinate Federico Brandani.
Il cortile interno è impreziosito da un portico su due ordini di colonne nel quale si affaccia un elegante pozzo contornato dagli stemmi dei Baviera.