La Biblioteca - Museo è ospitata al primo piano del Palazzo Leopardi, edificio abitato dalla famiglia, che tuttora vi risiede, fino dal XIII secolo. Venne ristrutturato nelle forme attuali dall'architetto Carlo Orazio Leopardi verso la metà del XVIII secolo. Si deve a Monaldo, il padre di Giacomo, la costituzione della preziosa biblioteca di famiglia da lui dedicata "filiis, amicis, civibus" tra la fine del XVIII e l'inizio del XIX secolo. In biblioteca sono conservati circa ventimila volumi consultabili da parte di studiosi, previa autorizzazione della famiglia.
Il percorso museale conduce il visitatore in alcune sale del palazzo arredate con mobili d'epoca e decorate con delicati stucchi e tempere ai soffitti. Nello studio del Conte Monaldo è conservato il tavolo - scrivania del poeta, accanto alla finestra che guarda la piccola piazza ed i tetti di Recanati.
Dopo oltre due secoli dalla nascita del Poeta, il 18 giugno 2020, la famiglia Leopardi ha aperto al pubblico gli spazi più intimi legati alla vita del Poeta. “Ove Abitai Fanciullo” è un itinerario di visita che consente l’accesso ai saloni di rappresentanza del palazzo, alla galleria con le sue collezioni d’arte, al giardino che ispirò gli immortali versi de “Le ricordanze” e agli appartamenti di Leopardi. Dalla sua finestra Giacomo osservava l’amata luna e le vaghe stelle dell’Orsa e prese ispirazione continua per i suoi componimenti.