El Palacio del Buen Retiro fue mandado construir por el Conde-Duque de Olivares al comienzo del reinado de Felipe IV (hacia 1623).

El rey, muy joven entonces, quería ir a combatir con los Tercios a Flandes, y el Conde-Duque, viendo que peligraba su privanza, le convenció de que se quedara en Madrid. Para ello le construyó un edificio (en terrenos, en parte, propiedad del mismo Conde-Duque) para que disfrutara de un «buen retiro», en un lugar más confortable que el viejo palacio real. Allí, en el salón principal (primero Salón Dorado y luego Salón de Reinos) se interpretaban comedias. Y allí se trasladaba el rey, aficionado a comedias y comediantas.

Este salón (que es muy importante, para entender lo que ha ocurrido ahora con el Museo), estaba decorado con pinturas de Velázquez y otros pintores de su época, españoles e italianos. Entre ellas, el famoso cuadro de «Las Lanzas» (o de «Rendición de Bredá»).

Los Borbones prácticamente no le dieron utilidad. Napoleón lo destruyó, volando tres de sus cuatro torretas. Cuatro de sus cuadros marcharon a París, como botín de los franceses, y sólo se pudieron retornar tres (el cuarto quedó irrecuperable).

Y cuando, hacia 1842, el Museo se trasladó, vivían unos «okupas» en el piso superior. Costó mucho acondicionarlo para Museo, pero finalmente se consiguió.