Příběh samotné instituce začal 5. února 1796, kdy se vlastenci z řad české šlechty a měšťanů rozhodli pozvednout upadající veřejný vkus. Vznikla Společnost vlasteneckých přátel umění, která poté založila hned dvě instituce – Akademii umění a veřejně přístupnou Obrazárnu.
Roku 1902 přibyla další významná instituce – Moderní galerie Království českého. Ta začala budovat sbírku současného umění 19. a posléze i 20. století – z tehdejší doby pocházejí nákupy děl Antonína Slavíčka, Maxe Švabinského, Vojtěcha Preissiga, Jana Preislera a později také Josefa Čapka nebo Emila Filly. Moderní galerie existovala až do roku 1942, kdy byla sloučena s Obrazárnou.
Obrazárna Společnosti vlasteneckých přátel umění se v roce 1918 změnila v ústřední uměleckou sbírku nového státu. Jejího vedení se v dalším roce ujal Vincenc Kramář, který ji proměnil v moderní, odborně spravovanou veřejnou galerii. Ve dvacátých a třicátých letech 20. století byly pod jeho vedením položeny základy slavné francouzské sbírky, jejíž vznik podporovali vrcholní představitelé československého státu Tomáš Garrigue Masaryk a Edvard Beneš. Podařilo se pro ni získat díla zcela zásadního významu, jejichž autory byli Eugène Delacroix, Camille Pissarro, Auguste Renoir, Vincent van Gogh a mnoho dalších. Vstup do sbírek bude zdarma.
