Pokladnice mistrovských děl tohoto muzea, jehož současné sídlo v centru Vídně bylo dokončeno v roce 1891, je od svých počátků neoddělitelně spjato s historií, bohatstvím a sběratelským vkusem panovnického rodu Habsburků.

První základ sbírek byl položen už ve 14. století. Od té doby pak všichni další vladaři z habsburského domu postupně přispívali k jejich rozšíření, především díky mecenášským aktivitám, které je vedly k tomu, že se sami stávali zadavateli děl u nejslavnějších umělců té které doby. Zájem habsburských vladařů, od vévody Rudolfa IV. Habsburského až po císaře Rudolfa II., se na základě výrazného humanistického citu soustřeďoval na nejvýraznější tvůrce německého, vlámského a italského původu, od Dürera po Bruegela, od Cranacha po Tiziana.

V průběhu 17. a 18. století sběratelství vládnoucího rodu znovu významně ožilo. Došlo i k novému uspořádání císařské obrazárny. To byl také první nezbytný krok na cestě k současné podobě galerie, jež si dodnes ve zdech své velkolepé budovy uchovává ducha vybraného vkusu podporovaného prozíravou kulturní politikou.