Na mieste dnešného paláca stál až do polovice 19. storočia župný dom, ktorého majiteľmi boli od roku 1715, ako to dokladajú písomné pramene, dediční župani Bratislavskej župy – Pálffyovci. Po presťahovaní župného domu ho dal po polovici 19. storočia prestavať na svoj palác v strohom neskoroklasicistickom poňatí gróf Ján Pálffy.
Počas rekonštrukčných prác v rokoch 1981–87 odhalil pamiatkový výskum okrem významných archeologických nálezov aj základy románskeho murovaného domu zo začiatku 13. storočia a unikátny gotický palác z doby okolo polovice 14. storočia, ktorého fragmenty sú viditeľné aj v súčasnosti.
Po náročnej pamiatkovej obnove dostala palác do užívania v roku 1988 Galéria mesta Bratislavy. V paláci sa nachádzajú stále expozície a priestory určené na krátkodobé výstavy.
Galéria mesta Bratislavy je tu pre všetkých obyvateľov mesta Bratislavy a jeho návštevníkov. Okrem stálych expozícií ponúka aktuálne výstavy slovenského a svetového výtvarného umenia.
Galéria mesta Bratislavy má svoj ďalší výstavný priestor v centre mesta v Mirbachovom paláci na Františkánskom námestí.
