Den gule bygning i Amaliegade danner rammen om Hofmarskallatet og Ordenskapitlet, der betjener Kongeparret og håndterer Hoffets daglige administration.
Bygningen blev opført i årene 1764-1767 af købmanden Henning Frederik Bargum og er tegnet af den franske arkitekt Nicolas-Henri Jardin. Den anses for at være den tidligste nyklassicistiske bygning i København, idet dens ydre er et brud med det ellers ensartede rokokopræg, der var tilstræbt i Frederiksstaden (som er betegnelsen for bydelen omkring Amalienborg). Oprindeligt var bygningens facade grå, men formentlig under ombygningen i 1842 skiftede den farve til gul, og fra 1850 ses bygningen omtalt som Det Gule Palæ.
I løbet af den tid hvor Frederik Bargum ejede bygningen (indtil 1774), var palæet hovedkvarter for hans forretning, ”Det danske Guineiske Kompagni”, som drev handel med guld, elfenben og ikke mindst slaver mellem de danske kolonier i Afrika og Vestindien.
Frederik 6. købte ejendommen i 1810 med henblik på at benytte den som residens- og gæstebolig for den kongelige families gæster. I 1837 blev palæet residens for Prins Christian af Glücksborg, den senere Christian 9. Efter Prinsens bryllup med Prinsesse Louise af Hessen i 1842 blev palæet bolig for parret, som fra 1853 blev kronprinspar. Som konge og dronning flyttede parret i 1865 ind i Schacks Palæ på Amalienborg, der siden har været kendt som Christian 9.s Palæ.
Fra 1886 var Det Gule Palæ bolig for Prins Valdemar og Prinsesse Marie af Orléans, og deres portrætbilleder hænger i dag på Hofmarskallens kontor. Efter Prinsens død i 1939 overgik palæet til staten, som blandt andet har ladet Udenrigsministeriet benytte bygningen. Det er stadig staten, der via Slots- og Kulturstyrelsen ejer Det Gule Palæ. Efter en gennemgribende restaurering i 1982-1983 har palæet atter været i Kongehusets brug som bolig for Hoffets administration.