Gdy nabyli pałac od nie mniej słynnych Radziwiłłów, zlecili jego przebudowę architektowi Józefowi Hemplowi. A ten stworzył imponującą, klasycystyczną budowlę z najbardziej okazałą kolumnadą ówczesnej Warszawy. Kolumnadą, która miała przetrwać nawet wojenną zawieruchę.
Za Lubomirskich, w latach 1760 - 1768, pałac został mocno rozbudowany przez samego Jakuba Fontanę, znakomitego architekta, autora przekształceń choćby pałacu Bielińskich.
W XIX wieku pałac był z kolei własnością rządu Królestwa Polskiego, Polskiego z przeznaczeniem na siedzibę Centralnej Komisji Likwidacyjnej, a podczas powstania listopadowego pełnił funkcję szpitala wojskowego. Uległ wtedy sporej dewastacji. I gdy już wydawało się, że będzie dalej popadał w ruinę, kupili go żydowscy finansiści – Abraham Cohen i Icek Blass z Góry Kalwarii.
Wtedy to rezydencja zaczęła tętnić życiem. Wtedy też została podzielona na szereg mniejszych lokali do wynajęcia. W 1858 roku, w zdeklasowanym pałacu, znajdowało się 31 mieszkań, w większości zasiedlonych przez kupców żydowskich. Jego parter został przerobiony na sklepy, zaaranżowano w nim też żydowski dom modlitwy. Jeden z kolejnych właścicieli, by zwiększyć dochody z wynajmu, w 1928 roku zdecydował o nadbudowie gmachu o piętro. W powiększonych dzięki temu wnętrzach udało się pomieścić dwie szkoły powszechne.
II wojnę światową przetrwała tylko pałacowa kolumnada. W 1947 roku ruiny zostały przekazane Muzeum Archeologicznemu, dla którego odbudowano oficynę od ulicy Ptasiej, zupełnie jednak zmieniając jej wygląd. Dwa lata później zabytek należał już do Wojska Polskiego.
Decydująca zmiana nastąpiła 20 lat po odbudowie. Wtedy właśnie marszałek Marian Spychalski zdecydował, aby budynek obrócić o 78 stopni. Wszystko po to, by nie stał bokiem do planowanej Osi Zwycięstwa.
18 maja 1970 roku operacje tę zakończono w sukcesem. Spięty stalowymi belkami gmach, centymetr po centymetrze, z pomocą jedenastu siłowników hydraulicznych, przejechał po szynach na nowe miejsce.