Imponujący Pałac Saski swoją nazwę zawdzięczał królowi Augustowi II Sasowi, który kupił go w 1713 roku. Barokowa budowla, ukończona w 1664 roku, należała wcześniej do Jana Andrzeja Morsztyna, referendarza koronnego oraz wybitnego pisarza i poety. Król August rozbudował pałac Morsztyna na królewską rezydencję. Trwało to ponad 20 lat. Dzięki tej inwestycji rezydencja zyskała skrzydła boczne, oficyny po bokach i wielki dziedziniec od czoła, który z czasem przekształcił się w plac Saski. Dziś jest to Plac Marszałka Piłsudskiego, na którym po pałacu pozostał już tylko Grób Nieznanego Żołnierza.
Pałac Saski zmieniał się wiele razy. I wiele razy zmieniał właścicieli. W epoce Księstwa Warszawskiego, w latach 1807-1814, rezydencja wciąż należała do dynastii Wettinów. A po upadku Księstwa została sprzedana rządowi Królestwa Polskiego, kadłubowego państewka pod protektoratem rosyjskiego cara, utworzonego w 1815 roku na Kongresie Wiedeńskim. W budynku zainstalowano Sztab Główny, a dziedziniec pałacowy, przekształcono w plac. Był on miejscem parad, musztry i tzw. odpraw posyłek.
Po powstaniu listopadowym z 1830 roku niemodny już wtedy i mocno zrujnowany Pałac Saski wystawiono na licytację. W 1837 roku nabył go Jan Skwarcow, kupiec z Brześcia litewskiego. Zgodnie z warunkami ówczesnych władz podjął się przebudowy pałacu. Do 2005 roku, czyli do czasu prowadzonych tu wykopalisk archeologicznych przyjmowano, że Skwarcow zburzył tylko środkowy korpus gmachu Pałacu Saskiego. Okazało się jednak, że zrównał z ziemią cały obiekt. Budowla, która przejęła jego nazwę, była więc - z wyjątkiem części piwnic - zupełnie nowa. Powstała w latach 1838-1842. Nie był to już pałac, tylko bliźniacze kamienice połączone wspomnianą kolumnadą, która przetrwała do dziś. Warszawiacy szybko przestali jednak mówić na nie „Kamienice Skwarcowa” i powrócili do nazwy „Pałac Saski”.
Po odzyskaniu przez Polskę niepodległości w 1918 roku pałac przejęło wojsko polskie. Stał się on wtedy siedzibą Sztabu Głównego. Tutaj także mieściło się ściśle tajne Biuro Szyfrów. Pracowali w nim polscy genialni matematycy i kryptolodzy – Marian Rejewski, Jerzy Różycki i Henryk Zygalski. Ci sami, którzy w 1932 r. rozpracowali niemiecką maszynę szyfrującą „Enigma” i zbudowali jej działającą replikę.
W ostatnim czasie coraz częściej mówi się o rekonstrukcji Pałacu Saskiego, który jest ważnym symbolem burzliwej historii Warszawy. I miejscem, w którym swoją przystań miały takie znakomitości, jak Fryderyk Chopin.