Z wdzięczności za wierną służbę u Poniatowskich Stanisław August podarował mu grunt, gdzie stanął pałac.
Pałac miał kilka charakterystycznych cech. Rezydencja była na przykład jedną z pierwszych w Warszawie, pozbawionych przedniego dziedzińca. Balkon – długi i z charakterystycznie wygiętą balustradą, mógł pomieścić wiele osób, chcących obserwować życie na ulicy. Na szczycie pałacu umieszczono tarcze herbowe: po prawej herb Karasia - Dąbrowa, a po lewej Łodzia, herb żony Kazimierza – Elżbiety Hubińskiej. Na fasadzie z kolei, nad oknami pierwszego piętra, były dwa medaliony z wizerunkiem profilu króla Stanisława: z lewej z czasu koronacji, czyli z roku 1764, z prawej z szóstego roku panowania.
W pałacu Karasiowie zajmowali jedno piętro, resztę wynajmowali. Po śmierci Kazimierza jego żona i pięcioro dzieci podzielili się spadkiem, ale wciąż wynajmowali rezydencję. W 1794 roku była to ponoć siedziba Tadeusza Kościuszki.
Model budynku odwzorowuje stan Pałacu Karasia krótko po jego ukończeniu, co najlepiej widać po strojach i opisanych już karocach z epoki stanisławowskiej. Warto podkreślić, że lokalizacja gmachu była nad wyraz atrakcyjna. Naprzeciw stał, i stoi do dziś, wspaniały kościół Św. Krzyża, a miejsce obecnego Pałacu Staszica zajmował do 1818 r. równie imponujący, choć inny z wyglądu kościół Dominikanów Obserwantów. Jak wówczas wyglądało to miejsce – najlepiej widać na obrazie słynnego Canaletto, którego reprodukcję ustawiliśmy obok makiety. Jest na nim uwieczniony przez mistrza Kościół Świętokrzyski i jego ówczesne otoczenie.