Czasy Szymona Bogumiła Zuga pamięta dziś także dużej klasy wystrój architektoniczny bocznych elewacji pałacu. Ściany' wysokiego parteru pokrywa boniowanie, na piętrze zaś są one gładkie. Obie kondygnacje jednoczą jednak pionowe płytkie płyciny, w których umieszczone są prostokątne okna, ujęte w listwowe obramienia. Elewacje pałacu zamyka pełna attyka zdobiona motywem wieńców laurowych. Wszystkie te formy są typowe dla klasycyzmu polskiego w jego wczesnej fazie, a także dla sztuki Szymona Bogumiła Zuga.
Po śmierci Augusta Czartoryskiego pałac przeszedł już oficjalnie na własność jego jedynaczki, marszałkowej Izabelli Lubomirskiej, która nic już w nim nie zmieniała. Po jej wyjeździe do Francji, gdzie przebywała lat kilka, pałac stał opuszczony. Podczas insurekcji kościuszkowskiej 1794 roku zakwaterowano w nim żołnierzy, którzy nie zapisali się chlubnie w jego dziejach — pozbawieni oficerskiego nadzoru, zabawiali się niszczeniem pałacowych wnętrz.
Szczęśliwym dla nieco podniszczonego już i zdemolowanego obiektu stało się zainteresowanie nim w 1805 roku ze strony młodej pary — Aleksandra Potockiego, wnuka marszałkowej wielkiej koronnej Izabelli Lubomirskiej, syna jej córki Aleksandry i Stanisława Kostki Potockich, i Anny, zwanej w młodości Anetką, z Tyszkiewiczów, córki hetmana Ludwika i Konstancji z Poniatowskich, bratanicy ostatniego króla polskiego. Oboje młodzi otrzymali staranne wykształcenie artystyczne; znane są liczne rysunki pejzażowe Anetki oraz projekty architektoniczne wyrysowane przez Aleksandra, ucznia Zygmunta Yogla. Bażantarnia urzekła ich zapewne swym romantycznym i kameralnym w porównaniu do rezydencji wilanowskiej nastrojem i malowniczym położeniem. Postanowili więc właśnie tu urządzić swą siedzibę, w zasadzie całoroczną, nie licząc miesięcy karnawałowych, spędzanych zazwyczaj w pałacu warszawskim przy Krakowskim Przedmieściu.
^Zaczęto w roku 1806 od ogólnego remontu zewnętrznego: wyreperowano przede wszystkim dach, który pokryto nową blachą. Nową dekorację otrzymała także fasada, a właściwie jej dolna, lecz dominująca, bo wyższa od piętra, kondygnacja parteru. W cofniętej części środkowej wprowadzono cztery doryckie kanelowane półkolumny, ujmujące trzy półokrągłe arkady7 z których środkowa stanowi wejście. Podobne pary półkolumn ujęły7 także półokrągło zamknięte otwory7 okienne w bocznych, wypchniętych do przodu, ryzalitach. Cała dolna boniowana pasowo kondygnacja fasady została teraz zamknięta doryckim frezem tryglifowym.
Ten sam charakter dekoracji reprezentuje wystrój architektoniczny sieni, do której wchodzimy przez środkową arkadę. Jej ściany zamyka u góry także doryckie belkowanie. Ścianę naprzeciw wejścia dzielą trzy arkadowe płyciny, w których znajdują się owalne nisze z gipsowymi popiersiami starożytnych mędrców7 wśród nich jedno uchodzące za podobiznę Seneki.
Należy się domyślać, że pomysłodawcą zarówno nowej szaty fasady pałacu, jak i dekoracji sieni był Stanisław Kostka Potocki, sam architekt amator, znawca i miłośnik antyku. Jego wiedzę w zakresie sztuk pięknych podziwiała młoda Anna Potocka, która wraz mężem niewątpliwie już od początku musiała być żywo zaangażowana w urządzanie własnej (nieformalnie, bo będącej ciągle własnością Aleksandry Potockiej) rezydencji.