Po śmierci Aleksandra w roku 1845 Natolin przejął jego najstarszy syn August, żonaty z Aleksandrą z Potockich, wnuczką Szczęsnego, mający do tego miejsca na pewno wiele sentymentu, chociażby z racji spędzonego tu beztrosko dzieciństwa. Szanując dzieło rodziców, nowi właściciele niczego nie zmieniali we wnętrzach pałacowych. Swe apartamenty urządzili w oficynie. Wiadomo, że zdobiły je między innymi popiersia zaprzyjaźnionych z nimi Zygmunta i Elizy Krasińskich, którzy bywali wówczas gośćmi Natolina. W albumach Potockich zachowały7 się akwarele wykonane przez Elizę właśnie w Natolinie.
W lipcu 1853 roku Augustostwo Potoccy urządzili w Natolinie tłumną i huczną zabawę dla szerokich sfer społeczeństwa warszawskiego. Cały teren, a właściwie obiekty7 tam się znajdujące, był wspaniale iluminowany, a o północy puszczano ognie bengalskie.
To głośne, opisywane w prasie wydarzenie było właściwie zamknięciem najświetniejszej karty dziejów Natolina. Po bezpotomnej śmierci Augusta Potockiego w 1867 roku w Natolinie nie podejmowano już żadnych inwestycji budowlanych. Stojące tu budynki z wolna popadały w zaniedbanie, niektóre zamienione w ruiny7 usuwano. Taki los spotkał i Holendernię, która, nigdy nie remontowana, po zakończeniu działań wojennych pierwszej wojny światowej znajdowała się w tak opłakanym stanie, że postanowiono ją rozebrać.
Podczas kolejnej światowej zawieruchy wojennej, a przede wszystkim podczas powstania warszawskiego i po jego upadku, pałac w Natolinie został prawie doszczętnie zdewastowany. Żołnierze niemieccy rozmyślnie i systematycznie niszczyli poszczególne obiekty, wpierw jednak pozbawiając je dzieł sztuki, mebli i innych sprzętów, które wysyłano specjalnymi transportami gdzieś w głąb Rzeszy.
Po wyzwoleniu podjęto decyzję o remoncie pałacu, restauracji jego wnętrz i renowacji wszystkich otaczających go budowli. Postanowiono także urządzić, zarówno wnętrza budynków, jak i ogród, zgodnie z duchem epoki, w której powstały. Dużą pomocą służyły wówczas zbiory Muzeum Narodowego. Z jego magazynów wypożyczono liczne obrazy, rzeźby, meble. Rezydencję natolińską, za czasów gdy gospodarzem jej był Urząd Rady Ministrów, utrzymywano na wzorowym, reprezentacyjnym poziomie, którego zazdrościło jej wiele innych, nieodpowiednio wówczas użytkowanych obiektów zabytkowych.
Niejako w tradycji Natolina leży, iż nie był on powszechnie dostępny. Za czasów zarządzania pałacem i parkiem przez Urząd Rady Ministrów zezwalano jednak, od czasu do czasu, na zwiedzanie obiektu. Wtedy to powstał telewizyjny program, przedstawiający historię Natolina i dokumentujący jego stan współczesny. Dziś organizacje Zjednoczonej Europy7 zarządzające parkiem i pałacem skutecznie bronią do nich dostępu. A szkoda, bo pałacowo-ogrodowy zespół w Natolinie jest doskonałą ilustracją kultury polskiej wieku oświecenia i okresu romantyzmu, sam zaś ogród o bogatym, różnorodnym drzewostanie, w którym tyleż pomników przyrody, należy do najpiękniejszych w Europie. Może obecni gospodarze przemyślą sprawę i po zakończeniu prac remontowych udostępnią zwiedzającym chociażby dwa lub trzy razy w roku pałac wraz z otoczeniem ogrodowym...