Zespół dwóch budynków przy alei Na Skarpie oraz przylegających terenów zielonych użytkowanych obecnie przez PAN Muzeum Ziemi w Warszawie znajduje się w centrum stolicy, w pobliżu placu Trzech Krzyży, na wyniosłym cyplu skarpy wiślanej. Rejon ten wyróżnia się walorami naturalnymi. Od strony północnej ograniczony jest głębokim wąwozem dawnej rzeki Żurawki, którym biegnie dziś ulica Książęca, zachodnią zaś granicę stanowi stosunkowo dobrze zachowany naturalny fragment głębokiego jaru niegdysiejszego dopływu Żurawki. Od wschodu tereny muzealne ogranicza stroma krawędź skarpy warszawskiej wyznaczona przez pradolinę Wisły. Historia powstania i wykorzystania obu obiektów wiąże się nierozerwalnie z dziejami budowy zespołu pałacowo-ogrodowego, zwanego ogrodami Na Górze. Twórcą projektu zabudowy był wybitny architekt czasów stanisławowskich Szymon Bogumił Zug (1733–1807), który stworzył w tym miejscu rezydencję ogrodową dla księcia Kazimierza Poniatowskiego, brata króla Stanisława Augusta.
W 1815 roku znany francuski restaurator Szymon Chôvot przekształcił ogrody Na Górze w park restauracyjno-rozrywkowy Frascati, którego nazwa przetrwała do dziś i nawiązuje do urokliwego włoskiego miasteczka położonego niedaleko Rzymu. W połowie lat 30. XIX wieku pawilony dawnych ogrodów Na Górze chyliły się nieuchronnie ku upadkowi. Wówczas posesja przeszła w ręce Sylwiana Jakubowskiego i Hermana Epsteina, którzy mniej więcej w latach 1836–1838, na fundamentach drewnianej XVIII-wiecznej Oberży (siedziby księcia Kazimierza Poniatowskiego) i towarzyszących zabudowań, wznieśli murowany pałacyk z gankiem kolumnowym. Autorem projektu pałacyku Na Górze (pałacyku Frascati; Białego Pałacyku), zbudowanego w stylu późnoklasycystycznym, był najprawdopodobniej Alfons Ferdynand Kropiwnicki. Posesja zmieniała jeszcze kilkakrotnie właścicieli, aż w końcu w 1849 roku nabyli ją Braniccy, którzy przekształcili całe założenie parkowe oraz istniejące budynki w stałą warszawską siedzibę swej rodziny. Obiekt ten, przebudowywany zresztą kilkakrotnie w latach późniejszych, przeszedł z czasem na własność Lubomirskich, pozostając w ich posiadaniu aż do wybuchu ostatniej wojny. Poważnie zniszczony w trakcie działań wojennych został odrestaurowany w części zabytkowej, przez Biuro Odbudowy Stolicy, z przeznaczeniem na siedzibę Muzeum Ziemi.
Prace nad rekonstrukcją Białego Pałacyku, prowadzone w latach 1948–1950 pod nadzorem architektonicznym Tadeusza Zielińskiego, połączone były z niezbędną adaptacją pomieszczeń dla potrzeb muzealnych. Tu właśnie, w odbudowanym pałacyku przy alei Na Skarpie 20/26 udostępniona została publiczności, w grudniu 1951 roku, pierwsza stała wystawa we własnym gmachu Muzeum Ziemi.
Sąsiedni budynek (pierwotny, klasycystyczny pawilon – Pałac Letni, późniejsza Willa Pniewskiego) na zboczu wąwozu, po śmierci księcia Kazimierza Poniatowskiego (1800) był domniemanym miejscem spotkań wolnomularzy. W gmachu tym w 1887 roku zostało otwarte dla publiczności prywatne Muzeum Ornitologiczne hr. Branickich, założone przez Ksawerego Branickiego.
W latach 1936–1937 Pałac Letni wzniesiony przez Szymona Bogumiła Zuga został gruntownie przebudowany przez znanego architekta Bohdana Pniewskiego (1897–1965) w nowoczesną willę własną. Z istniejącej budowli Pniewski zachował, od zewnątrz w niemal niezmienionej formie, najstarszą partię pawilonu na zachodnim zboczu skarpy. Stanowi ją klasyczna elewacja ogrodowa z portykiem półkolumnowym przyziemia, w którym Pniewski ulokował podwójnej wysokości, dwunawową pracownię architektoniczną. Tu powstały projekty monumentalnych gmachów użyteczności publicznej, kościołów i domów prywatnych.
W czasie Powstania Warszawskiego w 1944 roku budynek stanowił ważny punkt oporu powstańców, toczących zacięte walki w rejonie ulicy Książęcej i placu Trzech Krzyży.
Z przerwą podczas ostatniej wojny, Pniewski mieszkał w willi i tworzył do końca swego życia. W 1966 roku spadkobiercy sprzedali willę Urzędowi Rady Ministrów, który przekazał ją Polskiej Akademii Nauk na siedzibę Muzeum Ziemi. Budynek został odrestaurowany pod kierunkiem ucznia i współpracownika Bohdana Pniewskiego – architekta Władysława Jotkiewicza. W dostosowanym do potrzeb muzealnych budynku, przy alei Na Skarpie 27 znalazły pomieszczenia niektóre pracownie naukowe Muzeum Ziemi oraz przede wszystkim sale wystaw czasowych i sala odczytowa. Świadectwem walk toczonych podczas Powstania Warszawskiego jest niezwykły ślad w postaci utrwalonych na marmurowych schodach plam krwi, przelanej przez nieznanego powstańca. Ten wyjątkowy w swej wymowie dokument z czasów ostatniej wojny upamiętniony został specjalną tablicą, odsłoniętą wewnątrz budynku w miesiącu pamięci narodowej 21 kwietnia 1980 roku.
W 1974 roku zakończono główny etap zagospodarowania terenów przylegających do obu budynków. Wzniesienie stylowego ogrodzenia i uporządkowanie terenów zielonych stworzyło możliwość urządzenia stałej ekspozycji skał budowlanych Polski oraz zabytkowych głazów narzutowych.
Dawny zespół pałacowo-ogrodowy zaprojektowany u schyłku XVIII wieku przez Szymona Bogumiła Zuga, przechodząc zmienne koleje losu, z chwilą przejęcia przez Muzeum Ziemi zyskał charakter kompleksu zabytkowego służącego społeczeństwu. I chociaż zmienił on swe przeznaczenie i funkcje oraz kształt pierwotny – to jednak dzięki określonemu stylowi przestrzennego zagospodarowania – nawiązuje w swoisty sposób do dawnych tradycji wykorzystania naturalnych walorów tego pięknego fragmentu skarpy warszawskiej. Efekt ten wzmocniło przerzucenie przez ulicę Książęcą kładki łączącej tereny dawnego ogrodu Na Górze z ogrodem Na Książęcem, tworząc zarazem połączenie zespołu centralnych muzeów stolicy: Muzeum Narodowego, ówczesnego Muzeum Wojska Polskiego i PAN Muzeum Ziemi.