Zespół dwóch budynków przy Alei Na Skarpie oraz przylegających terenów zielonych użytkowanych obecnie przez Muzeum Ziemi znajduje się w centrum Warszawy, w pobliżu Placu Trzech Krzyży, na wyniosłym cyplu skarpy wiślanej. Rejon ten wyróżnia się walorami naturalnymi. Od strony północnej ograniczony jest głębokim wąwozem, którym biegnie dziś ulica Książęca, zachodnią zaś granicę stanowi stosunkowo dobrze zachowany naturalny fragment dawnego dopływu rzeczki Żurawki. Od wschodu tereny muzealne ogranicza stroma krawędź skarpy warszawskiej wyznaczona przez pradolinę Wisły. Historia powstania i wykorzystania obu obiektów wiąże się nierozerwalnie z dziejami budowy zespołu pałacowo-ogrodowego, zwanego ogrodami „Na Górze”. Twórcą projektu zabudowy był wybitny architekt czasów stanisławowskich Szymon Bogumił Zug (1733-1807), który stworzył w tym miejscu rezydencję ogrodową dla brata króla, księcia Kazimierza Poniatowskiego. W 1815 roku znany francuski restaurator Szymon Chôvot przekształcił ogrody „Na Górze” w park restauracyjno-rozrywkowy „Frascati”, którego nazwa przetrwała do dziś i nawiązuje do urokliwego włoskiego miasteczka położonego niedaleko Rzymu. W połowie lat 30-tych XIX wieku pawilony dawnych ogrodów „Na Górze” chyliły się nieuchronnie ku upadkowi. Wówczas posesja przeszła w ręce Sylwiana Jakubowskiego i Hermana Epsteina, którzy około 1836-1838 roku, na fundamentach drewnianej, XVIII wiecznej oberży (dawnej siedziby księcia Kazimierza Poniatowskiego) i towarzyszących zabudowań, wznieśli murowany pałacyk z gankiem kolumnowym. Autorem projektu „Białego Pałacyku”, zbudowanego w stylu późnoklasycystycznym, był najprawdopodobniej Alfons Ferdynand Kropiwnicki. Posesja zmieniała jeszcze kilkakrotnie właścicieli, aż w końcu w roku 1849 nabyli ją Braniccy, którzy przekształcili całe założenie parkowe oraz istniejące budynki w stałą warszawską siedzibę swej rodziny. Obiekt ten, przebudowywany zresztą kilkakrotnie w latach późniejszych, przeszedł z czasem na własność Lubomirskich, pozostając w ich posiadaniu aż do wybuchu ostatniej wojny. Poważnie zniszczony w trakcie działań wojennych został odrestaurowany w części zabytkowej przez Biuro Odbudowy Stolicy z przeznaczeniem na siedzibę Muzeum Ziemi. Prace nad rekonstrukcją pałacyku prowadzone w latach 1948-1950 pod nadzorem architektonicznym Tadeusza Zielińskiego połączone były z niezbędną adaptacją pomieszczeń dla potrzeb muzealnych. Tu właśnie, w odbudowanym „pałacyku Frascati” przy Alei Na Skarpie udostępniona została publiczności w grudniu 1951 roku pierwsza stała wystawa we własnym gmachu Muzeum Ziemi.
Sąsiedni budynek, na zboczu wąwozu, po śmierci księcia Kazimierza Poniatowskiego (1800) mieścił przez pewien czas Lożę Masońską. W gmachu tym w 1887 roku zostało otwarte dla publiczności prywatne Muzeum Zoologiczne zainicjowane przez Konstantego Branickiego. W latach 1935-1938 fragmenty dawnej budowli wzniesionej przez S. B. Zuga zostały gruntownie przebudowane przez znanego architekta Bohdana Pniewskiego (1897-1965), który mieszkał tu i tworzył do końca swego życia.
W czasie Powstania Warszawskiego w 1944 roku budynek stanowił ważny punkt oporu powstańców toczących zacięte walki w rejonie ulicy Książęcej i Placu Trzech Krzyży. Pozostał po nich niezwykły ślad w postaci utrwalonych na marmurowych schodach plam krwi przelanej przez nieznanego uczestnika walk powstańczych. Ten wyjątkowy w swej wymowie dokument z czasów ostatniej wojny upamiętniony został specjalną tablicą odsłoniętą wewnątrz budynku w miesiącu pamięci narodowej 21 kwietnia 1980 roku.
Po przejęciu budynku przez Muzeum Ziemi w 1966 roku został on starannie odrestaurowany pod kierunkiem ucznia i współpracownika Pniewskiego – architekta Władysława Jotkiewicza. W budynku tym, przy Alei Na Skarpie 27 znalazły pomieszczenia niektóre pracownie naukowe Muzeum Ziemi oraz przede wszystkim sale wystaw czasowych i sala odczytowa. W 1974 roku zakończono główny etap zagospodarowania terenów przylegających do obu budynków. Wzniesienie stylowego ogrodzenia i uporządkowanie terenów zielonych stworzyło możliwość urządzenia stałej ekspozycji skał budowlanych Polski oraz zabytkowych głazów narzutowych.
Dawny zespół ogrodowo-pałacowy zaprojektowany u schyłku XVIII wieku przez Szymona Bogumiła Zuga, przechodząc zmienne koleje losu, z chwilą przejęcia przez Muzeum Ziemi zyskał charakter kompleksu zabytkowego służącego społeczeństwu. I chociaż zmienił on swe przeznaczenie i funkcje oraz kształt pierwotny – to jednak dzięki określonemu stylowi przestrzennego zagospodarowania – nawiązuje w swoisty sposób do dawnych tradycji wykorzystania naturalnych walorów tego pięknego fragmentu skarpy warszawskiej. Efekt ten wzmocniło przerzucenie przez ulicę Książęcą kładki łączącej dawne tereny ogrodów zaprojektowanych przez S. B. Zuga – „Na Górze” – z ogrodami „Na Książęcem”, tworząc zarazem połączenie zespołu centralnych muzeów stolicy: Muzeum Narodowego, Muzeum Wojska Polskiego i Muzeum Ziemi.