Das Terrassengebiet war ehemals ein geschlossenes Waldgebiet und wurde ‘Auf dem Grauen Stein‘ genannt, weil sich unterhalb der Steinbruch befand, in dem früher die Höttinger Breccie abgebaut wurde.
1840 errichtete Joseph Andreas von Attlmayr dort ein Sommerhaus mit dem Namen Mariabrunn und angrenzender Jausenstation. Das Speisenangebot war angeblich so kärglich, dass die Gäste die Gaststätte mehr hungrig als satt verließen, was ihr bald den Schimpfnamen ‘Hungerburg‘ eintrug, der sich wenig später auch auf die hier entwickelte Terrassensiedlung übertrug als dessen Begründer der Schwazer Tourismuspionier Sebastian Kandler gilt. Er war es auch auf dessen Initiative die erste Standseilbahn auf die Hungerburg gebaut wurde, die 2007 durch die neue Bahn nach Plänen der irakischen Star-Architektin Zaha Hadid ersetzt wurde.
Die Hungerburg ist heute vor allem ein attraktives Wohngebiet und Ausgangspunkt zahlreicher Freizeitaktivitäten ins Karwendel.