Het pand van Hoog Holten is meer dan 100 jaar geleden – in 1920 – gebouwd als jachthuis naar een ontwerp van de architecten J.A. Jansen en J.G. Wattjes. Nog voor de Tweede Wereldoorlog is het huis verbouwd tot hotel door de bekende architect T.J. Loggers, samen met dezelfde J.G. Wattjes als uit 1920. Het uitgangspunt van Loggers bij de verbouwing is: “eenvoudige architectuur in een schoone omgeving’ te realiseren”.
In 1944 worden alle hotels op de Holterberg gevorderd door Duitse militairen. In Hoog Holten worden Duitse geëvacueerde zwangere vrouwen ondergebracht, voornamelijk afkomstig uit Bremen en Bielefeld. In de periode van januari 1944 tot eind augustus 1944 worden hier 57 kinderen geboren. Na de bevrijding van Holten op 8 april 1945 nemen de Canadezen hun intrek in Hoog Holten. De vele Canadezen die sneuvelden bij de bevrijding van Oost- Nederland zijn begraven op de Canadese begraafplaats op de Holterberg.
De Holterberg is een heuvelachtig gebied met heidevelden en bossen, genoemd naar het dorp Holten. Net als de Lemelerberg ten noorden van de Holterberg zijn deze heuvels ontstaan tijdens de laatste IJstijd. Het is een gebied dat al vroeg werd bewoond, er zijn zelfs voorwerpen gevonden die duiden op de aanwezigheid van Neanderthalers. Het dorp Holten met die naam bestond toen nog niet, daarvan was pas voor het eerst sprake in de 13e eeuw.