Orangerie Elswout dateert uit 1879 en is gebouwd in neorenaissance-stijl. Het landgoed zelf dateert al uit de 17e eeuw. Oorspronkelijk was het aangelegd in een strakke Franse stijl. Een eeuw later werd landgoed Elswout ingericht volgens de nieuwste mode: de romantische Engelse landschapsstijl.
Historisch gezien heeft het landgoed een rijk verleden. De eerste eigenaren verdienden hun geld met de verkoop van zand aan de steden Haarlem en Amsterdam. Schoon duinzand, dat werd gebruikt om grachten te dempen en de steden uit te breiden. Zo ontstonden de hoogteverschillen en waterpartijen op het landgoed. Napoleon en keizerin Sissi behoorden tot de prominente gasten. Het landgoed is bewoond geweest door de lakenkoopman Molijn en Marcelis de wapenhandelaar.
In 1879 gaf landgoedeigenaar Willem Borski de architect Muysken opdracht voor de bouw van de Orangerie, in die tijd een plek om planten voor het landgoed te kweken en te laten overwinteren. Nadien is de Orangerie gebruikt als gymnastiek- en handenarbeidlokaal. Zo’n 100 jaar later, in 1984, heeft Staatsbosbeheer de vervallen Orangerie laten restaureren. Dankzij de grote cultuurhistorische waarde is Elswout een Rijksmonument geworden.