De Buitensociëteit is gebouwd op een stuk grond waarop vroeger een kruitmagazijn stond. Dat magazijn is in 1804 in de lucht gevlogen. Enige tijd daarna werd Jan Reh eigenaar. Deze liet er een houten tent neerzetten en maakte er een theetuin of uitspanning van, later algemeen bekend als "de tent van Reh". De heuvel waarop zij stond werd de Reh-berg genoemd. In 1845 verkocht Reh de grond en het erop staande huis aan het bestuur van de op te richten Buitensociëteit voor 20.000 gulden (bron: Markus). De gelden werden gevonden door het uitgeven van een obligatielening ad 31.200 gulden bestaande uit 156 aandelen van elk 200 gulden. De verkoopakte van de grond is gepasseerd voor notaris mr. G. van Eck. Het huidige gebouw dateert van latere datum.
In 1914 besloot de gemeenteraad het gebouw van de voormalige Buitensociëteit te bestemmen voor het gemeentemuseum.