Het kasteel Slangenburgh is eeuwenlang in het bezit geweest van het geslacht Van Baer, dat zijn naam ontleent aan het gehucht van dezelfde naam in de tegenwoordige gemeente Angerlo. Willem van Baer is de eerste van wie wij volgens het huisarchief met zekerheid weten, dat hij heer van de Slangenburgh is geweest. Hij was drost van Lingen sinds 1547, zijn dood valt in de jaren 1561-1568. Zijn zoon Dirk wordt kort na 1570 Heer van de Slangenburgh, nadat diens oudere broer Frederik kinderloos was gestorven. Na hem zien we zijn zoon Frederik als heer van de Slangenburgh vermeld. Deze Frederik is het voorvaderlijk geloof trouw gebleven en hij is het ook geweest, die de herbouw van het in 1585 door de Staatse troepen geruïneerde huis heeft ondernomen
Na zijn dood, waarschijnlijk in 1622, ging de Slangenburgh over op zijn zoon Dirk, wiens huwelijk kinderloos bleef, zodat bij zijn overlijden in 1637 het landgoed aan zijn broer Herman kwam. Deze droeg het in 1643 in leen op aan de Staten van Gelre en Zutphen, tegen vrijmaking van het reeds sedert 1537 aan zijn geslacht behorende goed Wijnbergen.
Toen Herman in 1656 stierf, was zijn zoon Frederik Johan nog slechts tien jaar oud, doch desalniettemin liet zijn moeder hem op 10 maart 1657 met de Slangenburgh belenen. Frederik Johan was een bekwaam veldheer, die in 1704 bevorderd werd tot eerste generaal der infanterie. Aan hem dankt de Slangenburgh voornamelijk het huidig innerlijk aspect door het laten aanbrengen van plafond- en wandschilderingen. Bij ontstentenis van nakomelingenschap ging de Slangenburgh na zijn dood over op zijn oomzegger Johan Derk van Steenbergen tot Nijenbeek. Na diens overlijden kwam het goed achtereenvolgens in handen van de families Stepraadt, Doornik en Nagell.

In 1773 werd het goed aan Adriaan Steengracht, heer van Souburg verkocht, waarschijnlijk uit financiële motieven. Deze Adriaan Steengracht was op latere leeftijd Raadpensionaris van Zeeland geworden. Na zijn dood in 1773 werd zijn broer Cornelis met de Slangenburgh beleend, die als goed financier de oude hypotheken gedeeltelijk wist af te lossen. Bij zijn overlijden in 1781 bleek bij opening van het testament zijn kleinzoon Frederik Adriaan van der Goltz benoemd te zijn tot erfgenaam, onder last van het vruchtgebruik ten behoeve van zijn moeder, Cornelia Jacoba van der Goltz, geboren Steengracht. Om persoonlijke redenen werd Frederik Adriaans vader, Bernard Willem, baron van der Goltz, van het testament uitgesloten, opdat niets van de goederen of de opbrengst daarvan door hem zou worden verkwist.
Op 14 februari 1849 overleed Frederik Adriaan van der Golts te 's-Gravenhage. Het huwelijk van zijn zoon Willem Jan bleef kinderloos en de erfgenamen deden de Slangenburgh in 1895 van de hand aan de Duitse grootindustrieel Pasman uit Ruhrort. Na zijn dood in 1919 kwam het aan zijn zoon Oscar. In de bezettingsjaren hebben er Duitse officieren gewoond en hierna is het als vijandelijk domein aan de Nederlandse Staat gekomen en beheerd door Staatsbosbeheer.

Wegens de onbelangrijkheid van de persoonlijke stukken zijn deze achteraan geplaatst. De in de inventaris van circa 1720 vermelde stukken zijn alle nog aanwezig, evenals de stukken vermeld in het boekje met aantekeningen van de rentmeester Robert Arnold Giessinger. Bij acte van 9 september 1765 kwam de allodiale heerlijkheid Wehl aan het geslacht Steengracht, die het overnamen van de Pruisische Invalidenkas, om later vererfd te worden aan het geslacht Van der Goltz, die het tot in het laatst der 19e eeuw behielden