Het eerste lid van het geslacht Van Dam waarvan in het onderhavige archief bescheiden bewaard gebleven zijn, is Willem van Dam, die van 1661 tot 1757 te Delft leefde. Hij was een zoon van Paulus Barentszoon en Marijtje Jacobsdochter en trouwde in 1681 met Anna Sijdelhaak *  . Zijn grootvader van vaderszijde was waarschijnlijk Barent Willemszoon. Volgens de genealogie van het geslacht Van Dam in Nederland's Patriciaat is grootvader Barent vermoedelijk ook te Delft geboren en verschijnt bij het huwelijk van diens zoon Pauwels (of Paulus) voor het eerst de toevoeging "Van Damme" *  . De opmerking van de samensteller van deze genealogie in voetnoot 1 "meer dan waarschijnlijk de plaats van herkomst, t.w. Damme in West-Vlaanderen"komt geheel voor zijn rekening. In de oude genealogieën van het geslacht Van Dam wijst geen enkel gegeven op een relatie met Vlaanderen,/vnoot> . Een der zonen van Willem van Dam en Anna Sijdelhaak, Dirk, is naar Rotterdam verhuisd, waar hij in 1717 getrouwd en in 1769 gestorven is. Dirks oudste zoon, Wilhelmus van Dam, is te Rotterdam blijven wonen maar twee jongere zoons, Paulus Jacob en Jacob, hebben zich te Gorkum gevestigd, en de op een na jongste zoon, Nicolaas, is weer naar Delft getrokken. (Vrouwelijke leden van het geslacht Van Dam hebben zich na hun huwelijk o.a. te Delft en Gorkum gevestigd.) De hiervóór genoemde oudste zoon Wilhelmus, in 1719 te Rotterdam geboren, trouwde in 1746 Margaretha van der Kloot, uit welk huwelijk alleen een zoon is geboren en wel Dirk Willem van Dam (1748-1795). Vader en zoon, aktief in de koophandel, waren vermogende burgers geworden en hebben, evenals andere leden van het geslacht, overheidsfuncties bekleed. Dirk Willem van Dam huwde in 1778 te Dordrecht Maria Aletta van Wageningen, een dochter van de zeer gegoede koopman Jan van Wageningen.

Uit dit huwelijk werden zes kinderen geboren. In 1780 erfden twee dochters van Jan van Wageningen, Johanna Agatha en de al genoemde Maria Aletta, de vrouw van Dirk Willem van Dam, en haar neef Cornelis Pieter Scheyderuyt de Vos elk voor 1/3 deel van hun welgestelde, kinderloos gestorven neef (resp. van vaders- en van moederszijde) Johannes Adrianus Wilhelmius heerlijkheid en huis Brakel. Aan Pieter Scheyderuyt de Vos waren bovendien gelegateerd "alle papieren, boeken, familieschilderijen en penningen tot de familie Van den Brande behoorende" *  . De Vos, die in Zwitserland woonde, verkocht nog in 1780 zijn aandeel in de erfenis aan zijn beide mede-erfgenamen, die daardoor elk voor de helft eigenares werden van de Brakelse goederen *  . Johanna Agatha, kort na deze transactie gehuwd met Johannes Theodorus Wilkens, overleed al in 1781 na de geboorte van haar zoon. Haar man (in 1787 te Rotterdam hertrouwd met Ida Johanna Bierumer) verkocht in 1809 met zijn zoon uit het eerste huwelijk als rechtverkrijgende van zijn eerste vrouw de van haar geërfde helft der goederen en rechten te Brakel aan zijn schoonzuster Maria Aletta van Wageningen *  ; deze was inmiddels door het overlijden van haar man Dirk Willem van Dam in 1795 weduwe geworden. Zo kwamen de goederen en rechten van heerlijkheid en huis Brakel weer in één hand.

Na de dood van de weduwe Van Dam in 1828 vererfde de heerlijkheid Brakel c.a. op haar oudste zoon Wilhelmus (1777-1858) *  . Sedertdien hebben de leden van het geslacht Van Dam die heerlijkheid en huis Brakel bezaten, zich dan ook altijd Van Dam van Brakel genoemd.
Ofschoon Maria Aletta van Dam-van Wageningen waarschijnlijk wel eens op het huis Brakel verbleef (van haar man is het niet bekend) had zij haar vaste woonplaats toch te Rotterdam. De goederen werden beheerd door de rentmeester M.G. Hoffmann van Hove, die vermoedelijk te Gorkum woonde. Wegens wanbeheer werd deze ontslagen *  en met ingang van 1811 voerde Wilhelmus van Dam van Brakel ten behoeve van zijn moeder de administratie. Hij is wèl in Brakel gaan wonen met zijn vrouw Madelaine Marie Geraud, met wie hij in 1803 te Rotterdam was getrouwd. De eerste drie kinderen uit dit huwelijk zijn te Rotterdam geboren, het vierde in Utrecht en de laatste twee in Brakel.
Madelaine Marie overleed in 1846 en in 1848 hertrouwde Van Dam op 68-jarige leeftijd te Vleuten Helena Ditmars, oud 26 jaar. (Volledigheidshalve zij hier opgemerkt dat Helena Ditmars toen zij met Van Dam trouwde, reeds ongehuwde moeder was van een dochtertje, geboren in 1843; de naam van de vader is niet bekend.)

Wilhelmus van Dam van Brakel is een aantal jaren burgemeester van Brakel geweest en dijkgraaf van de dijkstoel van Brakel, later dijkgraaf van het polderdistrict Bommelerwaard beneden de Meidijk. Uit beide functies is hij op eigen verzoek ontslagen, resp. in 1811 en 1856.
Evenals zijn beide in Rotterdam wonende jongere broers Jan en Jacob had Wilhelmus een grote historische belangstelling. Hij heeft zich verdiept in de geschiedenis van de streek, in die van zijn voorgeslacht en in de genealogie van de geslachten die vóór de familie Van Dam eigenaar van de heerlijkheid Brakel zijn geweest. Voorts bezat hij een omvangrijke bibliotheek en een "kabinet", een soort van privé museum van voorwerpen van kunst en oudheidkunde, ingericht in Het Spijker *  .
Bij zijn overlijden liet Wilhelmus een vermogen na van ruim één miljoen gulden. Bestanddelen hiervan waren o.a. heerlijkheid en huis Brakel c.a.; de heerlijkheid Rodichem met het kasteel Monnikenland en omgeving; de heerlijkheid Noord- en Zuid-Linschoten (Z.-H.) en het kasteel en landgoed Oyen in Noord-Brabant. (Rodichem of Rodighem was in de vroege Middeleeuwen waarschijnlijk een eiland ten westen van Brakel en vormde aanvankelijk een afzonderlijk gericht. Ten gevolge van veranderingen in het landschap in de loop der eeuwen o.a. door overstromingen van de Maas en de Waal kon men later het gebied niet meer precies aanwijzen en alleen de naam is bewaard gebleven. Het werd naderhand ook wel de Benedenwaarden genoemd *  .

Jean Boudet van Dam (Boudet is hier geen achternaam maar een toevoeging aan de voornaam), de jongste bij het overlijden van Wilhelmus van Dam van Brakel nog in leven zijnde zoon, werd bij de boedelscheiding door loting eigenaar van éénderde der nagelaten goederen te Brakel, o.a. heerlijkheid en huis Brakel, de ruïne van het middeleeuwse kasteel en Het Spijker. De oudste zoon, Samuel P.J.C.van Dam van Hekendorp, verkreeg het veerrecht, het veerhuis met de haven, de steenfabriek, de grove, smalle en krijtende tienden over de hele heerlijkheid en de eendenkooi.
Na het kinderloos overlijden van Jean Boudet vererfden heerlijkheid en huis weliswaar op zijn neef Thierry G.M.A. van Dam, de tweede zoon van zijn in 1850 overleden broer Dirk Willem van Dam (de oudste zoon van Wilhelmus van Dam van Brakel); maar overeenkomstig de door de erflater in zijn testament omschreven wens ruilde Thierry met zijn oudste broer Jean P.H.M.L. van Dam de door hem geërfde helft van de onder Brakel gelegen goederen voor de goederen in de (voormalige) heerlijkheid Noordeloos *  (in Zuid-Holland), die deze broer had verkregen uit de nalatenschap van hun oudoom Jacob van Dam van Noordeloos . Jacob, de jongste broer van hun overleden grootvader Wilhelmus van Dam van Brakel, had de heerlijkheid Noordeloos in 1829 gekocht *  en was in 1872 ongehuwd overleden. De genoemde ruiling werd geacht te zijn ingegaan per 1 januari 1879.
Jean P.H.M.L. van Dam van Brakel heeft vele jaren te Wageningen gewoond waar hij o.a. lid van de gemeenteraad en wethouder is geweest. Slechts zo nu en dan kwam hij in Brakel.

Zijn zoon Dirk Willem, die door het overlijden van zijn vader in 1900 het huis Brakel c.a. erfde, is in verschillende plaatsen gemeenteontvanger geweest. Tenslotte heeft hij, vermoedelijk in 1903, met zijn gezin het huis te Brakel betrokken. Na zijn overlijden in 1931 is zijn weduwe, Madelon S.E. van Dam-Vermeulen, met hun dochter Louisa Geertruida Chris-tina, op het huis blijven wonen. Hun zoon Dirk Willem is in 1938 gehuwd met Frederica Adelaïde Scheltus; dit huwelijk is kinderloos gebleven. Mevrouw Van Dam-Vermeulen is in 1959 overleden, haar dochter Louisa in 1962.
Zoals al gezegd noemden de leden van het geslacht Van Dam die het huis Brakel hebben bezeten (en soms ook bewoond) zich Van Dam van Brakel. In de inventaris worden zij daarom regelmatig met deze benaming aangeduid, ook in de beschrijving van stukken uit de jaren dat ze de Brakelse goederen nog niet bezaten. Leden van andere takken van het geslacht noemden zich Van Dam van Hekendorp (en Polanen); Van Dam van Noordeloos en Van Dam van Snelrewaard, omdat zij goederen en rechten in deze (voormalige) heerlijkheden bezaten of hadden bezeten.