I midten af 1600-årene, mens Erik Kaas var ejer, brændte gården to gange, men efter den tid levede herregården videre med skiftende ejere. Blandt de mere kende var Speitzer-slægten. Indtil 1718 havde gården haft adelige ejere, men nu fik Mads Gregersen Speitzer skøde. Han var en driftig landmand, der opkøbte ejendomme og forøgede gårdens værdi.
Christen Speitzer følte sig så vel ved magt, at han ville oprette gården til stamhus, så den ikke skulle deles, men gå i arv til ældste søn. Han var ganske vist ikke adelig, men gårde over 400 tdr. hartkorn kunne blive stamhuse. Oprettelsen blev tinglyst 12. oktober 1768 ved Landstinget i Viborg.
Christen Speitzer var død 2. maj 1767, og arvingerne gjorde ingen indsigelser mod stamhuset. Men da sønnen mads ville overtage godset, gjorde de øvrige arvinger vrøvl og krævede stamhusoprettelsen omstødt med henvisning til , at familien ikke var adelig, og at oprettelsen ikke var godkendt af kongen. Det blev til retssag, der endte for højesteret, der gav arvingerne ret og omstødte oprettelsen af stamhus. Mads Speitzer købte de andre arvinger ud med 36.500 rdl.
Mads Speitzer blev som 32-årig gift med den 28-årige Anne Margrethe Gleerup, men det ubehagelige indtryk, som samtiden havde af ham, viste sig også her. Allerede i 1780 blev han skilt fra konen, fordi "han viste sig hård mod hende, som han begegnede med hug og slag samt foragtede hende og holdt sig til andre, ligesom han også skal have besvangret en af deres tjenestepiger". Hans skudsmål som herremand er lige så dårligt.
Hans brutale optræden fik bønderne til en sen nat, da han var på vej til gården Ørndrup, at møde op maskerede og overfalde ham. Han blev gennempryglet og senere slæbt hen til en stor sten, hvor man knuste den højre hånd, der så ofte havde gennempryglet dem uden nævneværdig grund. Han blev læsset på sig vogn, som så ved hestenes egen hjælp måtte finde hjem. De skyldige forsvandt til udlandet!
Der går en mængde sang om Speitzer, bl.a. at han spillede kort med fanden og tabte, men reddede sig ved at køre om kap med ham til Aggersborg, hvor han lige nåede at smække porten i.
Hans forhold til andre var lige så dårligt. Det gælder også fiskerettighederne ved Aggersborg, som Løgstørfiskerne "af alders tid har brugt dette fiskerie imod en årlig afgift til Aggersborggårds ejere." Denne mulighed for at fiske som sædvanlig blev nægtet, fordi Speitzer selv ville fiske.
Da fiskeriet var Løgstørs hovederhverv var det noget af en katastrofe, ikke mindst, da Speitzer heller ikke fiskede. Sagen gik til staten, som meddelte, at den ejede retten, men havde givet koncession til Aggersborggård mod behørig afgift. I 1781 udtog Speitzer stævning mod Løgstørfiskerne. Sagen endte i Højesteret, men Løgstørfiskerne vandt.
Mads Speitzer solgte gården i 1803 og flyttede til en mindre gård ved Farstrup, hvor han døde fire år senere.
1710 - 1767 (56 år)
: Adresse
: Beliggenhed
: By
: Sogn
: Amt/Region
: Land
: Ikke indstillet
