Um 1000 waren die Grafen von Lenzburg die Oberherren der Gegend von Birrwil und der gesamten Lande zwischen Vierwaldstätersee und Rhein.
1173 starben sie aus und die Besitzungen gingen an die Grafen von Kyburg.
1263 nach dem Aussterben der Kyburger ging die Erbfolge an das Hause Habsburg, deren Stammschloss oberhalb von Brugg Wildegg/Brugg heute noch zu bewundern ist.

Als König Albrecht, Vertreter des Habsburgerzweiges Habsburg/Laufenburg ermordet wird, geht die Oberherrschaft geht an das Haus Hohenklingen das mit dem Hause Habsburg verwandt ist.

Das Mittelalter war eine für unsere politischen Vorstellungen wirre Zeit. So waren die Besitzungen der einzelnen Herrschaftshäuser nicht zusammenhängend, sondern durch viele Erbteilungen unwahrscheinlich verzettelt. Man kann das mit den Äckern eine Bauerndorfes vergleichen. Wo ein Bauer von einer Ecke des Dorfes zur nächsten fahren muss, um seine Felder zu bestellen, anstatt, dass seine Felder sich um seinen Hof befinden.
Ein weiterer erschwerender Faktor war, dass die einen Güter direkte Besitzungen waren, die andere Lehen, wiederum andere Unterlehen von anderen Familien. So konnte es geschehen, dass ein Graf einerseits Oberherr eines Ritters war und gleichzeitig Lehensnehmer eines anderen Grafen und ihm darin Untertan.

Struktur der Abhängigkeiten bis zur Berner Herrschaft

Als oberster Herr galt jeweils der König, der aber weit weg und mit wenig direkter Macht ausgestattet war. Er wurde jeweils von den Grafen und Markgrafen gewählt und war einer der ihren, so später die Habsburg. Die eigentlichen Herren waren die Grafengeschlechter, so anfänglich die Zähringer, Lenzburger, Kyburger, Grafen von Baden und schlussendlich die Habsburger.
In der Folge der Herrschaft kamen die Freiherren, die, nomen est omen, freie, ihnen selbst gehörende Besitzungen hatten und die damit zusammenhängende Gerichtsbarkeit. Zu nennen wären da hauptsächlich die Freiherren von Wohlhusen (Rothenberg), von Büttikon, von Altbüron, Büron-Aarburg, Rued (Ruoda), Rüssegg, von Hallwyl, Trostburg, Lieli, von Rynach.
Im weiteren folgten dann die Ministerialen, also Amtsleute der Grafen, Freiherren und Klöster. Diese konnten zwar wohl auch Eigengut besitzen, galten jedoch nicht als zum Adelsstand gehörend. Zu nennen: Ritter von Seengen, Birrwil, Kienberg, Aesch, Beinwil, Mosen etc., später die Untervögte.

Die heutige Gemeinde Birrwil besteht aus eigentlich 5 separaten Einheiten. So aus 4 sogenannte Steckhöfen (Eigenhöfen) und dem Dorf selbst. So, dem Wylerhof im Süden, dem Burg/Berghof im Westen, der Häfni im Nordwesten gegen Leutwil und dem wichtigsten Hof, dem Schwaderhof/ im Norden. Dieser hatte selbst fast gleich viele Einwohner und Häuser, wie das Dorf selbst.
Das Dorf und die Steckhöfe waren Untertanengebiet von den Herren von Rynach und ab 1326 der Herren von Liebegg, bei denen es bis weit in die Neuzeit blieb. Sie setzten Pfarrer, Richter und Untervögte ein.
Der Schwaderhof hingegen, im Norden gelegen war zu dieser Zeit Untertanengebiet der Herren von Hallwyl. 1076 wurde der Schwaderhof/Hüsern als Besitz von den Herren von Wolhusen erwähnt, die ihn an das Kloster Einsiedeln gaben. 1220 kam der Schwaderhof als Unterlehen von Einsiedeln zu Hallwyl.
1394 gelang die Gemeinde Leutwil an Rudolf II von Hallwyl. 1389 erwarb Hallwyl den Schwaderhof/Hüseren von Einsiedeln, sowie die Hefny. 1466 Hof Häfni und Schwaderhof unter den Herren von Hallwyl vereinigt.
1528 wurde Bern reformiert. Damit wurde Birrwil von der Grosspfarrei Pfeffikon abgelöst.
Birrwil und der Wylhof wurden 1539 zur eigener Gemeinde mit eigenem Gericht. Der Schwaderhof kam erst im 19. Jahrhundert zur Gemeinde.

im 16. Jahrhundert, gingen 2 Herrschaftsbezirke quer durch die Familie Gloor, was die unterschiedliche Entwicklung der Familienteile erklären mag. So regierten die Hallwyl unter anderem über die Dörfer Seengen, Seon, Leutwil, Retterswil, Aliswil, Boniswil und Schwaderhof, während dem die Dörfer Birrwil, Kulm, Dürrenaesch etc. von den Liebeggern betreut wurden. Die Gloor, anscheinend ursprünglich reiche Grossbauern ihrer Zeit konnten sich in Leutwil und auf dem Schwaderhof als Untervögte der Hallwyl lange Zeit vermöglich halten, währenddessen es unter den Liebeggern nur den Gloor von Birrwil gelang als Untevögte zu amten. Was im ganzen immer unklar bleibt, ist der Bezug des Schwaderhofs zu Birrwil, da die Gloor vom Schwaderhof auch immer als Bürger von Birrwil galten, obwohl sie in Seengen kirchengenössig waren. Vielleicht waren diese Untervögte von Birrwil doch die Grossbauern aus dem Schwaderhof.