Hoorcollege 6: Meervoudig regressiemodel
Het is belangrijk dat je begrijpt hoe de berekeningen van vorige week in principe worden gemaakt. Dit geldt
ook voor het meervoudige model. Het wordt alleen niet meer zo makkelijk om het allemaal met de hand uit te
rekenen. Vandaar ook het onderscheid tussen enkelvoudig en meervoudig niet omdat het een ander
concept is, het is eigenlijk in principe hetzelfde. Je kunt ook dezelfde soort analyses doen, maar het wordt al
snel qua berekeningen een stuk ingewikkelder.
Vorige week bij het enkelvoudige regressiemodel zagen we een plaatje met diefstallen op de y-as en jaren
op de x-as en een lijn daar doorheen. Als we straks naar meer dan één variabele gaan kijken, dan wordt het
niet meer zo’n mooi plaatje als je het al over twee variabelen hebt, dan wordt het een soort van kubus. En
dan niet een lijn die erin hangt of ligt, maar een soort van vlak. Met meer dan twee variabelen is het al niet
meer te tekenen.
Ook worden de berekeningen een stuk ingewikkelder. De vorige keer hebben we gezien dat we de methode
v.d. Kleinste Kwadraten gebruiken, de afwijkingen van die lijn, en straks moet je het dan hebben over
afwijkingen t.o.v. een vlak je voelt al aan dat het wat lastiger wordt.
Conceptueel niet echt, het is hetzelfde idee. Econometristen gebruiken hiervoor ook niet meer de gewone
algebra (dat is wat wij in week 1 hebben gedaan), maar we gebruiken daarvoor matrix algebra daarmee
gaan we niet meer rekenen met enkelvoudige getallen, maar met vlakken van getallen. Dat lijkt wel wat
spannender.
Bovendien rekenen we met de hand niks meer uit. Dat hebben we in week 5 gedaan om een keer te ervaren
hoe dat werkt. Maar wanneer wij deze berekeningen gaan maken, dan gebruiken wij gewoon allerlei
computerprogrammatuur en heel veel van die programmatuur bestaat al.
Die berekeningen zijn in dit geval v.d. regressiemodellen erg snel gemaakt. 50 jaar geleden deden mensen
daar nog een paar dagen over, 100 jaar geleden misschien wel een heel jaar en nu zijn al deze
berekeningen in een split second te maken. Althans, voor deze eenvoudige modellen.
In week 9 gaan we het over algoritmes hebben en daar hebben we dan ook weer dit soort modellen
(enkelvoudig en meervoudig), maar dan ietsjes ingewikkelder, maar de rekentijd kan enorm worden. Dus
heel veel van wat er in week 9 gaat gebeuren maakt gebruik van allerlei rekenkracht van computers, doet
ook heel veel berekeningen tegelijkertijd met parallelle dingen enzo, en dat kan soms best wat tijd kosten.
Dus dat is eigenlijk wanneer wij afwijken van de enkelvoudige en meervoudige modellen en het iets
moeilijker maken als we het bijv. hebben over machine learning of kunstmatige intelligentie dat kost
allemaal wat meer rekentijd.
MAAR enkelvoudige en meervoudige regressiemodellen zijn heel snel uitgerekend! Dit omdat het niks
anders is dan optellen, kwadrateren, vermenigvuldigen en delen. Dat kan een computer heel snel, dat zijn
hele eenvoudige handelingen.
Deze week:
- Meer dan 1 variabele
We gaan kijken naar het moment dat we niet meer één variabele hebben (vorige week hadden we
jaar (op x-as) en diefstal (op y-as) dus één variabele namelijk jaar), maar twee.
- Wat als de te verklaren variabele 1 of 0 is (iemand is schuldig: ja of nee)?
We gaan ook naar een iets ander model kijken waarbij de te verklaren variabele niet meer
duizendtallen of honderdtallen is, maar 1 of 0. VB: is iemand schuldig, ja of nee? / is een beslissing
goed of niet? / wordt iemand gediscrimineerd, ja of nee? Dus de variabele is dan niet meer een
getal, maar is of 1 of 0. Het wordt heel veel gebruikt in de praktijk als mensen keuzes maken: je doet
of dit of dat / men is klant of geen klant / men gaat weg of men blijft als klant.
, - Verschillende termen en hun betekenis:
Multicollineariteit dit betekent niet meer dan dat twee variabelen bijna hetzelfde meten,
dat je dan kan zeggen dat je er eentje kan weglaten.
Endogeniteit
Weggelaten variabelen
Alternatieve manieren om parameters te schatten
Als je als jurist een model van iemand anders voor je krijgt, dan kan je vragen stellen over hoe het zit
met deze termen. Dan moet je wel weten wat ze betekenen.
Meestal als er iets aan de hand is daarmee, dan moeten we naar een andere manier om parameters
te vinden.
Dus we hadden de Kleinste Kwadraten methode bij het enkelvoudige regressiemodel maar ook nu
bij de meervoudige, MAAR stel we hebben endogeniteit, dan moeten we een andere methode
gebruiken. Ook als je 1 of 0’en hebt dan kan je de Kleinste Kwadraten niet gebruiken, want wat is
nou eigenlijk een afwijking t.o.v. 1? Is dat een beetje 1 of een half keer 1? die afwijkingen hebben
dan een andere interpretatie en dan gebruiken we dus GEEN Kleinste Kwadraten meer!
Econometristen ontwikkelen o.a. manieren om parameters te schatten. Vind allerlei soorten van
situaties (dat zijn er eindeloos veel) en elke keer zijn er wel weer nieuwe modellen en methoden en
data die erom vragen. Dus dat is eigenlijk iets wat zich in de econometrie permanent ontwikkelt. Het
komt dus ook eigenlijk niet voor dat mensen zeggen dat het ze niet gelukt is om de parameters te
vinden er is altijd wel een manier om dat te doen! Het kan best ingewikkeld worden omdat ze dan
Bayesiaanse methoden gebruiken, dan moeten we een beetje voorkennis aan het model geven.
Maar we komen altijd met een eindresultaat.
Meervoudig regressiemodel
Het enkelvoudige regressiemodel heeft 1 variabele die de ander zou kunnen verklaren. Het
meervoudige regressiemodel heeft 2 of meer variabelen. Kijk bijv. naar:
Diefstal van dieren=α + β 1 Diefstal bij defensie+ β2 Jaar + afwijking
In dit voorbeeld zie je dus dat je twee variabelen hebt om diefstal van dieren te verklaren. Je hebt
dan ook twee bèta parameters dus als je K variabelen hebt, dan heb je K van dat soort bèta’s.
Blijkt:
• De Kleinste Kwadraten methode kan weer worden gebruikt om de parameters te
schatten dit gebeurt dan wel met matrix algebra dus het ziet er een beetje anders uit
maar in principe is het conceptueel hetzelfde idee.
• Je kunt ook de t waarden (en p waarden) per parameter uitrekenen en ook per variabele
apart beschouwen. Dus je kan kijken hoeveel standaarddeviaties β 1 van 0 af ligt en
tegelijkertijd β 2 en dan hoef je daarbij niet naar β 1 te kijken, je kan dat apart behandelen.
• De R2 kan ook op dezelfde manier worden berekend (ook al gaat het om een vlak, de R2
kan je alsnog uitrekenen) ook hier geldt dan dicht bij 0 dan is het model niet zo goed, en
dicht bij 1 dan beschrijft het model de data heel goed.
