Samenvatting - Kwantitatieve onderzoeksmethoden (Meervoudige lineaire regressie)

Inhoudsopgave
1 Model specification............................................................................................................... 3
1.1 Classical assumptions............................................................................................................. 3
1.2 Interpreting the parameters .................................................................................................. 4
1.3 Non-linear model ................................................................................................................... 4
1.3.1 Inleiding ......................................................................................................................... 4
1.3.2 Transformaties .............................................................................................................. 5
1.4 Dummy variables ................................................................................................................... 7
1.4.1 Inleiding ......................................................................................................................... 7
1.4.2 Interpreteer coëfficiënten............................................................................................. 8
1.5 Interaction variables .............................................................................................................. 9
1.5.1 Tussen kwantitatieve en kwalitatieve variabelen ....................................................... 10
1.5.2 Tussen 2 kwalitatieve variabelen ................................................................................ 10
1.5.3 Tussen 2 kwantitatieve variabelen.............................................................................. 11
1.6 Choice of explanatory variables ........................................................................................... 12
1.6.1 Omitted variabele ....................................................................................................... 12
1.6.2 Irrelevante variabele ................................................................................................... 14
2 Parameter estimators ......................................................................................................... 15
2.1 Least square estimators ....................................................................................................... 15
2.2 Standard error of the model ................................................................................................ 16
3 Inference about the parameters .......................................................................................... 17
3.1 Sampling distribution of estimators .................................................................................... 17
3.2 Inference about parameters ................................................................................................ 17
3.3 Joint hypotheses tests.......................................................................................................... 18
3.3.1 Inleiding ....................................................................................................................... 18
3.3.2 In formulevorm ........................................................................................................... 20
3.3.3 Joint 𝐹-test: Link met R2............................................................................................. 20
3.3.4 Joint 𝐹-test: link met 𝑡-test ......................................................................................... 21
3.3.5 Joint 𝐹-test om model significantie na te gaan........................................................... 21
4 Goodness of fit ................................................................................................................... 23
4.1 ANOVA table ........................................................................................................................ 23
4.2 R-squared and adjusted R-squared...................................................................................... 24
4.2.1 𝑅-kwadraat.................................................................................................................. 24
4.2.2 Aangepaste 𝑅-kwadraat .............................................................................................. 24




MEERVOUDIGE LINEAIRE REGRESSIE 1 van 33

,5 Checking model assumptions .............................................................................................. 25
5.1 Diagnostische plots .............................................................................................................. 25
5.2 Multicollineariteit ................................................................................................................ 26
5.2.1 Exacte multicollineariteit ............................................................................................ 27
5.2.2 Quasi multicollineariteit .............................................................................................. 27
5.3 Heteroskedasticiteit ............................................................................................................. 30
5.3.1 Gevolgen ..................................................................................................................... 31
5.3.2 Detectie ....................................................................................................................... 32
5.3.3 Oplossing ..................................................................................................................... 33
5.4 Autocorrelatie ...................................................................................................................... 33




MEERVOUDIGE LINEAIRE REGRESSIE 2 van 33

, Meervoudige lineaire regressie

1 Model specification
- Net zoals in enkelvoudige lineaire regressie, bestaat het model uit:
• Een systematisch deel dat ons voorziet van informatie over hoe de combinatie van 𝑥-
uitkomsten resulteert in een gemiddelde waarde voor 𝑌: 𝜇𝑌|𝑥
• Een random error term (= storingsterm) 𝜀 om rekening te houden met het feit dat 𝑌|𝑥 een
random variabele is

𝑌 = 𝛽0 + 𝛽1 𝑥1 + ⋯ + 𝛽𝑘 𝑥𝑘 + 𝜀

- Meervoudig lineaire regressie wordt niet meer voorgesteld door een rechte
 Kan gevisualiseerd worden als een (hyper)vlak




1.1 Classical assumptions
- De assumpties die werden geïntroduceerd bij enkelvoudige lineaire regressie blijven behouden
DAARNAAST: zijn er twee assumpties over de verklarende variabelen in assumptie A4

- Klassieke assumpties voor meervoudige lineaire regressie:
• A1: 𝜇𝑌|𝑥 = 𝛽0 + 𝛽1 𝑥1 + … + 𝛽𝑘 𝑥𝑘 (𝜀 gemiddeld 0 voor alle 𝑥)
• A2: 𝜀 heeft een constante standaardafwijking 𝜎 (= homoskedasticiteit)
• A3: cov(𝜀𝑖 , 𝜀𝑗 ) = cov(𝑌𝑖 , 𝑌𝑗 ) = 0
• A4: Variabelen 𝑥𝑖 zijn non random, zijn geen exacte lineaire functies van de andere
verklarende variabelen
 Twee variabelen mogen niet te sterk gecorreleerd zijn met elkaar
• A5: (optioneel) 𝜀 is normaal verdeeld
(bij grote steekproef niet nodig, enkel bij een kleine steekproef)




MEERVOUDIGE LINEAIRE REGRESSIE 3 van 33

, 1.2 Interpreting the parameters
- Intercept 𝜷𝟎 : Gemiddelde waarde voor 𝑌 als alle 𝑥 = 0 (vaak niet relevant)
 Behalve in zeer speciale gevallen, nemen we altijd een intercept op in het model
(zelfs als het geen directe economische betekenis heeft)

- Coëfficiënten 𝜷𝒊 : De helling in de 𝑥𝑖 -helling
 Met het effect van een verandering in de variabele 𝑥𝑖 op de verwachte waarde van 𝑦, ceteris
paribus (= als alle andere variabele constant blijven)
bv. Als de prijs met 1 dollar stijgt en de reclame-uitgaven blijven constant, wat gebeurt er met de sales?
bv. Als de prijs constant blijft en de reclame-uitgaven stijgen met 1.000 dollar, wat gebeurt er met de sales?
𝜕𝐸(𝑌)
 Het is gelinkt aan de partiële afgeleide ( )
𝜕𝑥𝑖




1.3 Non-linear model

1.3.1 Inleiding

- Net zoals in enkelvoudige lineaire regressie, kunnen we niet-lineaire relaties modelleren bij een
meervoudig lineair regressiemodel door geschikte transformaties te gebruiken
 Baseren op economische theorie, experts en rekening houden met bijvoorbeeld slope
properties (= hellingeigenschappen)




MEERVOUDIGE LINEAIRE REGRESSIE 4 van 33