Samenvatting Overzicht kwantitatieve onderzoeksmethoden: regressie

ENKELVOUDIGE LINEAIRE REGRESSIE (ELR) MEERVOUDIGE LINEAIRE REGRESSIE (MLR)
Twee variabelen waarvan de ene afhangt van de andere: onafhankelijke (X) Meerder onafhankelijke variabelen (X1, X2, …, Xk) en één afhankelijke variabele (Y)
en afhankelijke (Y) zijn opgenomen in het regressiemodel
→ Y = 0 + 1X → populatieregressierechte (eerstegraadsverband) → Y = 0 + 1X1 + 2X2 + … + kXk → populatieregressiehypervlak
→ 𝑌̂ = ̂ 0 + ̂ 1X + ui → steekproefregressierechte → 𝑌̂ = ̂ 0 + ̂ 1X + ̂ 2X2 + … + ̂ kXk + ui → steekproefregressiehypervlak
Kleinste kwadratenmethode (ordinary least squares) Kleinste kwadratenmethode (ordinary least squares)
= minimaliseer de som van de kwadraten van de afwijkingen tussen de = minimaliseer de som van de kwadraten van de afwijkingen tussen de
geobserveerde (Yi) en berekende (𝑌̂) Y -waarden geobserveerde (Yi) en berekende (ŷ) Y -waarden
→ Kleinste kwadratenschatters: ̂ 0 en ̂ 1 → Kleinste kwadratenschatters: ̂ 0, ̂ 1,…, ̂ k
Maatstaven (measures of fit) Maatstaven (measures of fit)
• Determinatiecoëfficiënt of R² • Determinatiecoëfficiënt of R²
= hoeveel van variatie in Y wordt verklaard door X? = hoeveel van variatie in Y wordt verklaard door X?
- R² = 0: X verklaart niets van de variatie in Y (̂ 1=0) - R² = 0: X verklaart niets van de variatie in Y (̂ 1=0)
- R² = 1: X verklaart alles van de variatie in Y (𝑌̂ = Y) - R² = 1: X verklaart alles van de variatie in Y (𝑌̂ = Y)
→ 0 ≤ R² ≤ 1 (liefst zo dicht mogelijk bij 1) → 0 ≤ R² ≤ 1 (liefst zo dicht mogelijk bij 1)
- SSR: sum of squares of the regression (= R² * SST) - SSR: sum of squares of the regression (= R² * SST)
= meet impact van de regressie op schatting = meet impact van de regressie op schatting
- SST: total sum of squares (= SSR + SSE of = SSE/(R²-1)) - SST: total sum of squares (= SSR + SSE of = SSE/(R²-1))
= meet de variantie in afhankelijke variabele = meet de variantie in afhankelijke variabele
- SSE: sum of squared errors (= SER² - (n – 2)) - SSE: sum of squared errors (= SER² - (n – k - 1))
= meet de variantie in de residuen
= meet de variantie in de residuen
• Standaardfout van de regressie of SER
• Aangepaste R² of adjusted R² = 𝑅̅²
= maat voor spreiding van observaties rond rechte
= compensatie voor R² omdat die stijgt wanneer je extra onafhankelijke
Foutterm u kan niet worden geobserveerd, maar wel worden geschat û
𝑆𝑆𝐸
variabelen toevoegt (SSE  dus R² )
SER = √ → liefst zo klein mogelijk → 𝑅̅² ≤ R² (kan zelfs negatief zijn)
𝑛−2

• Standaardfout van de regressie of SER
→ Indien SER hoog en R² laag is, betekent dit dat de belangrijkste = maat voor spreiding van observaties rond rechte
beïnvloedende factoren niet opgenomen zijn in het model! Foutterm u kan niet worden geobserveerd, maar wel worden geschat û
𝑆𝑆𝐸
SER = √ → liefst zo klein mogelijk
𝑛−𝑘−1
Kansverdeling o.b.v. OLS-schatters Kansverdeling o.b.v. OLS-schatters
A. Grote steekproeven (n  100) A. Grote steekproeven (n > 100)
Onvertekend (E(̂ 0) = ̂ 0; E(̂ 1) = ̂ 1) Onvertekend (E(̂ 0) = ̂ 0; E(̂ 1) = ̂ 1; … ; E(̂ k) = ̂ k)
→ Standaard normale verdeling → Standaard normale verdeling
B. Kleine steekproeven B. Kleine steekproeven
Stel: foutterm is normaal verdeeld en voldaan aan OLS VW’en Stel: foutterm is normaal verdeeld en voldaan aan OLS VW’en
→ t-verdeling met dof n – 2 → t-verdeling met dof n – k – 1
Verandering X1
Y + Y = 0 + 1(X1 + X1) + … + kXk
Y = 1X1
Y/X1= β1 (relatieve verandering)
Homoscedasticiteit = variantie van ui constant is
Heteroscedasticiteit = variantie van ui niet constant is
→ var(ui) = var(Yi): is ui homoscedastisch, dan is Yi dat ook
Standaardfout (2 formules)
• Heteroscedastische robuuste standaardfout voor SE(̂ 1) gebaseerd op OLS
VW’en en voldoende grote n
→ OOK bruikbaar wanneer er homoscedasticiteit is
• Homoscedasticiteit die bijkomend wordt verondersteld bij 𝑆𝐸 ̃ (β1) = SE(̂ 1)
→ NIET bruikbaar wanneer er heteroscedasticiteit is!
Imperfecte of quasi multicollineariteit
= bijna lineaire verbanden tussen onafhankelijke variabelen
→ Kleinste kwadratenschatters berekenbaar, maar numeriek onstabiel (kleine
datawijzigingen, kunnen leiden tot grote veranderingen in schatters) = minder
betrouwbaar
Oplossing:
- Variance inflation factor (VIF): variabelen met VIF > 5 weg
- Variabelen die gelinkt te zijn samenvoegen
- Factoranalyse: variabelen die gelinkt zijn groeperen in factoren
OLS VOORWAARDEN VOOR LINEAIR REGRESSIEMODEL Omitted variabele bias
1. De verwachte foutterm is gelijk aan 0 → E(ui) = 0 = vertekende schattingen door een variabele die een invloed heeft op Y en
Gevolg 1: de punten liggen op het populatieregressiehypervlak gecorreleerd is met X niet mee op te nemen
Gevolg 2: corr(Xi,ui) = 0;…; corr(Xk, ui) = 0 d.w.z. dat andere beïnvloedende → Groter naarmate de weggelaten variabele een sterkere invloed heeft op Y of
factoren die vervat zijn in de foutterm niet gecorreleerd zijn met de sterker gecorreleerd is met X
onafhankelijke variabele (er mag dus geen omitted variable bias zijn) → Verkleind niet door grotere steekproef te nemen
→ Niet voldaan indien er een duidelijk niet-eerstegraadsverband Oplossing: controlevariabele mee opnemen + best altijd voor MLR kiezen
aanwezig is tussen de onafhankelijke en afhankelijke variabelen Modelspecificatie
2. De observaties zijn onafhankelijk en identiek verdeeld • Belangrijkste variabelen + controlevariabele opnemen
→ De wijze waarop de data tot stand komt • Niet blindelings vertrouwen op R² of 𝑅̅²
→ Altijd voldaan bij eenvoudige aselecte steekproef • Bepaal ook andere logische alternatieve modellen
3. Er zijn geen uitschieters in de data • Maak scatterplots: visuele info over evt. lineaire verbanden
→ Controleer de data, OLS is gevoelig aan uitschieters • Maak residuplots: een scatterplot met 𝑌̂ op horizontale as en ui op verticale
4. Er is geen perfecte multicollineariteit (XtX is inverteerbaar) as, visuele info over evt. heteroscedasticiteit, ‘vergeten’ variabele of foute
→ Indien wel, verwijder dan één van de variabelen die het veroorzaakt functionele vorm