Kwantitatieve Onderzoeksmethoden
1. Enkelvoudige Lineaire Regressie (ELR)
Doel: Modelleer het effect van een onafhankelijke variabele X op de afhankelijke variabele Y.
Verschillende stappen:
1. Model specificatie
• Suggereer een theoretisch model voor de populatie gebaseerd op de kennis van een
‘expert’ (bv. literatuur).
• Houdt in dat je assumpties maakt die moeten gecontroleerd worden.
2. Schat parameters in het model
• Fit het model op basis van de data.
• Voer hypothese toetsen uit.
3. Goodness of fit
• Levert het theoretische model een goede fit voor de data?
4. Check de assumpties op basis van de data
• Dit kan leiden tot een aangepaste model specificatie.
1.1. Model specificatie
Wat vertelt/vertellen de literatuur/experten jou over de relatie tussen X en Y?
Klassieke enkelvoudige lineaire regressie
Modelleer de relatie tussen X en Y met een lineaire functie. De punten liggen niet exact op een rechte:
Y = β0 + β1 x + ε, met ε ~N(0, σ), waar σ de standaard fout van het model wordt genoemd.
Interpretatie van de parameters
Omdat de foutenterm gemiddeld 0 is, geldt: μY|x = β0 + β1 x
• Intercept : waarde voor μY als x=0 (vaak niet relevant)
• Helling: verandering in μY als x toeneemt met 1 eenheid.
Non-lineaire relaties
Niet alle relaties zijn lineair. Maar het is mogelijk om niet-lineaire relaties te modelleren met behulp
van een ‘lineair’ regressiemodel, door transformaties toe te passen.
Transformaties
,Geschikte functionele vorm?
Het is belangrijk om goed na te denken over de specificatie van het regressiemodel. Je moet je laten
leiden door economische theorie, experts, rekening houdend met bijv. helling eigenschappen.
De vorm moet voldoende flexibel zijn om de gegevens te ‘passen’. Kies een vorm zodat aan de
assumpties A1-A5 wordt voldaan, zodat de kleinste kwadraten schatters de gewenste eigenschappen
hebben.
Een deel van de uitdaging van regressieanalyse is realistische assumpties maken en controleren of
eraan voldaan is. Als de assumpties niet gelden, zullen bepaalde conclusies die we trokken niet
kloppen.
Klassieke assumpties voor enkelvoudige lineaire regressie:
• A1: μY|x = β0 + β1 x (ε is gemiddeld 0 voor alle x)
• A2: ε heeft een constante standaardafwijking (homoskedasticiteit)
• A3: cov (εi, εj)=cov(Yi,Yj) =0 (= geen autocorrelatie)
• A4: Variabele x is niet random en neemt minstens 2 verschillende waarden aan.
• A5: (optioneel) ε is normaal verdeeld
In het kort: Yi = β0 + β1 xi + εi, met εi onafh. N(0, σ)
Modellen die vaak gebruikt worden in economische toepassingen:
• Lineair model: constante helling
• log-log: x stijgt met 1%, y met ≈ β1%
• log-linear: x stijgt met 1 eenheid, y met ≈β1100%
• linear-log: x stijgt met 1%, y met ≈0.01β1 eenheden
1.2. Geschat model
Populatie versus geschat model
Populatie Model = “true” model
Y = μY|x + ε = β0 + β1 x + ε
➔ Schattingen
➔ b0, b1, s
b0, b1: kleinste kwadraten principe
‘Fit’ een rechte op de data die ervoor zorgt dat de som van de kwadraten van de residuen e i zo klein
mogelijk is.
ei = yi –𝑦̂𝑖 is een residu.
,s: standaard fout van het model
σ = standaardafwijking van de foutenterm ε
1.3. Inferentie parameters
Bi als een random variabele
De steekproef variantie σ²B1 meet de nauwkeurigheid van de schatter
𝜎²
Var(𝐵1 ) = (𝑛−1)𝑠2
𝑥
sB1, ook genoteerd als se(B1), is de vierkantswortel van de geschatte variantie van B1 en wordt de
standaardfout van B1 genoemd (cfr. SPSS).
De schatter is nauwkeuriger als:
• ² kleiner is.
• 𝑠𝑋2 groter is (spreiding x-waarden).
• n groter is.
Gauss Markov theorema
Het kleinste kwadraten principe is slechts één manier met data schattingen van βi te verkrijgen. Hoe
verhouden de kleinste kwadraten schatters zich tot andere procedures?
Theorema: Onder assumpties A1-A3, hebben de kleinste kwadraten schatters de kleinste variantie
van alle lineaire, onvertekende schatters van βi. Het zijn de ‘Best Linear Unbiased Estimators’ (BLUE)
Theorema: Wanneer bovendien assumptie A5 geldt, dan zijn de kleinste kwadraten schatters BUE.
1.4. Hypothesetoetsen
Hypothesetoetsen voor βi
Bij een hypothesetoets voeren we de volgende stappen uit:
1. Formuleer H0/H1
2. Bepaal geschikte descriptive statistics
3. Bepaal een geschikte test statistiek
4. Bepaal de p-waarde voor de toets gebaseerd op de verdeling van de test statistiek onder H0
5. Formuleer een conclusie
6. Beschrijf en controleer de assumpties
Formuleer H0/H1
H0: βi = 0
H1: βi >, ≠,< 0
, Geschikte descriptieve statistieken
• bi
• Scatterplot
Geschikte test statistiek
Gestandaardiseerde bi:
bi
t=
sBi
• Als H0 waar is, verwacht men een t ‘dicht bij’ 0
• Verwerp H0 als t significant >, ≠, < 0
• Als H0 waar is T ~ tN-2
P-waarde
Maak een grafische voorstelling van de p-waarde.
Assumpties
Assumpties A1-A5 moeten gelden opdat T t-verdeeld is met N-2 vrijheidsgraden
Benaderende resultaten indien A5 niet geldt.
1.5. Goodness of fit
Goodness of fit maatstaven
De ‘goodness of fit’ van een statistisch model beschrijft hoe goed het past bij een reeks observaties.
Maatstaven van goodness of fit vatten typisch de discrepantie samen tussen waargenomen waarden
en de waarden die onder het betreffende model worden verwacht.
Voorzichtigheid is geboden bij het gebruik van ‘statistische’ goodness of fit maatstaven voor
modelevaluatie. Ze mogen niet de enige maatstaf zijn om een model te beoordelen.
Voor een regressie zijn er verschillende statistische maten: R², F-toets, standaardfout van het model,
residuplot, …
Decompositie van de variantie
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller Rhune. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $5.89. You're not tied to anything after your purchase.