,(Simple) Linear Regression Model
Population (Theoretisch) Model
Yi = β0 + β1 Xi + i
Y : verklaarde/afhankelijke variabele
X: verklarende/onafhankelijke variabele
We gaan dus Y lineair proberen te verklaren met X, waarbij
β0 : constate/intercept
β1 : slope/r.c. (en geeft dus aan met hoeveel Y toeneemt/afneemt als X met 1 eenheid toeneemt)
: errors/afwijking (ofwel: alles in Y dat niet door X verklaard wordt)
Merk op: de X en Y zijn bekend. De β’s zijn de onbekende coefficienten die we willen berekenen.
Als we de β’s berekend hebben levert ons dat het sample model op.
Sample model:
Yi = βˆ0 + βˆ1 Xi + ei
De bijbehorende erros worden de residuen genoemd, genoteerd met ei .
De fitted/predicted values,Ŷ , (ofwel: de formule van de lijn) worden gegeven door:
Ŷ = βˆ0 + βˆ1 X1
Merk op: ei = Yi − Ŷi
OLS
Het sample model krijgen we natuurlijk niet zomaar. Een van de methodes om de onbekende
coefficienten (de β’s) te berekenen is Ordinary Least Squares (OLS). Deze methode berekent sim-
pelweg de coefficienten, waarvoor geldt dat de residuen zo klein mogelijk zijn, ofwel de coefficienten
waarbij zoveel mogelijk verklaard van Y verklaard wordt door X en zo min mogelijk door de errors:
n
X n
X
min e2i = (Yi − β0 − β1 Xi )2
β0 ,β1
i=1 i=1
De oplossing kan gevonden worden door de eerste afgeleides gelijk aan nul te stellen. De vergelijken
vergelijking dient vervolgens te worden opgelost voor de onbekende coefficienten.
De uiteindelijke uitkomsten zullen dan zijn:
Pn
sample cov(Y, X) sY X i=1 (Yi − Ȳ )(Xi − X̄)
β̂0 = Ȳ − β1 X̄ β̂1 = = 2 = Pn 2
sample var(X) sX i=1 (Xi − X̄)
Algebraic Properties
Voor SCHATTINGEN (ESTIMATES) van OLS geldt ALTIJD het volgende (het zijn geen aan-
names):
1. De residuen (e) zijn gemiddeld 0, ofwel
e1 + . . . + en
ē = =0
n
2
, 2. De residuen zijn ongecorreleerd met al de onafhankelijke variabelen (de X’en), ofwel
Corr(Xij , ei ) = 0 Cov(Xij , ei ) = 0
1. en 2. kunnen ook samen genoteerd worden: E(ei |X1i , . . . , Xki ) = 0
Let op! De bovenstaande eigenschappen geldt altijd voor de uitkomsten voor OLS. Dit heeft nog
niets te maken met de aannames die we maken over de populatie waar we OLS op toepassen.
Waarom OLS?
In het algemeen geldt dat een schatter goed is als deze schatter unbiased en consistent is en we
de asymptotische verdeling van de schatter weten.
Indien we vier aannames doen (over de populatie) weten we zeker dat de OLS schatter unbi-
ased, consistent en asymptotisch Normaal verdeeld is. De vier aannames die we dienen te doen
zijn:
1. εi is een random variabele waarvoor geldt E(εi |Xi ) = 0.
2. (Yi , Xi ) zijn onafhankelijk en identical distributed (i.i.d.)
3. Large outliers are unlikely.
Tevens kunnen we twee extra aannames doen:
4. No heteroscedasticity (homoscedasticity): var(εi |Xi ) = σ 2 .
5. No serial correlation: cov(εi , εj ) = 0 for i 6= j.
(No perfect multicollineariteit bij multiple regression)
Indien we ook deze 4 en 5 als aannames doen, geldt niet alleen dat de OLS schatter unbiased,
consistent en asymptotisch normaal verdeeld is, maar tevens dat de OLS schatter de Best Linear
Unbiased Estimator (BLUE) is.
Tevens nemen we het volgende aan (niet perse nodig) om het ons zelf betreffende de verdel-
ing van de schatters makkelijk te maken.
εi ∼ N (0, σ 2 )
3
Voordelen van het kopen van samenvattingen bij Stuvia op een rij:
Verzekerd van kwaliteit door reviews
Stuvia-klanten hebben meer dan 700.000 samenvattingen beoordeeld. Zo weet je zeker dat je de beste documenten koopt!
Snel en makkelijk kopen
Je betaalt supersnel en eenmalig met iDeal, creditcard of Stuvia-tegoed voor de samenvatting. Zonder lidmaatschap.
Focus op de essentie
Samenvattingen worden geschreven voor en door anderen. Daarom zijn de samenvattingen altijd betrouwbaar en actueel. Zo kom je snel tot de kern!
Veelgestelde vragen
Wat krijg ik als ik dit document koop?
Je krijgt een PDF, die direct beschikbaar is na je aankoop. Het gekochte document is altijd, overal en oneindig toegankelijk via je profiel.
Tevredenheidsgarantie: hoe werkt dat?
Onze tevredenheidsgarantie zorgt ervoor dat je altijd een studiedocument vindt dat goed bij je past. Je vult een formulier in en onze klantenservice regelt de rest.
Van wie koop ik deze samenvatting?
Stuvia is een marktplaats, je koop dit document dus niet van ons, maar van verkoper Swarleyy. Stuvia faciliteert de betaling aan de verkoper.
Zit ik meteen vast aan een abonnement?
Nee, je koopt alleen deze samenvatting voor €9,99. Je zit daarna nergens aan vast.
