Dit document is een samenvatting van KBM gegeven door Heidi Arnouts op de universiteit van Antwerpen. Enkele bewijzen staan er niet in uitgewerkt omdat dit in het boek veel duidelijker is.
DEEL I: Enkelvoudige en meervoudige regressie
Hoofdstuk 1: Inleiding
Van theorie naar model
o Theorie: inzicht in relatie tussen variabelen
• Vb. consumptieniveau (c) wordt beïnvloed door beschikbaar inkomen (x)
o "Theoretische" relatie uitdrukken met wiskundige functie
• Model: c = f(x)
o q = f (p,ps ,pc ,x)
o Algemeen: y = f(x1,x2,...,xk)
• y: respons of afhankelijke variabele (hangt af van x)
• x1,x2,...,xk: verklarende of onafhankelijke variabelen
o Verband tussen y en x1,x2,... positief, negatief of geen verband
Correlatie
o Eén afhankelijke of responsvariabele Y
o Eén onafhankelijke of verklarende variabele x
o Correlatiecoëfficiënt = is er verband tussen 2 lineaire variabelen en is dit positief of negatief
• Werd grafisch gedaan met rechte bij een puntenwolk (stijgend of dalend)
• Ligt tussen -1 en +1 (0 is geen verband)
o Correlatie:
• Meet in welke mate 2 metrische variabelen Y en x een lineair verband vertonen
• En wat de richting van dat verband is (positief of negatief)
• Hoe sterk sluiten de punten op een scatterplot aan bij een denkbeeldige rechte
o Voorbeelden:
• Correlatie tussen consumptieniveau en beschikbaar inkomen (verwacht positief)
• Correlatie tussen frisdrank verkoop kust en temperatuur
• Correlatie tussen aantal jaren onderwijs en welvaart
• Correlatie tussen prijs personenwagen en vraag ernaar (verwacht negatief)
• Correlatie tussen lengte en gewicht persoon
o Correlatiecoëfficiënt r dicht bij +1: sterk positief verband tussen de twee variabelen
• Correlatie = 0,864 in voorbeeld (+1 is bijna niet bereikbaar, perfect positief verband)
o Voorbeeld: hoe groter de persoon, hoe zwaarder (stijgende rechte puntenwolk)
• Maar ook: hoe kleiner de persoon, hoe lichter
o Stel perfecte positieve correlatie in voorbeeld: in hele steekproef geen enkele uitzondering
op regel dat een grote lengte gepaard gaat met een hoog gewicht = niet realistisch
1
,Hoofdstuk 2: Het lineair regressiemodel
2.1 Het lineair model
Enkelvoudig lineaire regressie
o Correlatiecoëfficiënt geeft geen informatie over gevoeligheid van de respons variabele Y
t.o.v. de verklarende variabele x -> hoe verandert x in functie van y
• Kijkt niet naar vlakte rechte, wel belangrijk want zegt hoe hard y beïnvloed wordt
o Wel het geval bij regressieanalyse
• Niet enkel kijken of punten aansluiten bij stijgende of dalende rechte
• Maar ook rechte kwantificeren (hellingcoëfficiënt kennen)
o Eén kwantitatieve afhankelijke of responsvariabele Y (kwantitatief is voorwaarde)
o Eén (voorlopig) kwantitatieve onafhankelijke of verklarende variabele x (x moet niet kwan.)
o Gestelde vragen:
• Is er een sterke lineaire relatie tussen beide variabelen?
• Is deze lineaire relatie significant?
• Hoe gevoelig is Y voor veranderingen in x?
• Welke waarde voor Y voorspelt men gegeven een waarde van x?
Voorbeelden:
o Op welke manier wordt het schadebedrag dat na een brand wordt aangegeven bij de
brandverzekering (Y) beïnvloed door de afstand tot de brandweerkazerne (x)?
o Welk schadebedrag verwacht men gegeven dat de brandweerkazerne zich op 2 km bevond?
o Is er een verband tussen de lengte van een persoon en zijn/haar gewicht? In welke mate
wordt het gewicht beïnvloed door de lengte?
o …
o Om rechte doorheen puntenwolk te kwantificeren, "theorie" vertalen naar lineair model
• Moeten er staan als een constante of vermenigvuldigd met lineaire functie
o Bij een lineair model verschijnen de parameters β0 ,β1 ,β2 ,... op een lineaire wijze in f
o Voorbeelden:
• Y = β0 + β1x1 + β2x2 +...+ βkxk + U
• Y = β0 + β1x + U
• Y = β0 + β1lnx + U -> ook lineair, β staat lineair in model
o Voorbeeld niet-lineair model:
• Y = β0 + β1xβ21U -> β2 niet lineair want staat in de macht, geen vermenigvuldiging
Voorbeeld:
o "Theorie": er is een verband tussen de lengte (x) en het gewicht van een persoon (Y)
o Bijhorend lineair model:
• Y = β0 + β1x + U
• β0: intercept met y-as
• β1: helling van de rechte, effect van x (lengte) op Y (gewicht)
• U: afwijking
o U afwijking:
• "Afwijking van de theorie"
• Relatie tussen lengte en gewicht is niet perfect
• Veroorzaakt door andere invloeden op het gewicht die we niet kennen
- Vb. levensstijl, genetische invloed, ...
2
,Schatten van model
o Populatie niveau
o Theoretisch verband (rechte): E(Y|x) = β0 +β1x
o Werkelijkheid: Y = β0 +β1x +U
o Hoe β0 en β1 bepalen? Zijn populatieparameters dus moeten geschat worden
o Steekproef nemen (puntenwolk)
o Best mogelijke rechte doorheen puntenwolk (modelschatting)
• y = b0 +b1x
o Werkelijkheid in de steekproef
• y = b0 +b1x + u
o Figuur:
• ui: berekende afwijking, mate waarin punt
verwijderd ligt van rechte
• Best mogelijke rechte: alle afwijkingen zo klein
mogelijk (rode lijn)
• Boven rechte ui positief
• Onder rechte ui negatief
o Afwijkingen gewoon optellen (zonder kwadrateren): positieve en negatieve afwijkingen
heffen elkaar op
o Afwijkingen worden gekwadrateerd: negatieve afwijkingen krijgen ook een positieve waarde
o Best mogelijke rechte: rechte die de som van de gekwadrateerde afwijkingen minimaliseert
(methode van de kleinste kwadraten)
2.3 Methode van de kleinste kwadraten (theorievraag, uitgewerkt notities)
o Bepalen coëfficiënten van optimale rechte (modelschatting grafiek hierboven)
o ui = yi - yi = yi – (b0 + b1xi)
o Minimaliseer S(b0, b1) =
o Partiële afgeleiden
• Kettingregel
•
• ,
o Normaalvergelijkingen: sommatie uitwerken en sommatie yi naar rechterlid
•
hb
• K
o Oplossing: uit eerste normaalvergelijking uitdrukking voor b0 halen en invullen in tweede
•
• K want sommatie van yi / n = y
o Ook kunnen met model y = 0 + 1exi + U
o Kleinste kwadratenschatting (steekproefniveau)
3
, o Voorbeeld verder uitgewerkt
• Modelschatting relatie lengte gewicht
- b0 = -58,23
- b1 = 0,716 (als lengte stijgt met 1 verwachten dat gewicht met 0,716 stijgt)
- Modelschatting: gewicht = -58,23 + 0,716*lengte
• Rekenvoorbeeld cursus:
- b0 = 0,7
- b1 = -0,1
• Vóór het experiment/verzamelen steekproefgegevens
- De respons een kansvariabele: Yi
- Afwijking een kansvariabele: Ui
- Kleinste kwadratenschatters
▪ h
▪ D
- Voor elke steekproef nieuwe waarden voor b0 en b1
2.4 Eigenschappen kleinste kwadratenschatters
o Kwadraatsommen (sums of squares) om variatie te meten
•
•
• Covariatie tussen x- en y-waarden
o Kleinste kwadratenschatters (uitgewerkt notities)
•
•
o Lineaire schatter: β0 en β1 (b0 en b1) zijn lineaire combinaties van Yi (yi)
o Praktijk vaak slechts één steekproef
o Belangrijk dat b0 en b1 betrouwbare info geven
o Hiertoe moeten de kleinste kwadratenschatters voldoen aan twee eigenschappen
• De schatters moeten overtekend zijn
- Zuivere schatter
- Onzuivere schatter is een onderschatting van de werkelijkheid
- k
- d
• De schatters moeten de kleinste variantie hebben van alle onvertekende schatters
- Efficiënte schatter
- Niet efficiënt als de schattingen veel verspreid zijn
4
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller TEWaanUA. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $5.90. You're not tied to anything after your purchase.
