STATISTISCHE MODELLEN 2
Overzicht cursus
1. Regressieanalyse
2. Multivariate relaties
3. Variantieanalyse
4. Covariantieanalyse
5. Regressieanalyse met categorische predictoren
6. Logistische regressieanalyse
7. Repeated measures ANOVA
Soorten variabelen
- NOM: nominaal (‘labels’)
- DUM: dummyvariabele (bijvoorbeeld D = 1: experimenteel, D = 0: controle); geeft aan of je
al dan niet in een bepaalde groep zit
- INT: interval/kwantitatieve variabele
Verschillende modellen
Onafhankelijke variabele Afhankelijke variabele
X1 X2 Y Model HC
DUM INT T-toets voor onafhankelijke groepen 3
NOM INT Éénwegvariantieanalyse (ANOVA) 3
NOM NOM INT Tweewegvariantieanalyse 3
INT INT Enkelvoudige regressieanalyse 1
INT INT INT Multipele regressieanalyse 1
INT NOM INT Covariantieanalyse 4
INT DUM DUM Logistische regressieanalyse 6
Afhankelijke variabelen
Y1 Y2 Y3 Model HC
INT INT T-toets voor gepaarde waarnemingen 3
INT INT INT Repeated measures ANOVA 7
COLLEGE 1 – Regressieanalyse
Inhoud:
- Lineaire relaties
- Statistisch model
- SPSS-analyse
- Verklaarde variantie
- Assumpties
- Voorbeeld met vier voorspellers
- Afwijkingen in data + mogelijke oplossing
Lineaire relaties
Relatie tussen intervalvariabelen
In veel onderzoekssituatie zijn er intervalvariabelen (INT). Voorbeelden:
- Lengte, gewicht, leeftijd
- Schaalscores voor introversie, depressie, coping, attitude
- Vaardigheidsscores voor taal, rekenen
Vanuit een wetenschappelijke theorie hebben we vaak verwachtingen over hoe variabelen gerelateerd
zijn. Hoe kan je een relatie uitdrukken?
Voorbeeld
Onderzoek naar depressie en coping
Steekproef van N = 84 random geselecteerde RUG-studenten
,Twee variabelen:
- BDI (Beck Depression Inventory): 0-9 weinig, 10-18 mild, 19-29 matig, 30-63 zware
depressie
- Coping score: 0 = geen coping, 10 = goed kunnen omgaan met tegenslag
Onderzoeksvraag: Is er een relatie tussen BDI en coping (in de populatie)?
Spreidingsdiagram:
Wat valt op?
- Hogere scores op coping = lagere scores op BDI (> richting).
- Mensen die geneigd zijn depressiever zijn, kunnen minder omgaan met tegenslag.
Hoe sterk is de relatie?
Veronderstel: relatie is lineair. > Toename in coping is proportioneel t.o.v. afname BDI.
Een lineair model werkt goed in de praktijk.
Lineaire relatie
Een lineair model werkt goed in de praktijk. Het blijkt dat veel relaties tussen twee intervalvariabelen
redelijk met een lineair verband zijn samen te vatten.
Een lijn wordt beschreven door een helling (hoeveel stijgt of daalt de lijn). Dit getal (= parameter)
geeft (1) richting van relatie weer en (2) interpretatie aan relatie.
Verschillende lijnen mogelijk. Welke? Eentje die ook een maat voor sterkte relatie geeft
,Kleinste kwadratensom residuen
Welke lijn?
- Bereken alle residuen (= afstanden punten tot lijn)
- Kwadrateer alle residuen
- Tel alle gekwadrateerde residuen op
- Lijn kiezen zodat deze som zo klein mogelijk is.
Kleinste kwadratensom van residuen is uniek > unieke lijn.
Uitgangspunt van dit idee is ook dat uitbijters veel invloed hebben. De lijn ligt precies daar waar de
(som van de) gekwadrateerde afstandjes minimaal zijn. Er kan dan ook maar één regressielijn zijn.
Voorbeeld
Met kleinste kwadratenlijn kunnen we een aantal vragen beantwoorden:
- Onderzoeksvraag 1: Is er een lineaire relatie tussen BDI en coping in de populatie?
- Onderzoeksvraag 2: Hoe sterk is de lineaire relatie tussen BDI en coping?
> Vraag 1 en 2 > Pearson correlatie
- Onderzoeksvraag 3 (1+2): Kan BDI voorspeld worden door coping?
> Enkelvoudige regressieanalyse (= regressieanalyse met één voorspeller)
Onderzoeksvraag 1: Is er een lineaire relatie tussen BDI en coping in de populatie?
, Pearson correlatie
- Maat voor sterkte lineaire relatie
- Nulhypothese bij t-toets
- H0: r = 0 (geen relatie)
- P < 0.001; significante relatie tussen BDI en coping
- Relatie negatief: meer coping gaat samen met minder depressie
Intermezzo: toetsen
- Nulhypothese: Een populatiegrootheid heeft een bepaalde waarde. Het maakt niet uit elke
waarde van coping je hebt; overal heb je dezelfde depressie.
- Alternatieve hypothese: De populatie-grootheid heeft die waarde niet (groter, kleiner,
ongelijk).
> Je probeert de nulhypothese te verwerpen.
Voorbeeld: Regressieanalyse. Ligt de lijn horizontaal of niet?
>: rechtszijdig
<: linkszijdig
≠: tweezijdig
> Welke van de drie blijkt uit de vraagstelling.
- Gebaseerd op een toetsingsgrootheid (test statistic):
Dus je begint met de gevonden scores. Daar probeer je een kans aan te verbinden. Over het
algemeen kan dat niet. Daarom reken je de toetsingsgrootheid uit (d.m.v. z-waarde of t-
waarde); hoeveel standaardfouten jouw scores afliggen van het gemiddelde
Je hebt dus een toetsingsgrootheid nodig om een kans (de p) uit te rekenen.
- P-waarde: De kans om een uitkomst te vinden zo extreem of nog extremer dan het gevonden
effect, als H0 waar zou zijn. Hoe kleiner p, des te sterker is het bewijs tegen de
nulhypothese, d.w.z. hoe onwaarschijnlijker de nulhypothese is.
> Dus: hoe klein is p? > Vergelijk met significantieniveau.
Overzicht cursus
1. Regressieanalyse
2. Multivariate relaties
3. Variantieanalyse
4. Covariantieanalyse
5. Regressieanalyse met categorische predictoren
6. Logistische regressieanalyse
7. Repeated measures ANOVA
Soorten variabelen
- NOM: nominaal (‘labels’)
- DUM: dummyvariabele (bijvoorbeeld D = 1: experimenteel, D = 0: controle); geeft aan of je
al dan niet in een bepaalde groep zit
- INT: interval/kwantitatieve variabele
Verschillende modellen
Onafhankelijke variabele Afhankelijke variabele
X1 X2 Y Model HC
DUM INT T-toets voor onafhankelijke groepen 3
NOM INT Éénwegvariantieanalyse (ANOVA) 3
NOM NOM INT Tweewegvariantieanalyse 3
INT INT Enkelvoudige regressieanalyse 1
INT INT INT Multipele regressieanalyse 1
INT NOM INT Covariantieanalyse 4
INT DUM DUM Logistische regressieanalyse 6
Afhankelijke variabelen
Y1 Y2 Y3 Model HC
INT INT T-toets voor gepaarde waarnemingen 3
INT INT INT Repeated measures ANOVA 7
COLLEGE 1 – Regressieanalyse
Inhoud:
- Lineaire relaties
- Statistisch model
- SPSS-analyse
- Verklaarde variantie
- Assumpties
- Voorbeeld met vier voorspellers
- Afwijkingen in data + mogelijke oplossing
Lineaire relaties
Relatie tussen intervalvariabelen
In veel onderzoekssituatie zijn er intervalvariabelen (INT). Voorbeelden:
- Lengte, gewicht, leeftijd
- Schaalscores voor introversie, depressie, coping, attitude
- Vaardigheidsscores voor taal, rekenen
Vanuit een wetenschappelijke theorie hebben we vaak verwachtingen over hoe variabelen gerelateerd
zijn. Hoe kan je een relatie uitdrukken?
Voorbeeld
Onderzoek naar depressie en coping
Steekproef van N = 84 random geselecteerde RUG-studenten
,Twee variabelen:
- BDI (Beck Depression Inventory): 0-9 weinig, 10-18 mild, 19-29 matig, 30-63 zware
depressie
- Coping score: 0 = geen coping, 10 = goed kunnen omgaan met tegenslag
Onderzoeksvraag: Is er een relatie tussen BDI en coping (in de populatie)?
Spreidingsdiagram:
Wat valt op?
- Hogere scores op coping = lagere scores op BDI (> richting).
- Mensen die geneigd zijn depressiever zijn, kunnen minder omgaan met tegenslag.
Hoe sterk is de relatie?
Veronderstel: relatie is lineair. > Toename in coping is proportioneel t.o.v. afname BDI.
Een lineair model werkt goed in de praktijk.
Lineaire relatie
Een lineair model werkt goed in de praktijk. Het blijkt dat veel relaties tussen twee intervalvariabelen
redelijk met een lineair verband zijn samen te vatten.
Een lijn wordt beschreven door een helling (hoeveel stijgt of daalt de lijn). Dit getal (= parameter)
geeft (1) richting van relatie weer en (2) interpretatie aan relatie.
Verschillende lijnen mogelijk. Welke? Eentje die ook een maat voor sterkte relatie geeft
,Kleinste kwadratensom residuen
Welke lijn?
- Bereken alle residuen (= afstanden punten tot lijn)
- Kwadrateer alle residuen
- Tel alle gekwadrateerde residuen op
- Lijn kiezen zodat deze som zo klein mogelijk is.
Kleinste kwadratensom van residuen is uniek > unieke lijn.
Uitgangspunt van dit idee is ook dat uitbijters veel invloed hebben. De lijn ligt precies daar waar de
(som van de) gekwadrateerde afstandjes minimaal zijn. Er kan dan ook maar één regressielijn zijn.
Voorbeeld
Met kleinste kwadratenlijn kunnen we een aantal vragen beantwoorden:
- Onderzoeksvraag 1: Is er een lineaire relatie tussen BDI en coping in de populatie?
- Onderzoeksvraag 2: Hoe sterk is de lineaire relatie tussen BDI en coping?
> Vraag 1 en 2 > Pearson correlatie
- Onderzoeksvraag 3 (1+2): Kan BDI voorspeld worden door coping?
> Enkelvoudige regressieanalyse (= regressieanalyse met één voorspeller)
Onderzoeksvraag 1: Is er een lineaire relatie tussen BDI en coping in de populatie?
, Pearson correlatie
- Maat voor sterkte lineaire relatie
- Nulhypothese bij t-toets
- H0: r = 0 (geen relatie)
- P < 0.001; significante relatie tussen BDI en coping
- Relatie negatief: meer coping gaat samen met minder depressie
Intermezzo: toetsen
- Nulhypothese: Een populatiegrootheid heeft een bepaalde waarde. Het maakt niet uit elke
waarde van coping je hebt; overal heb je dezelfde depressie.
- Alternatieve hypothese: De populatie-grootheid heeft die waarde niet (groter, kleiner,
ongelijk).
> Je probeert de nulhypothese te verwerpen.
Voorbeeld: Regressieanalyse. Ligt de lijn horizontaal of niet?
>: rechtszijdig
<: linkszijdig
≠: tweezijdig
> Welke van de drie blijkt uit de vraagstelling.
- Gebaseerd op een toetsingsgrootheid (test statistic):
Dus je begint met de gevonden scores. Daar probeer je een kans aan te verbinden. Over het
algemeen kan dat niet. Daarom reken je de toetsingsgrootheid uit (d.m.v. z-waarde of t-
waarde); hoeveel standaardfouten jouw scores afliggen van het gemiddelde
Je hebt dus een toetsingsgrootheid nodig om een kans (de p) uit te rekenen.
- P-waarde: De kans om een uitkomst te vinden zo extreem of nog extremer dan het gevonden
effect, als H0 waar zou zijn. Hoe kleiner p, des te sterker is het bewijs tegen de
nulhypothese, d.w.z. hoe onwaarschijnlijker de nulhypothese is.
> Dus: hoe klein is p? > Vergelijk met significantieniveau.
