Samenvatting Experimentele Onderzoeksmethoden
Inhoudsopgave
HC 1: Samenvatting eerdere cursussen & relatie tot EOM ................................................................................ 3
Beschrijvende statistiek ...................................................................................................................................... 3
Inferentiële statistiek .......................................................................................................................................... 4
Voorbeelden ....................................................................................................................................................... 8
HC 2: Onderscheidend vermogen, effectgrootte en één-weg ANOVA I ............................................................. 9
Vermogen/power van een toets ......................................................................................................................... 9
Effectgrootte ..................................................................................................................................................... 10
Eén-weg variantieanalyse (ANOVA) ................................................................................................................. 12
HC 3: Eén-weg ANOVA II ................................................................................................................................. 15
Opsplitsen van totale Sum of Squares in within en between ............................................................................ 17
De F-toets ......................................................................................................................................................... 18
ANOVA in SPSS .................................................................................................................................................. 19
Voorbeeld ......................................................................................................................................................... 21
HC 4: Contrasten I........................................................................................................................................... 22
ANOVA VS. t-toets VS. regressieanalyse ........................................................................................................... 22
Contrasten toetsen ........................................................................................................................................... 24
Gepland contrast .............................................................................................................................................. 28
HC 5: Contrasten II.......................................................................................................................................... 30
Orthogonale contrasten ................................................................................................................................... 30
Helmert contrasten ........................................................................................................................................... 32
Trendanalyse .................................................................................................................................................... 34
Post-hoc contrasten .......................................................................................................................................... 36
Tukey................................................................................................................................................................. 36
Scheffé .............................................................................................................................................................. 37
HC 6: Twee-weg ANOVA I ............................................................................................................................... 39
Twee-weg ANOVA ............................................................................................................................................. 39
Twee-weg ANOVA in SPSS ................................................................................................................................ 45
HC 7: Twee-weg ANOVA II .............................................................................................................................. 48
Samenvatting Twee-weg ANOVA (vorige college) ............................................................................................ 48
Simple effects in SPSS ....................................................................................................................................... 49
Gebalanceerde VS ongebalanceerde designs ................................................................................................... 51
Eén weg ANOVA VS twee-weg ANOVA ............................................................................................................. 53
, Twee-weg ANOVA → fixed en random factoren............................................................................................... 54
HC 8: ANCOVA I .............................................................................................................................................. 55
ANCOVA ............................................................................................................................................................ 55
Het idee achter de ANCOVA .............................................................................................................................. 56
ANCOVA → stappen in hypothese toetsen ....................................................................................................... 58
Uitleg over elimineren van bias a.d.h.v. figuren ............................................................................................... 60
Vermindering van error variantie ..................................................................................................................... 62
HC 9: ANCOVA II ............................................................................................................................................. 63
Samenvatting ANCOVA ..................................................................................................................................... 63
Aannames ANCOVA .......................................................................................................................................... 67
Repeated measures ANOVA ............................................................................................................................. 69
HC 10: Repeated measures ANOVA ................................................................................................................ 71
Repeated measures ANOVA → Voorbeeld ....................................................................................................... 71
Repeated measures ANOVA → aannames ...................................................................................................... 72
Repeated measures ANOVA → Voorbeeld 2..................................................................................................... 76
HC 11: Design experiment .............................................................................................................................. 79
Design en doel van een experiment .................................................................................................................. 79
Steekproef trekken............................................................................................................................................ 79
Controleren voor storende variabelen .............................................................................................................. 80
Wanneer kies je voor een Between-Subjects en wanneer voor een Within-Subjects design? .......................... 83
Alle verschillende soorten syntaxis op een rijtje ............................................................................................. 84
LEGENDA:
- Rood = begrip
- Blauw = auteur, belangrijk persoon
- Groen = formule
- Schuingedrukt = voorbeeld
- Dikgedrukt = belangrijk woord (maakt het makkelijk om de tekst in 1x te begrijpen
wanneer je het al geleerd hebt)
- Plaatje = uitleg bij een foto
2
, HC 1: Samenvatting eerdere cursussen & relatie tot EOM
Beschrijvende statistiek
Beschrijvende statistiek is het samenvatten van de data van je steekproef. Het doel hiervan is om iets
te kunnen zeggen over een populatie
- Data = numerieke gegevens van een populatie of een steekproef
- Populatie = alle leden van een gedefinieerde groep, oftewel de gehele doelgroep waar door
middel van onderzoek een uitspraak over wordt gedaan (Nederlanders)
- Steekproef = een deelverzameling van alle leden van een gedefinieerde groep (een groep
Nederlanders, omdat je niet alle Nederlanders kan onderzoeken)
Populatie Steekproef
Parameters zijn maten voor eigenschappen van Steekproefgrootheden zijn maten voor
de scores in de populatie eigenschappen van de scores in de steekproef
Griekse letters geven parameters weer (𝝁, 𝝈) Latijnse letter geven de steekproefgrootheden
- 𝜎 = standaarddeviatie weer (𝑿̅ , 𝒔)
Een groep kan in het ene geval een steekproef zijn en in het andere geval een populatie:
- Studenten die experimentele onderzoeksmethoden volgen aan Tilburg University zijn een
steekproef uit de populatie psychologie studenten in Nederland
- Studenten die experimentele onderzoeksmethoden volgen aan Tilburg University zouden de
gehele populatie zijn in het geval dat een onderzoek draait om psychologie studenten van Tilburg
University die de cursus experimentele onderzoeksmethoden volgen
De data (een reeks met getallen) zegt op zichzelf niks en is dus lastig te interpreteren. Beschrijvende
statistiek helpt ons om de data die gegeven is uit een steekproef samen te vatten, en dus
interpreteerbaar te maken→ er zijn twee manieren om dit te doen:
1. Het maken van een verdeling van de scores
2. Steekproefgrootheden
1) Verdeling
De data vatten we samen door het
groeperen van data met dezelfde score.
Dit kan onder andere d.m.v. een
frequentieverdeling (plaatje links) of
een histogram (plaatje rechts)
- Beiden geven dezelfde gegevens weer, maar een histogram is minder precies
dan een tabel → op basis van deze gegevens zien we op beide plaatjes dat de waarde 4 het
meest voorkomt en dat 60% van alle respondenten een 3 of lager scoort
- Valid percent = deze kolom verschilt in percentages met de ‘Percent’ kolom als er missende
scores (missing values) zijn. Wanneer dit het geval is worden de missende scores niet
meegenomen in de kolom ‘valid percent’
Plaatje = SPSS syntax om een frequentieverdeling en een histogram te genereren
→ in het tentamen moet je van een syntax kunnen aflezen wat je ermee wilt
genereren!
3
,2) Steekproefgrootheden
De data vatten we samen door kenmerkende eigenschappen van de verdeling van de data:
1. Meest kenmerkende score van de verdeling = centrale tendentie
2. Hoeveel wijken scores af van de meest kenmerkende score? = spreiding
Drie maten voor de centrale tendentie (= centrummaten):
∑𝑁
𝑖=1 𝑋𝑖
1. Gemiddelde = de som van alle scores gedeeld door het aantal scores → 𝑋̅ = 𝑁
2. Mediaan = middelste score wanneer je de scores ordent van laag naar hoog
3. Modus = meest voorkomende score
Drie maten voor de spreiding (= spreidingsmaten):
1. Range = het verschil (interval) tussen de laagste en de hoogste waarde in de data
2. Variantie = de som van alle gekwadrateerde deviatiescores gedeeld door het aantal scores - 1→
𝑆𝑆 ∑𝑁 ̅ 2
𝑖=1(𝑋𝑖 − 𝑋)
𝑠2 = = (SS = sum of squares = som van de kwadraten)
𝑛−1 𝑁−1
3. Standaarddeviatie = de wortel van de variantie→ 𝑠 = √𝑠 2
→ Hoe groter de variantie of standaarddeviatie, hoe meer spreiding er is
Inferentiële statistiek
Beschrijvende statistiek volstaat wanneer we data hebben van de gehele populatie, maar bijna altijd
hebben we alleen data van een steekproef en niet van de hele populatie. Dit is om 3 redenen het geval:
1. Het is te duur om de hele populatie te onderzoeken
2. Het kost te veel tijd om de hele populatie te onderzoeken
3. Soms is het onmogelijk om de hele populatie te onderzoeken
Met behulp van inferentiële statistiek kunnen we op basis van eigenschappen van een steekproef een
uitspraak proberen te doen over de populatie
→ Er zijn drie procedures in de inferentiële statistiek:
1. Hypothese toetsen
2. Puntschatten = het gemiddelde van de steekproef
3. Intervalschatten → betrouwbaarheidsinterval
1) Hypothese toetsen
Stel dat we van 50 mensen de volgende gegevens hebben → 1, 1, 4, 4, 3, 2, 3, 1, 2, 1, 3, 4, 4, 3, 3, 4, 4, 3,
1, 4, 4, 4, 4, 3, 4, 4, 2, 3, 1, 3, 4, 1, 3, 4, 4, 4, 2, 4, 2, 4, 3, 3, 1, 1, 4, 3, 4, 1, 3
- Onze vraag hierbij is ‘wat is het gemiddelde van de populatie waaruit deze steekproef van 50
cases is getrokken?’
Bij hypothese toetsen ga je na of het gemiddelde in de populatie gelijk is aan een bepaalde waarde of
niet → hypothesen zijn uitsluitend en uitputtend! Er is dus altijd maar één hypothese waar
- Bijvoorbeeld 𝐻0 : 𝜇 = 2.5 tegen 𝐻1 : 𝜇 ≠ 2.5
• In dit voorbeeld spreken we van een tweezijdige toets, omdat er bij 𝐻1 het ≠- teken staat, en
er dus niks gezegd wordt over de richting van het effect. Bij een eenzijdige toets staat er dat
𝐻1 groter (>) of kleiner (<) is dan het populatiegemiddelde, en wordt er dus wel een richting
van het effect aangegeven
- Je toetst 𝐻0 , die je wel/niet kunt verwerpen → als je 𝐻0 verwerpt concludeer je dat 𝐻1 (𝜇 ≠ 2.5)
waar is
- Vuistregels voor het opstellen van hypothesen:
1. 𝐻0 bevat het = -teken → gaat altijd op
2. 𝐻1 bevat de verwachtingen van de onderzoeker → gaat bijna altijd op
4
,Stappen bij hypothese toetsen
1. Formuleren van de hypothesen → 𝐻0 : 𝜇 = 2.5 tegen 𝐻1 : 𝜇 ≠ 2.5
2. Beslissingsregel bepalen over wanneer een resultaat statistisch significant is → 𝑝 ≤ 𝑎
3. 𝒑- waarde bepalen uit de output in SPSS
4. Beslissing over de significantie en een inhoudelijke conclusie
Plaatje = SPSS syntax voor onze one-sample T-test (hypothese toets) die bij ons
voorbeeld hoort
Bij ons voorbeeld hoort de volgende SPSS
output (plaatje)
- We zien dat onze test value 2.5 is, wat
overeenkomt met onze hypotheses
- De 𝑝- waarde = 0.017 → 0.017 < 0.05, wat betekent dat we onze nulhypothese verwerpen
De logica van hypothese toetsen
Je maakt een aanname over de waarde van een parameter (in
ons voorbeeld 𝜇) = de nulhypothese. Gegeven dat deze waarde
juist is, bepaal je de verdeling van de mogelijke waarden die de
steekproefgrootheid (in ons voorbeeld 𝑋̅) kan aannemen (= de
steekproefverdeling van 𝑋̅ = plaatje), gegeven dat de waarde van
de aanname (𝐻0 ) juist is bij een enkelvoudige toevallige steekproef (= simple random sample) van 𝑁
cases
𝜎2 𝜎2
Het gemiddelde van de steekproefverdeling is 𝜇, de variantie is (𝑠 2 = )
𝑁 𝑁
- Met deze steekproefverdeling bepaal je de kans dat de waarde van 𝑋̅ in de populatie optreedt
of nog extremer = de 𝑝- waarde
- In stap 3 bepaal je de positie van 𝑋̅ in de steekproefverdeling, en bepaal je dus ook impliciet de 𝑝-
waarde
Als de 𝑝- waarde kleiner is dan de 𝑎- waarde (𝒑 < 𝒂), concludeer je dat ‘als mijn 𝐻0 waar is, dan is de kans
dat ik deze waarde voor 𝑋̅ vind of nog extremer, kleiner dan 𝑎. Deze kans is zo klein, dat ik geen
vertrouwen meer heb in mijn nulhypothese en ik 𝐻0 dus verwerp.’
Als de 𝑝- waarde groter is dan de 𝑎- waarde (𝒑 > 𝒂), concludeer je dat ‘als mijn 𝐻0 waar is, dan is de kans
dat ik deze waarde voor 𝑋̅ vind of nog extremer best groot. Ik heb dus niet genoeg redenen om te
twijfelen aan de juistheid van 𝐻0 en verwerp 𝐻0 dus niet.’
- DUS in stap 2 bepaal je de 𝑎- waarde en de beslissingsregel, in stap 4 neem je pas de beslissing
Let op dat één van de aannames is dat de steekproef een ‘simple random sample’ is =
- Alle cases hebben gelijke kansen om in de steekproef te komen
- De cases worden onafhankelijk van elkaar geselecteerd
→ Als aan deze aanname niet is voldaan, dan mag de hypothese toets strikt genomen niet gebruikt
worden
5
,Eénzijdig VS tweezijdig toetsen
De output in SPSS is altijd tweezijdig, en dus moeten we bij een
eenzijdige toets de tweezijdige ‘Sig’ (= 𝑝- waarde) omzetten naar
een eenzijdige 𝑝- waarde
- plaatje = er zijn twee manieren om de 𝑝- waarde uit te
rekenen bij een eenzijdige toets:
1. Als de alternatieve hypothese (𝐻1 ) stelt dat de
waarde groter is dan 10 (𝐻1 ∶ 𝜇 > 10), en je ziet in
de steekproef een gemiddelde waarde van 12, weet
je dus dat het resultaat in de steekproef in
overeenstemming is met 𝐻1 (12 > 10). In dit geval
gebruik je dan 𝑝- waarde = Sig/2
2. Wanneer het resultaat in de steekproef niet in
overeenstemming is met 𝐻1 → 𝑝- waarde = 1 - Sig/2
2) Puntschatten
Bij puntschatten willen we de volgende vraag beantwoorden → ‘ Wat is de beste gok voor de parameter?’
- Dus welke waarde ligt het dichtste bij de waarde in de populatie?
→ In het geval van het gemiddelde 𝝁 is de beste gok 𝑿̅
𝟐 𝟐
→ in het geval van de variantie 𝝈 is de beste gok 𝒔 (= de variantie in de steekproef)
3) Intervalschatten
Bij betrouwbaarheidsintervallen beantwoorden we de volgende vraag → ‘Wat is het interval waarbinnen
de waarde van de parameter met …% zekerheid zich bevindt?’
- Bij een 95% betrouwbaarheidsinterval voor 𝜇 → ‘In 95% van de keren dat ik een steekproef trek
met samplesize 𝑁 zal het betrouwbaarheidsinterval 𝜇 bevatten.’
𝑠 𝑠
Betrouwbaarheidsinterval = 𝑋̅ − 𝑡𝑐𝑣 × / 𝑋̅ + 𝑡𝑐𝑣 ×
√𝑁 √𝑁
- 𝑡𝑐𝑣 = de kritische t-waarde → bepaalt dus wanneer iets significant is of niet
- Wanneer het interval wordt afgeleid uit een SPSS-tabel, worden de waardes wel anders
berekend! → Boven aan de tabel staat dan de 𝐻0 - waarde gegeven (= Test Value). Zowel de
boven- als ondergrens van het betrouwbaarheidsinterval moet je dan optellen bij de 𝐻0 - waarde
Relatie tussen betrouwbaarheidsintervallen en toetsen
Je kunt betrouwbaarheidsintervallen gebruiken om tweezijdige hypothesen te toetsen
- Als 𝜇𝑯𝟎 wel in het 𝐶𝐼(1−𝑎)× 100% interval ligt, dan mag je 𝐻0 niet verwerpen ten gunste van
een tweezijdig alternatief
- Als 𝜇𝑯𝟎 niet in het 𝐶𝐼(1−𝑎)× 100% interval ligt, dan mag je 𝐻0 wel verwerpen ten gunste van
een tweezijdig alternatief
Plaatje = in ons voorbeeld mogen we de
nulhypothese verwerpen, omdat ons
gemiddelde van 2.5 (𝜇 = 2.5) als waarde
niet in het betrouwbaarheidsinterval zit
- De ondergrens is 0.07 en de
bovengrens is 0.73 → 2.5 ligt
boven 0.73. Hiermee ligt 2.5 dus niet in het interval
- In onze steekproef vonden we een gemiddelde van 2.9, terwijl het verwachte gemiddelde 2.5 was
(de Test Value), de ‘Mean Difference’ is daarom ook 0.40
6
, - ‘95% Confidence Interval of the Difference’ = het betrouwbaarheidsinterval rond ‘Mean
Difference’ (verschil in het gemiddelde) en dus niet rond het steekproefgemiddelde! Als
je bij beide waardes (0.07 en 0.73) het verwachte gemiddelde optelt (2.5), kom je uit op
het betrouwbaarheidsinterval die we uitrekenen m.b.v. het steekproefgemiddelde (𝑋̅)
• 0.07 + 2.5 = 2.57
• 0.73 + 2.5 = 3.23 →
Waarom werkt deze beslissingsregel?
Stel dat 𝐻0 waar is (dit is ook het uitgangspunt van de hypothese toets!):
- 95% van alle mogelijke steekproeven levert een 𝐶𝐼95 op waar 𝜇𝐻0 in ligt → terecht 𝐻0 aanhouden
- 5% van alle mogelijke steekproeven levert een 𝐶𝐼95 op waar 𝜇𝐻0 niet in ligt → ten onrechte 𝐻0
verwerpen = Type I fout
!!! Een alternatieve interpretatie van het betrouwbaarheidsinterval (𝐶𝐼) in relatie tot hypothese toetsen
→ het 𝐶𝐼95 geeft alle mogelijke hypothetische waarden voor 𝜇 die niet worden verworpen door de
steekproefgegevens, gegeven 𝑎 = 0.05
Overzicht toetsen van gemiddelden
In eerdere statistiekcursussen heb je al vijf toetsen gezien voor het toetsen van gemiddelden:
→ Eén populatie → je kan een 𝑧- toets of een 𝑡- toets uitvoeren
1. 𝐻0 ∶ 𝜇 = 𝜇0 , waarbij 𝜎 bekend is → gebruik een 𝑧- toets
2. 𝐻0 ∶ 𝜇 = 𝜇0 , waarbij 𝜎 onbekend is → gebruik een 𝑡- toets
• Grootste kans dat je een 𝑡- toets moet doen, omdat 𝜎 vaak onbekend is
→ Twee populaties:
3. 𝐻0 ∶ 𝜇1 = 𝜇2 , 𝜎1 = 𝜎2 en onbekend, onafhankelijke steekproeven → onafhankelijke 𝑡- toets
• Steekproef voor onafhankelijke onderzoeken → twee groepen (𝜇1 , 𝜇2 ) waarvan we weten
dat 𝜎 gelijk is bij beide groepen
4. 𝐻0 ∶ 𝜇1 = 𝜇2 , 𝜎1 ≠ 𝜎2 en onbekend, onafhankelijke steekproeven → onafhankelijke 𝑡- toets
5. 𝐻0 ∶ 𝛿 = 𝝁𝟏 − 𝝁𝟐 = 0, 𝜎𝐷 onbekend, afhankelijke steekproeven → afhankelijke 𝑡- toets
• na een behandeling onderzoeken hoe de patiënt er op vooruit/achteruit is gegaan
→ Voor deze cursus zijn toetsen 3 t/m 5 het belangrijkste
De vijf toetsen lijken erg op elkaar, want iedere keer geldt:
𝑆𝑡𝑒𝑒𝑘𝑝𝑟𝑜𝑒𝑓𝑔𝑟𝑜𝑜𝑡ℎ𝑒𝑖𝑑−𝑃𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝑋̅− 𝜇
𝑇𝑜𝑒𝑡𝑠𝑔𝑟𝑜𝑜𝑡ℎ𝑒𝑖𝑑 = 𝑆𝑡𝑎𝑛𝑑𝑎𝑎𝑟𝑑𝑓𝑜𝑢𝑡
= 𝜎
7
,Voorbeelden
1) Onderzoeksvraag = verschillen mannelijke en vrouwelijke studenten gemiddeld in hun
zelfverzekerdheid?
1. Formuleren van hypothesen → tweezijdige hypothese, er wordt geen richting (beter, slechter)
verwacht → 𝐻0 ∶ 𝜇𝑀 = 𝜇𝑉 tegen 𝐻1 ∶ 𝜇𝑀 ≠ 𝜇𝑉
2. Wanneer is het resultaat significant? → wanneer 𝑝 < 𝑎, met 𝑎 = 0.05
3. 𝑝- waarde bepalen uit de output in SPSS (plaatje)
• We interpreteren altijd eerst Levene’s test = toetst de nulhypothese dat de
standaarddeviaties gelijk zijn aan elkaar in beide groepen (in ons voorbeeld tussen mannen
en vrouwen)
- 𝐻0 ∶ 𝜎𝑀 = 𝜎𝑉 tegen 𝐻1 ∶ 𝜎𝑀 ≠ 𝜎𝑉
- 𝑆𝑖𝑔 = 0.062 → 0.062 > 0.05 → nulhypothese niet verwerpen
• Doordat de nulhypothese ‘waar’ is, kijken we bij ‘Equal variances assumed’. Als de 𝜎 niet
gelijk zijn aan elkaar (dat Sig dus < 0.05 is) kijk je naar de 𝑝- waarde bij ‘Equal variances not
assumed’
4. Beslissing over de significantie en een inhoudelijke conclusie → 𝑝 = 0.105, waarbij 0.105 >
0.05, en dus behouden we 𝐻0
- Gemiddelde zelfverzekerdheid verschilt niet tussen mannelijke en vrouwelijke
studenten
2) Onderzoeksvraag = zijn vrouwelijke studenten gemiddeld genomen minder introvert (dus extraverter)
dan mannelijke studenten?
1. Formuleren van hypothesen → 𝐻0 ∶ 𝜇𝑉 = 𝜇𝑀 tegen 𝐻1 ∶ 𝜇𝑉 > 𝜇𝑀
2. Wanneer is het resultaat significant? → wanneer 𝑝 < 𝑎, met 𝑎 = 0.05
3. 𝑝- waarde bepalen uit de output in SPSS (plaatje) →
• Levene’s test
- 𝐻0 ∶ 𝜎𝑀 = 𝜎𝑉 tegen 𝐻1 ∶ 𝜎𝑀 ≠ 𝜎𝑉
- 𝑆𝑖𝑔 = 0.468 → 0.468 > 0.05 → nulhypothese niet verwerpen
• Bij ‘Group Statistics’ zien we dat de 𝜇 van de mannen hoger is dan de 𝜇 van de vrouwen →
omdat het een eenzijdige toets is en het resultaat in de steekproef niet overeenkomt met
𝐻1 , moeten we 𝟏 − 𝒔𝒊𝒈/𝟐 doen → 𝑝 = 1 − 0.494/2 = 0.766
4. Beslissing over de significantie en een inhoudelijke conclusie → 𝑝 = 0.753, waarbij 0.753 >
0.05, en dus behouden we 𝐻0
- Vrouwelijke studenten zijn gemiddeld genomen niet minder introvert dan mannelijke
studenten
8
, HC 2: Onderscheidend vermogen, effectgrootte en één-weg ANOVA I
Vermogen/power van een toets
Als we iets toetsen willen we een juiste beslissing nemen:
- Als 𝐻0 waar is, willen we 𝐻0 behouden
- Als 𝐻1 waar is, willen we 𝐻0 verwerpen
De power (NL = onderscheidend vermogen) van een toets = de kans op het verwerpen van de
nulhypothese, gegeven dat deze in de werkelijkheid niet waar is (= de kans op het juist verwerpen van de
nulhypothese) → een groot onderscheidend vermogen is dus wenselijk want dat impliceert een hoge
kans op het terecht verwerpen van de nulhypothese → je wilt de power zo hoog mogelijk hebben
Het is echter ook mogelijk om een onjuiste beslissing te nemen (𝐻0 verwerpen als 𝐻0 waar is, of
𝐻0 aanhouden terwijl 𝐻1 waar is) →
- Type I fout = in je steekproef vind je een significant effect waardoor je de nulhypothese
verwerpt, maar in de populatie is er geen significant effect → onterecht verwerpen van de
nulhypothese
• De kans dat 𝐻0 onterecht verworpen wordt is gelijk aan de gekozen alpha (meestal 0.05)
- Type II fout = in je steekproef vind je geen significant effect, waardoor je de nulhypothese
behoudt, maar in de populatie is er wel een significant effect (𝐻1 is waar) → onterecht
behouden van de nulhypothese
• De kans dat 𝐻0 onterecht behouden wordt, wordt aangeduid met bèta (𝜷)
• De power/onderscheidend vermogen van een toets wordt bepaald door 1 − 𝛽
Statistische test
𝑯𝟎 mag niet verworpen worden Verwerp 𝑯𝟎
Populatie 𝑯𝟎 is waar correcte inferentie → correct Type I fout → fout positieve
negatief
→ Kans = 1 − 𝑎 → Kans = 𝑎
𝑯𝟏 is waar Type II fout → fout negatieve Correcte inferentie → correct positief
→ Kans = 𝛽 → Kans = 1 − 𝛽
Power van een toets bepalen
Stappenplan om de power te bepalen bij een 𝒛- toets:
1. Bepaal de 𝒁𝒄𝒗 onder de 𝐻0 (bij een gegeven 𝑎 en de richting
𝑋̅− 𝜇𝐻0
van de toets) → 𝑧 = 𝜎𝑥 /√𝑁
• Kijk voor de kritieke waarde in Tabel B.2 → kijk in de kolom
van de gegeven 𝑎 en in de laatste rij met ∞
• Als de alternatieve hypothese éénzijdig is, met een < in de hypothese → dan is de 𝑍𝑐𝑣
negatief (dus i.p.v. 2.326 bij een eenzijdige met 𝑎 = 0.01, is de 𝑍𝑐𝑣 -2.326)
• Bij alle 𝑧- waardes hoger dan 𝑍𝑐𝑣 verwerpen we de 𝐻0 (plaatje)
2. Bepaal het steekproefgemiddelde 𝑿 ̅ 𝒄𝒗 dat bij 𝑍𝑐𝑣 hoort onder de 𝐻0 →
𝜎
𝑋̅𝑐𝑣 = 𝜇𝐻0 + 𝑍𝑐𝑣 × 𝜎𝑋̅ , waarbij 𝜎𝑋̅ = 𝑁
√
• Bij alle steekproefgemiddelden hoger dan 𝑋̅𝑐𝑣 verwerpen we de 𝐻0
(plaatje)
3. Reken de kritieke grenswaarde 𝑋̅𝑐𝑣 om naar de 𝒁𝑯𝟏 - waarde onder 𝐻1 →
𝑋̅− 𝜇𝑯𝟏
𝑍𝐻1 = 𝜎𝑋
̅
4. Het onderscheidend vermogen is gelijk aan de kans → 𝑃(𝑍 ≥ 𝑍𝐻1 | 𝐻1 )
9
, • 𝑃(𝑍 ≥ 𝑍𝐻1 | 𝐻1 ) vind je in Tabel B.1 → wanneer de kritieke 𝑋̅𝑐𝑣 -waarde zich bevindt tussen
𝜇0 en 𝜇1 , moet je bij ‘proportion in body’ kijken
• Wanneer de 𝑍𝐻1 -waarde precies tussen twee andere waarden zit, neem je het gemiddelde
van deze twee bijbehorende waarden ((waarde 1 + waarde 2) : 2)
→ Oefenen? → https://r.uvt.nl/power_shiny/dutch/
* Op het tentamen moet je bij één opgave zelf de power berekenen!
Terug naar ons uitgangspunt
We willen de kans op juiste beslissingen zo hoog mogelijk hebben → 𝒂 zo laag mogelijk (kans op Type I
fout kleiner) en de power (𝟏 − 𝜷) zo hoog mogelijk. Hierbij kiezen we 𝑎 zelf, maar er zijn factoren die
de power beïnvloeden:
- 𝑎: kleinere 𝑎 → kleiner verwerpingsgebied (de lijn van de kritieke waarde schuift verder naar de
linker/rechter staart toe, afhankelijk van de hypothese) → minder snel significant effect (door
de lage 𝑎) → lagere power
- 𝑁: grotere steekproefgrootte 𝑁 → grotere 𝑧-waarde → grotere power
𝑋̅− 𝜇𝐻0
• 𝑧= 𝜎𝑥 /√𝑁
→ als N groter wordt, wordt de noemer (onderste deel) kleiner, waardoor de 𝑧-
waarde groter wordt
- 𝜎𝑥 : kleinere standaarddeviatie 𝜎𝑥 → grotere 𝑍-waarde → grotere power
• Dezelfde reden als bij de vorige
- 𝜇𝐻1 (de ‘ware 𝜇’ onder de alternatieve hypothese): hoe hoger 𝜇𝐻1 , hoe groter verschil tussen
𝜇𝐻0 en 𝜇𝐻1 → grotere 𝑍-waarde → grotere power
- Effectgrootte: grotere effectgrootte → grotere kans op het verwerpen van 𝐻0 → grotere power
Effectgrootte
Effectgrootte = hoe groot is het effect wat we vinden in onze steekproef?
Wanneer we op basis van een hypothesetoets 𝐻0 verwerpen, en dus 𝐻1 aannemen, krijgen
wetenschappelijke claims het predictaat ‘significant’. Maar significant betekent niet dat het bewezen is
dat er een systematisch effect is
- Niet alle steekproeven zijn significant. Er zijn altijd steekproeffluctuaties waardoor het ene
steekproefgemiddelde wel significant is en het andere niet. Daarnaast kan je een significant
effect ook ‘toevallig’ vinden
Significant betekent ook niet per se dat het effect praktisch significant is → zelfs hele kleine,
oninteressante verschillen zijn significant wanneer je grote steekproeven gebruikt, maar dat betekent
niet dat je er in de praktijk ook iets aan hebt, want:
- Als 𝑵 laag is → power van de toets laag → statistisch niet significant, ook als het effect groot is
- Als 𝑵 hoog is → power van de toets hoog → statistisch wel significant, ook als het effect laag is
Plaatje = het steekproefgemiddelde (𝑋̅) en
de standaarddeviatie (𝑆) blijft telkens
hetzelfde voor elke 𝑵 → door het laten
toenemen van de steekproefgrootte, daalt
de standaardfout (𝑆𝑋̅ ) en krijg je een lagere
𝑝-waarde, waardoor je dus sneller en
significant effect vindt
→ Statistische significantie is niet hetzelfde
als praktische relevantie!
Het is belangrijk om de effectgrootte in je
onderzoek te rapporteren. Dit kan door een gestandaardiseerde effect size te gebruiken
10
