TOE Alle hoorcolleges experimenteel
Hoorcollege 1 - t-toets, Bayesiaanse statistiek, interne
validiteit
DE CONTEMPORAINE EMPIRISCHE CIRKEL
1. Theorie en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering en Preregistratie
4. Steekproeftrekking, Randomiseren en Causaliteit, Data Verzameling en Data Controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Deze lijst moet je onthouden en gebruiken bij onderzoek.
Voorbeeld
Mixed emotions in the Face of Endings
Op de dag van hun afstuderen lezen studenten aan de Stanford University of ‘een tekst die ze eraan
herinnert dat ze een periode in hun leven gaan afsluiten’ of ‘een tekst die ze er niet aan herinnert dat
ze een periode gaan afsluiten’. Vervolgens wordt de mate waarin ze mixed emotions hebben (zowel
blij als bedroefd) gemeten.
1. De onafhankelijke variabele is de groepsindeling. In de ene groep worden studenten niet
herinnerd aan de afsluiting van de studententijd. In de andere groep worden studenten daar
wel aan herinnerd.
2. De afhankelijke variabele is mixed emotions. Elke student rapporteert:
a. Hapiness op een 7-puntsschaal lopend van 1=not at all tot 7=extremely
b. Sadness ook op een 7-puntsschaal
De mixed-emotion score is de kleinste van beide resulterende getallen
a. Scoor je 1 en 7 dan ben je niet blij en erg bedroefd en scoor je laag (1) op mixed
emotions.
b. Scoor je 7 en 7 dan ben je erg blij en bedroefd en scoor je hoog (7) op mixed
emotions.
Volgende stap is hypothese formuleren.
Waarbij µniet en µwel de gemiddelde scores op mixed emotions in de populaties behorende bij de ‘niet’
en ‘wel’ groep weergeven.
Volgende stap is dataverzameling
Nadat er een steekproef getrokken is en mensen over de controle en experimentele condities
verdeeld zijn, moeten de gegevens verzameld worden. In onderhavige onderzoek is elke student
gevraagd naar de happiness en sadness op een 7-puntsschaal lopend van not-at-all tot extremely.
Daarna hypotheses evalueren
Er zullen 2 manieren om hypotheses te evalueren gepresenteerd worden:
1. Nul Hypothese Significantie Toetsing (NHST) wordt kort herhaald.
2. Bayesiaanse hypothese evaluatie wordt gepresenteerd.
Nu NHST, Bayesiaanse komt later.
1
,TOE Alle hoorcolleges experimenteel
2
,TOE Alle hoorcolleges experimenteel
NHST
M = mixed emotions. Je kan zeggen dat de wel groep meer last heeft van mixed emotions is eye
ball test nooit doen! statistische toets uitvoeren.
P-waarde = de kans op het verschil in gemiddelden zoals gevonden in de steekproef of een groter
verschil, onder de aanname dat H0 : µniet = µwel waar is.
M niet−M wel
Cohen’s d = , ofwel, het aantal standaard deviaties dat de 2 gemiddelden van elkaar
pooled −sd
verschillen.
Noot: Cohen’s d kan worden berekend m.b.v. de gemiddelden voor de wel en niet groepen en de sd
(de wortel uit de mean squared error) zoals deze door zowel SPSS als JASP gegeven worden.
Cohen’s d = (3.75-3)/1.66 = .45
Hoorcollegedocent vindt JASP beter dan SPSS.
Deze t-toets voor onafhankelijke groepen kun je eenvoudig met JASP uitvoeren.
Hoe bepalen we of de p-waarde nu zo klein is dat we de nulhypothese moeten verwerpen, of zo
groot is dat we de nulhypothese niet kunnen verwerpen p-waarde vergelijken met type I fout
(staat standaard op .05).
3
, TOE Alle hoorcolleges experimenteel
α = De kans op een type I fout α staat gebruikelijk op .05, dwz, we accepteren een kans van .05 dat
we H0 ten onrechte verwerpen.
Power = de power (1-kans op een Type II fout) staat gebruikelijk op .80, dwz, we willen een kans
van .80 dat we H0 terecht verwerpen.
Steekproefgroottes per groep voor een power van .80:
1. De effectgroottes die meestal in gedrags en sociaal wetenschappelijk onderzoek worden
gevonden liggen tussen de .20 en de .50. Met α = .05 zijn er dus minstens 64 personen per
groep nodig.
2. In het mixed-emotions onderzoek zijn de steekproefgroottes (59 en 51 studenten per groep)
kleiner. Denk na over wat de gevolgen zijn van een tekort aan power.
Bij een poweronderzoek moet je aangeven wat voor effectgrootte je verwacht. De meesten gaan uit
van een medium effectsize: .50.
Tip: Teamscience, als je je bachelor doet, samen werken (wel een eigen thesis schrijven) maar je data
uitwisselen (dus totale steekproef groter).
Rapportage van je onderzoek
De t-toets (t = -2.36, df = 108) resulteerde in een p-waarde van .02. Aangezien deze kleiner is dan .05
wordt H0 verworpen. Cohen’s d is -.45 dat is ruwweg een medium effect size waarbij de mixed
emotions in de ‘niet’ groep lager liggen dan in de ‘wel’ groep.
Laatste stap is replicatieonderzoek.
REPLICATIECRISIS
Voorbeeld
Het mixed-emotions onderzoek is gerepliceerd door Talhelm, Lee, and Eggleston (2015). Hieronder
staan de resultaten van de originele en replicatiestudie weergegeven.
Dit is een prima gepowerde studie. Maar p-waarde is vele groter dan .05 en effectsize is nagenoeg 0
dus de nulhypothese kan niet verworpen worden.
De replicatiecrisis
3 observaties:
1. De originele studie heeft p<.05, de replicatiestudie heeft p>.05.
2. De originele studie heeft d=.45, de replicatiestudie heeft d-.01.
3. De replicatiestudie heeft met 110 studenten per groep een power groter dan .80 om een
effect size van d=.45 te kunnen ontdekken (zie de power tabel aan het einde van het vorige
college). Het resultaat van de replicatiestudie is dan ook geen Type II fout.
4
Hoorcollege 1 - t-toets, Bayesiaanse statistiek, interne
validiteit
DE CONTEMPORAINE EMPIRISCHE CIRKEL
1. Theorie en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering en Preregistratie
4. Steekproeftrekking, Randomiseren en Causaliteit, Data Verzameling en Data Controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Deze lijst moet je onthouden en gebruiken bij onderzoek.
Voorbeeld
Mixed emotions in the Face of Endings
Op de dag van hun afstuderen lezen studenten aan de Stanford University of ‘een tekst die ze eraan
herinnert dat ze een periode in hun leven gaan afsluiten’ of ‘een tekst die ze er niet aan herinnert dat
ze een periode gaan afsluiten’. Vervolgens wordt de mate waarin ze mixed emotions hebben (zowel
blij als bedroefd) gemeten.
1. De onafhankelijke variabele is de groepsindeling. In de ene groep worden studenten niet
herinnerd aan de afsluiting van de studententijd. In de andere groep worden studenten daar
wel aan herinnerd.
2. De afhankelijke variabele is mixed emotions. Elke student rapporteert:
a. Hapiness op een 7-puntsschaal lopend van 1=not at all tot 7=extremely
b. Sadness ook op een 7-puntsschaal
De mixed-emotion score is de kleinste van beide resulterende getallen
a. Scoor je 1 en 7 dan ben je niet blij en erg bedroefd en scoor je laag (1) op mixed
emotions.
b. Scoor je 7 en 7 dan ben je erg blij en bedroefd en scoor je hoog (7) op mixed
emotions.
Volgende stap is hypothese formuleren.
Waarbij µniet en µwel de gemiddelde scores op mixed emotions in de populaties behorende bij de ‘niet’
en ‘wel’ groep weergeven.
Volgende stap is dataverzameling
Nadat er een steekproef getrokken is en mensen over de controle en experimentele condities
verdeeld zijn, moeten de gegevens verzameld worden. In onderhavige onderzoek is elke student
gevraagd naar de happiness en sadness op een 7-puntsschaal lopend van not-at-all tot extremely.
Daarna hypotheses evalueren
Er zullen 2 manieren om hypotheses te evalueren gepresenteerd worden:
1. Nul Hypothese Significantie Toetsing (NHST) wordt kort herhaald.
2. Bayesiaanse hypothese evaluatie wordt gepresenteerd.
Nu NHST, Bayesiaanse komt later.
1
,TOE Alle hoorcolleges experimenteel
2
,TOE Alle hoorcolleges experimenteel
NHST
M = mixed emotions. Je kan zeggen dat de wel groep meer last heeft van mixed emotions is eye
ball test nooit doen! statistische toets uitvoeren.
P-waarde = de kans op het verschil in gemiddelden zoals gevonden in de steekproef of een groter
verschil, onder de aanname dat H0 : µniet = µwel waar is.
M niet−M wel
Cohen’s d = , ofwel, het aantal standaard deviaties dat de 2 gemiddelden van elkaar
pooled −sd
verschillen.
Noot: Cohen’s d kan worden berekend m.b.v. de gemiddelden voor de wel en niet groepen en de sd
(de wortel uit de mean squared error) zoals deze door zowel SPSS als JASP gegeven worden.
Cohen’s d = (3.75-3)/1.66 = .45
Hoorcollegedocent vindt JASP beter dan SPSS.
Deze t-toets voor onafhankelijke groepen kun je eenvoudig met JASP uitvoeren.
Hoe bepalen we of de p-waarde nu zo klein is dat we de nulhypothese moeten verwerpen, of zo
groot is dat we de nulhypothese niet kunnen verwerpen p-waarde vergelijken met type I fout
(staat standaard op .05).
3
, TOE Alle hoorcolleges experimenteel
α = De kans op een type I fout α staat gebruikelijk op .05, dwz, we accepteren een kans van .05 dat
we H0 ten onrechte verwerpen.
Power = de power (1-kans op een Type II fout) staat gebruikelijk op .80, dwz, we willen een kans
van .80 dat we H0 terecht verwerpen.
Steekproefgroottes per groep voor een power van .80:
1. De effectgroottes die meestal in gedrags en sociaal wetenschappelijk onderzoek worden
gevonden liggen tussen de .20 en de .50. Met α = .05 zijn er dus minstens 64 personen per
groep nodig.
2. In het mixed-emotions onderzoek zijn de steekproefgroottes (59 en 51 studenten per groep)
kleiner. Denk na over wat de gevolgen zijn van een tekort aan power.
Bij een poweronderzoek moet je aangeven wat voor effectgrootte je verwacht. De meesten gaan uit
van een medium effectsize: .50.
Tip: Teamscience, als je je bachelor doet, samen werken (wel een eigen thesis schrijven) maar je data
uitwisselen (dus totale steekproef groter).
Rapportage van je onderzoek
De t-toets (t = -2.36, df = 108) resulteerde in een p-waarde van .02. Aangezien deze kleiner is dan .05
wordt H0 verworpen. Cohen’s d is -.45 dat is ruwweg een medium effect size waarbij de mixed
emotions in de ‘niet’ groep lager liggen dan in de ‘wel’ groep.
Laatste stap is replicatieonderzoek.
REPLICATIECRISIS
Voorbeeld
Het mixed-emotions onderzoek is gerepliceerd door Talhelm, Lee, and Eggleston (2015). Hieronder
staan de resultaten van de originele en replicatiestudie weergegeven.
Dit is een prima gepowerde studie. Maar p-waarde is vele groter dan .05 en effectsize is nagenoeg 0
dus de nulhypothese kan niet verworpen worden.
De replicatiecrisis
3 observaties:
1. De originele studie heeft p<.05, de replicatiestudie heeft p>.05.
2. De originele studie heeft d=.45, de replicatiestudie heeft d-.01.
3. De replicatiestudie heeft met 110 studenten per groep een power groter dan .80 om een
effect size van d=.45 te kunnen ontdekken (zie de power tabel aan het einde van het vorige
college). Het resultaat van de replicatiestudie is dan ook geen Type II fout.
4
