TOE experimenteel– hoorcollege 1: Bayesiaanse Statistiek en Design
Overwegingen
Empirische cirkel
Onafhankelijke variabele: wordt gemanipuleerd. Tweede groep heeft iets anders dan eerste.
Afhankelijke variabele: wat er wordt gemeten.
Twee manieren om hypotheses te evalueren:
1. Nul Hypothese Significantie Toetsing (NHST)
2. Bayesiaanse hypothese evaluatie
1) Nul Hypothese Significantie Toetsing
★ Nulhypothese: geen verschil
★ Hypothese altijd over populatie → dus Griekse letters
★ P-waarde is de kans op het verschil in gemiddelden zoals gevonden in de steekproef of een
groter verschil (extremer), onder de aanname dat H 0: μ niet=μwel waar is.
★ Cohen’s d: aantal standaarddeviaties dat de twee gemiddelden van elkaar verschillen.
M niet −M wel
★ Cohen’s d in formule:
pooled −sd
Pagina 1 van 15
, Power = de kans dat je terecht de nulhypothese verwerpt. Hoe hoger hoe beter, kans op Type 2 fout zo
klein mogelijk houden.
Replicatie Crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk
onderzoek vaak niet repliceerbaar blijken. Twee mogelijke oorzaken:
1. Sloppy science, dus slordig onderzoek
a. Onderzoeksdata verzinnen of falsificeren, fraude plegen.
b. Questionable research practises, alles wat wordt gedaan om de resultaten er ‘goed’ of
‘mooi’ uit te laten komen. Resultaten aanpassen om de uitkomst te verbeteren.
2. Publication bias
a. Het publiceren van onderzoek gebaseerd op Type 1 fouten. Deze fouten kunnen
zowel het gevolg zijn van toeval als van sloppy science.
2) Bayesiaanse Hypothese Evaluatie
Gedurende de replicatie crisis ontstond er in toenemende mate aandacht voor de Bayes factor als
alternatief voor NHST. Niet dat daarmee alle problemen werden vermeden, maar de Bayes factor
komt voort uit een ander perspectief op statistiek en het is goed ook dat perspectief te kennen.
Bayes Factor
★ Bayes factor BF0a geeft de relatieve steun in de data voor H0: μ niet=μwel
versus Ha: μ niet ≠ μwel
★ Als BF0a = 5, dan betekent het dat de steun in de data 5x groter is voor H0 dan Ha.
★ Oftewel, de BF0a = 0.64 van het voorbeeld betekent .64x meer steun voor H0 dan Ha.
★ De hypotheses kun je ook omdraaien: BF0a = 1 / .64 = 1.50 oftewel, 1.50x meer steun voor
Ha dan H0.
★ De Bayes factor wordt berekend met behulp van de fit (f0) en de specificiteit (c0) van de
nulhypothese:
★ Fit geeft aan hoe goed de hypothese bij de data past. De fit wordt letterlijk en figuurlijk
kleiner als de afstand tussen de gemiddelden toeneemt.
★ Een goede hypothese is ook specifiek (dat heb je het liefst), want hoe preciezer de hypothese,
hoe duidelijker de voorspelling die een hypothese doet.
★ H0: μ niet=μwel is zeer specifiek: “de twee gemiddelden zijn in de populatie exact gelijk
aan elkaar.
★ H0: μ niet > μwelis minder specifiek, deze zegt “slechts” dat in de populatie het gemiddelde
in de wel groep groter is dan in de niet groep.
★ Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is, behalve dat in de
populatie de twee gemiddelden exact gelijk zijn aan elkaar.
NHST versus de Bayes Factor
★ De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 voor de p-waarde) om
tot een beslissing met betrekking tot H0 of Ha te komen. Dit is een remedie tegen:
○ Questionable Research Practices - geen incentive om de analyses zo te manipuleren
dat er een Bayes factor groter dan een bepaalde grenswaarde uitkomt.
○ Publication bias - omdat tijdschriften niet langer een grenswaarde tot hun beschikking
hebben die ze kunnen gebruiken om artikelen mee te beoordelen.
Pagina 2 van 15
Overwegingen
Empirische cirkel
Onafhankelijke variabele: wordt gemanipuleerd. Tweede groep heeft iets anders dan eerste.
Afhankelijke variabele: wat er wordt gemeten.
Twee manieren om hypotheses te evalueren:
1. Nul Hypothese Significantie Toetsing (NHST)
2. Bayesiaanse hypothese evaluatie
1) Nul Hypothese Significantie Toetsing
★ Nulhypothese: geen verschil
★ Hypothese altijd over populatie → dus Griekse letters
★ P-waarde is de kans op het verschil in gemiddelden zoals gevonden in de steekproef of een
groter verschil (extremer), onder de aanname dat H 0: μ niet=μwel waar is.
★ Cohen’s d: aantal standaarddeviaties dat de twee gemiddelden van elkaar verschillen.
M niet −M wel
★ Cohen’s d in formule:
pooled −sd
Pagina 1 van 15
, Power = de kans dat je terecht de nulhypothese verwerpt. Hoe hoger hoe beter, kans op Type 2 fout zo
klein mogelijk houden.
Replicatie Crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk
onderzoek vaak niet repliceerbaar blijken. Twee mogelijke oorzaken:
1. Sloppy science, dus slordig onderzoek
a. Onderzoeksdata verzinnen of falsificeren, fraude plegen.
b. Questionable research practises, alles wat wordt gedaan om de resultaten er ‘goed’ of
‘mooi’ uit te laten komen. Resultaten aanpassen om de uitkomst te verbeteren.
2. Publication bias
a. Het publiceren van onderzoek gebaseerd op Type 1 fouten. Deze fouten kunnen
zowel het gevolg zijn van toeval als van sloppy science.
2) Bayesiaanse Hypothese Evaluatie
Gedurende de replicatie crisis ontstond er in toenemende mate aandacht voor de Bayes factor als
alternatief voor NHST. Niet dat daarmee alle problemen werden vermeden, maar de Bayes factor
komt voort uit een ander perspectief op statistiek en het is goed ook dat perspectief te kennen.
Bayes Factor
★ Bayes factor BF0a geeft de relatieve steun in de data voor H0: μ niet=μwel
versus Ha: μ niet ≠ μwel
★ Als BF0a = 5, dan betekent het dat de steun in de data 5x groter is voor H0 dan Ha.
★ Oftewel, de BF0a = 0.64 van het voorbeeld betekent .64x meer steun voor H0 dan Ha.
★ De hypotheses kun je ook omdraaien: BF0a = 1 / .64 = 1.50 oftewel, 1.50x meer steun voor
Ha dan H0.
★ De Bayes factor wordt berekend met behulp van de fit (f0) en de specificiteit (c0) van de
nulhypothese:
★ Fit geeft aan hoe goed de hypothese bij de data past. De fit wordt letterlijk en figuurlijk
kleiner als de afstand tussen de gemiddelden toeneemt.
★ Een goede hypothese is ook specifiek (dat heb je het liefst), want hoe preciezer de hypothese,
hoe duidelijker de voorspelling die een hypothese doet.
★ H0: μ niet=μwel is zeer specifiek: “de twee gemiddelden zijn in de populatie exact gelijk
aan elkaar.
★ H0: μ niet > μwelis minder specifiek, deze zegt “slechts” dat in de populatie het gemiddelde
in de wel groep groter is dan in de niet groep.
★ Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is, behalve dat in de
populatie de twee gemiddelden exact gelijk zijn aan elkaar.
NHST versus de Bayes Factor
★ De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 voor de p-waarde) om
tot een beslissing met betrekking tot H0 of Ha te komen. Dit is een remedie tegen:
○ Questionable Research Practices - geen incentive om de analyses zo te manipuleren
dat er een Bayes factor groter dan een bepaalde grenswaarde uitkomt.
○ Publication bias - omdat tijdschriften niet langer een grenswaarde tot hun beschikking
hebben die ze kunnen gebruiken om artikelen mee te beoordelen.
Pagina 2 van 15
