TOE HC 1 Experimenteel
16 maart 2020
De empirische cirkel:
1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese formulering en preregistratie
4. Steekproeftrekking, randomizeren en causaliteit, dataverzameling en datacontrole
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek (opnieuw doen)
Uitspraken doen over de populatie bij de t-toets.
p-waarde de kans op het verschil in gemiddelden zoals gevonden in de steekproef of een groter
verschil, onder de aanname dat H0 waar is.
Cohen’s d het aantal standaarddeviaties dat de twee gemiddelden van elkaar verschillen.
Effectgrootte bij een steekproef met twee groepen.
Replicatie crisis wordt veroorzaakt door sloppy scienceonderzoeker wil een significant verschil
aantonen en vervalst de resultaten en publicatie bias artikelen willen significante verschillen
aantonen en publiceren dan ook enkel die verschillen met p- waarden lager dan 0,05. Het publiceren
van onderzoek gebaseerd op type 1 fouten. Deze fouten kunnen zowel het gevolg zijn van toeval als
van sloppy science.
Bayes factor (alternatief voor P-waarde) geeft de relatieve steun in de data voor H0 versus HA. Als
de BF0a = 5, dan betekent dat dat de steun in de data 5x groter is voor H0 dan voor HA. Als de BF0a=
0,64, betekent dat 0,64 keer meer steun voor H0 dan voor HA. Dit is ook om te draaien: BFa0= 1/0,64
= 1,50, dan betekent dat dat de steun in de data 1,50 keer groter is voor HA dan voor H0.
De Bayes factor hangt af van de fit en de complexiteit. De fit is hoog op het moment dat de
gemiddelden in de steekproef dicht bij elkaar liggen. Hoe meer de gemiddeldes uit elkaar liggen, hoe
kleiner de fit.
Een goede hypothese is daarnaast ook specifiek, want hoe preciezer de hypothese, hoe duidelijker/
beter de voorspelling die een hypothese doet. Complexiteit Hoe specifiek is de hypothese? Een
specifieke hypothese is niet complex en een niet-specifieke hypothese is complex.
, H0 die aantoont dat de gemiddelden gelijk aan elkaar zijn, is zeer specifiek: ‘de twee gemiddelden
zijn in de populatie exact gelijk aan elkaar’. De hypothese H0 met twee gemiddelden die groter of
kleiner dan elkaar zijn, is minder specifiek. Deze zegt dat in de populatie het gemiddelde in de wel
groep groter is dan in de niet groep, of andersom. HA is in het geheel niet specifiek. Deze hypothese
zegt dat alles mogelijk is, behalve dat in de populatie de twee gemiddelden exact gelijk aan elkaar
zijn.
De Bayes factor wordt niet vergeleken met een grenswaarde zoals 0,05 voor de p-waarde om tot een
beslissing te komen. Dit is een remedie tegen:
- Questionable research practices: omdat nu de incentive om de analyses zo te manipuleren
dat er een Bayes factor groter dan een bepaalde grenswaarde uitkomt, weg wordt genomen.
- Publication bias: omdat tijdschriften niet langer een grenswaarde tot hun beschikking
hebben die ze kunnen gebruiken om artikelen mee te beoordelen.
Op de vraag ‘wanneer is de Bayes factor groot genoeg om voor H0 of HA te kiezen’, is dan ook geen
eenduidig antwoord. De Bayes factor kan geïnterpreteerd worden zonder gebruik te maken van een
grenswaarde.
Type 1 fout de nulhypothese ten onrechte verwerpen
Type 2 fout de alternatieve hypothese ten onrechte verwerpen OF de nulhypothese ten onrechte
aannemen.
Alpha de kans op een type 1 fout (dat je de nulhypothese onterecht verwerpt). Staat gebruikelijk
op 0,05. Je accepteert een kans van 0,05 dat H0 ten onrechte wordt verworpen.
Power de nulhypothese terecht verwerpen. De power (1- kans op type 2 fout) staat gebruikelijk op
0,80. Je wil een kans van 0,80 dat je H0 terecht verwerpt.
Bayesiaanse hypothese evaluatie:
Posterior model kansende kans dat de bijbehorende hypothese de beste is gegeven de informatie
in de data. Gebruik je als je twee of meer van H0, Hi en Ha (dus niet Hc) met elkaar wil vergelijken
PMK0 de kans dat H0 waar is.
PMKA de kans dat HA waar is.
PMH kansen zijn getallen tussen de 0 en de 1. Ze tellen ook altijd op tot 1. PMK0 + PMKA = 1.
Stel je kiest voor PMK0 omdat 0,75 tegenover PMKA 0,25. Dan betekent dat dat er nog steeds een
kans van 25% dat je de foute beslissing neemt.
Bij Bayesiaans Hypothese Evaluatie worden de Type 1 en Type 2 fouten vervangen door zogenaamde
Conditionele Type 1 en Type 2 fouten.
16 maart 2020
De empirische cirkel:
1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese formulering en preregistratie
4. Steekproeftrekking, randomizeren en causaliteit, dataverzameling en datacontrole
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek (opnieuw doen)
Uitspraken doen over de populatie bij de t-toets.
p-waarde de kans op het verschil in gemiddelden zoals gevonden in de steekproef of een groter
verschil, onder de aanname dat H0 waar is.
Cohen’s d het aantal standaarddeviaties dat de twee gemiddelden van elkaar verschillen.
Effectgrootte bij een steekproef met twee groepen.
Replicatie crisis wordt veroorzaakt door sloppy scienceonderzoeker wil een significant verschil
aantonen en vervalst de resultaten en publicatie bias artikelen willen significante verschillen
aantonen en publiceren dan ook enkel die verschillen met p- waarden lager dan 0,05. Het publiceren
van onderzoek gebaseerd op type 1 fouten. Deze fouten kunnen zowel het gevolg zijn van toeval als
van sloppy science.
Bayes factor (alternatief voor P-waarde) geeft de relatieve steun in de data voor H0 versus HA. Als
de BF0a = 5, dan betekent dat dat de steun in de data 5x groter is voor H0 dan voor HA. Als de BF0a=
0,64, betekent dat 0,64 keer meer steun voor H0 dan voor HA. Dit is ook om te draaien: BFa0= 1/0,64
= 1,50, dan betekent dat dat de steun in de data 1,50 keer groter is voor HA dan voor H0.
De Bayes factor hangt af van de fit en de complexiteit. De fit is hoog op het moment dat de
gemiddelden in de steekproef dicht bij elkaar liggen. Hoe meer de gemiddeldes uit elkaar liggen, hoe
kleiner de fit.
Een goede hypothese is daarnaast ook specifiek, want hoe preciezer de hypothese, hoe duidelijker/
beter de voorspelling die een hypothese doet. Complexiteit Hoe specifiek is de hypothese? Een
specifieke hypothese is niet complex en een niet-specifieke hypothese is complex.
, H0 die aantoont dat de gemiddelden gelijk aan elkaar zijn, is zeer specifiek: ‘de twee gemiddelden
zijn in de populatie exact gelijk aan elkaar’. De hypothese H0 met twee gemiddelden die groter of
kleiner dan elkaar zijn, is minder specifiek. Deze zegt dat in de populatie het gemiddelde in de wel
groep groter is dan in de niet groep, of andersom. HA is in het geheel niet specifiek. Deze hypothese
zegt dat alles mogelijk is, behalve dat in de populatie de twee gemiddelden exact gelijk aan elkaar
zijn.
De Bayes factor wordt niet vergeleken met een grenswaarde zoals 0,05 voor de p-waarde om tot een
beslissing te komen. Dit is een remedie tegen:
- Questionable research practices: omdat nu de incentive om de analyses zo te manipuleren
dat er een Bayes factor groter dan een bepaalde grenswaarde uitkomt, weg wordt genomen.
- Publication bias: omdat tijdschriften niet langer een grenswaarde tot hun beschikking
hebben die ze kunnen gebruiken om artikelen mee te beoordelen.
Op de vraag ‘wanneer is de Bayes factor groot genoeg om voor H0 of HA te kiezen’, is dan ook geen
eenduidig antwoord. De Bayes factor kan geïnterpreteerd worden zonder gebruik te maken van een
grenswaarde.
Type 1 fout de nulhypothese ten onrechte verwerpen
Type 2 fout de alternatieve hypothese ten onrechte verwerpen OF de nulhypothese ten onrechte
aannemen.
Alpha de kans op een type 1 fout (dat je de nulhypothese onterecht verwerpt). Staat gebruikelijk
op 0,05. Je accepteert een kans van 0,05 dat H0 ten onrechte wordt verworpen.
Power de nulhypothese terecht verwerpen. De power (1- kans op type 2 fout) staat gebruikelijk op
0,80. Je wil een kans van 0,80 dat je H0 terecht verwerpt.
Bayesiaanse hypothese evaluatie:
Posterior model kansende kans dat de bijbehorende hypothese de beste is gegeven de informatie
in de data. Gebruik je als je twee of meer van H0, Hi en Ha (dus niet Hc) met elkaar wil vergelijken
PMK0 de kans dat H0 waar is.
PMKA de kans dat HA waar is.
PMH kansen zijn getallen tussen de 0 en de 1. Ze tellen ook altijd op tot 1. PMK0 + PMKA = 1.
Stel je kiest voor PMK0 omdat 0,75 tegenover PMKA 0,25. Dan betekent dat dat er nog steeds een
kans van 25% dat je de foute beslissing neemt.
Bij Bayesiaans Hypothese Evaluatie worden de Type 1 en Type 2 fouten vervangen door zogenaamde
Conditionele Type 1 en Type 2 fouten.
