SAMENVATTING TOE Experimenteel – Hoorcolleges en literatuur
Dit document bevat de uitwerkingen van de hoorcolleges van TOE Experimenteel en
aanvullend de literatuur uit het boek van Morling & Carr (Research Methods) en de Tutorial
over de Bayes Factor. De hoorcolleges uit TOE Experimenteel zijn leidend, de literatuur is
ondersteunend.
Inhoud
HOORCOLLEGE 1 Bayesiaanse statistiek en Design overwegingen.........................................................1
HOORCOLLEGE 2 Eenweg ANOVA en Design overwegingen..................................................................5
HOORCOLLEGE 3 Tweeweg ANOVA........................................................................................................8
HOORCOLLEGE 4 Modelaannames van de ANOVA’s............................................................................12
BFtutorial (blz. 10-12, 16-28, 31-37).....................................................................................................14
MORLING & CARR.................................................................................................................................16
Hoofdstuk 10 (blz. 273-277 & 287-289)............................................................................................16
Hoofdstuk 11....................................................................................................................................16
Hoofdstuk 12 (blz. 351-371).............................................................................................................18
Hoofdstuk 13 (blz. 389-392 & 396-398)............................................................................................18
STATISTICS REVIEW (blz. 479-499)....................................................................................................19
HOORCOLLEGE 1 Bayesiaanse statistiek en Design overwegingen
De contemporaine (moderne/verbeterde) empirische cirkel:
1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypotheseformulering en preregistratie
4. Steekproeftrekking, randomiseren en causaliteit, dataverzameling en datacontrole
5. Nulhypothese Significantie Toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatieonderzoek
Dit is de verbeterde empirische cirkel omdat preregistratie en replicatieonderzoek er in zijn
opgenomen. Dit is goed voor de betrouwbaarheid van wetenschappelijk onderzoek.
- Onafhankelijke variabele = de gemanipuleerde variabele. Bijv. de verschillende groepen
waarin participanten zijn ingedeeld.
- Afhankelijke variabele = de variabele die afhankelijk is van de andere variabele. Deze
wordt onderzocht.
NHST (nulhypothese significantie toetsing)
Met deze toets bepalen we of de nulhypothese verworpen moet worden of niet. De
nulhypothese stelt dat er geen verschil is tussen de groepen, de alternatieve hypothese zegt
dat er wel een verschil is tussen de groepen.
We bepalen of we de nulhypothese verwerpen of niet aan de hand van de p-waarde = de
kans op het verschil in gemiddelden zoals gevonden in de steekproef, of een groter verschil,
onder de aanname dat de nulhypothese waar is. Als de p-waarde kleiner is dan α = .05
,verwerpen we de nulhypothese. Aan de hand van Cohen’s d kijken we hoe groot het verschil
is tussen de groepen. Cohen’s d is het aantal standaarddeviaties dat de twee gemiddelden
van elkaar verschillen (groot effect = .80, medium effect = .50, klein effect = .20).
Replicatiecrisis
Doordat er bij NHST wordt gewerkt met de grenswaarde van α = .05, krijgen we te maken
met questionable research practices. Hiervan zijn er 2 te onderscheiden:
- Sloppy science = statistische analyses aanpassen om resultaten mooier te maken.
Onderzoekers doen dit om een p-waarde te krijgen die lager is dan .05.
- Publicatie bias = het publiceren van onderzoek gebaseerd op Type I fouten. Journals
publiceren tijdschriften vaak alleen als er een p-waarde is gevonden die lager is dan .05.
De onderzoeken die uit deze questionable research practices komen, kunnen echter niet
gerepliceerd worden; dan krijg je een ander resultaat. Er is dus sprake van een
replicatiecrisis. Want wat is onderzoeksresultaat waard als het niet herhaald kan worden?
De replicatiecrisis werd nadrukkelijke geïllustreerd door de Open Science Collabroation. Zij
hebben 100 psychologische studies gerepliceerd, waarbij slecht 30% dezelfde resultaten
opleverden als de originele studies waar ze op gebaseerd waren. Gedurende de replicatie
crisis ontstond er in toenemende mate aandacht voor de Bayes factor als alternatief voor
NHST. Niet dat daarmee alle problemen worden vermeden, maar de Bayes factor komt voort
uit een ander perspectief op statistiek en het is goed ook dat perspectief te kennen.
Bayes factor
De Bayes factor BF0a geeft de relatieve steun in de data voor de nulhypothese versus de
alternatieve hypothese. Als BF0a = 5 dan betekend dat dat de steun in de data 5x groter is
voor de nulhypothese dan voor de alternatieve hypothese.
Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot.
Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha.
Als BF0a kleiner is dan 1, dan is de steun in de data voor H0 kleiner dan voor Ha.
De Bayes factor wordt berekend met behulp van de fit (f 0) en de
specificiteit (c0) van de nulhypothese:
- De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de
gemiddelden groter wordt.
- Een goede hypothese is ook specifiek, want hoe preciezer de hypothese, hoe duidelijker
de voorspelling die een hypothese doet.
o H0 : µwel = µniet is zeer specifiek: "de twee gemiddelden zijn in de populatie exact gelijk
aan elkaar".
o De hypothese H0 : µwel > µniet is minder specifiek, deze zegt "slechts" dat in de
populatie het gemiddelde in de wel groep groter is dan in de niet groep.
o Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is behalve
dat in de populatie de twee gemiddelden exact gelijk aan elkaar zijn.
De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 voor de p-waarde)
om tot een beslissing te komen die H0 of Ha de voorkeur geeft. Dit is een remedie tegen:
- Questionable Research Practices - omdat nu de prikkel om de analyses zo te
manipuleren dat er Bayes factor groter dan een bepaalde grenswaarde uitkomt weg
wordt genomen.
, - Publication Bias - omdat tijdschriften niet langer een grenswaarde tot hun beschikking
hebben die ze kunnen gebruiken om artikelen mee te beoordelen.
Op de vraag "wanneer is de Bayes factor groot genoeg om voor H0 of Ha te kiezen is dan ook
geen eenduidig antwoord.
- Als BF0a = 100, dan is er weinig twijfel dat H0 meer gesteund wordt dan Ha
- Als BF0a = 25, dan is er nog steeds substantieel meer steun voor H0 dan voor Ha
- Als BF0a = 5, dan is er meer steun voor H0, maar niet zoveel meer dat Ha kan worden
gediskwalificeerd.
- Als BF0a = 1.5 dan is er eigenlijk niet echt een voorkeur voor H0 of Ha
Het is dan ook een goed idee om bij elke gevonden waarde van de Bayes factor een
interpretatie te geven zonder daarbij naar vastgestelde grenswaarden (zoals de .05 bij
NHST) te verwijzen. Dan krijg je dezelfde problemen als bij NHST.
Type I en Type II fouten (NHST)
- α is de kans op een Type I fout (nulhypothese ten onrechte verwerpen). α staat
gebruikelijk op .05, dat wil zeggen, we accepteren een kans van .05 dat we H 0 ten
onrechte verwerpen.
- Power is de 1 – kans op een Type II fout (nulhypothese ten onrechte behouden). Power
(nulhypothese terecht verwerpen) staat gebruikelijk op .80, dat wil zeggen, we willen een
kans van .80 dat we H0 terecht verwerpen.
Conditionele Type I en Type II fouten
Bij Bayesiaanse hypothese evaluatie worden de Type I en Type II
fouten vervangen door zogenaamde Conditionele Type I en Type II
fouten. Deze worden Posterior Model Kansen (PMK’s) genoemd.
1. De kans dat H0 waar is gegeven de informatie in de data,
noemen we PMK0.
2. De kans dat Ha waar is gegeven de informatie in de data,
noemen we PMKa.
3. Beide kansen tellen op tot 1.0.
- PMKo = .8 is de conditionele Type I fout, want als we voor H a kiezen, is de kans dat we
dat ten onrechte doen gelijk aan .8.
- PMKa = .2 is de conditionele Type II fout, want als we voor H 0 kiezen, is de kans dat we
dat ten onrechte doen gelijk aan .2.
Fouten spelen een grote rol bij het bepalen van de steekproefgrootte die nodig is. Bij NHST
wordt dat gedaan door middel van een poweranalyse. Bij Bayesiaanse hypothese evaluatie
door middel van Bayesian updating.
Poweranalyse (NHST)
Met de poweranalyse bepalen we de
steekproefgroottes per groep voor een power
van .80. De effectgroottes die meestal in de
gedrags- en sociale wetenschappen gevonden
worden liggen tussen de .20 en .50. Met een α = .05 zijn er dus minstens 64 participanten
nodig per groep.
Bayesian updating
