Samenvatting Statistiek
Field
Inhoudsopgave
Artikel Simon, Nelson en Simonsohn (2011) – False-Positive psychology ......................................................... 3
Chapter 2: The SPINE of statistics ..................................................................................................................... 5
APA-notaties .................................................................................................................................................... 12
Overzicht hoofdstuk 2 ...................................................................................................................................... 13
Chapter 3: The Phoenix of statistics ............................................................................................................... 14
APA notaties .................................................................................................................................................... 19
Overzicht hoofdstuk 3 ...................................................................................................................................... 19
Chapter 6: The beast of bias ........................................................................................................................... 20
SPSS .................................................................................................................................................................. 22
Overzicht hoofdstuk 6 ...................................................................................................................................... 26
Chapter 8: Correlation .................................................................................................................................... 27
SPSS .................................................................................................................................................................. 30
APA-notaties .................................................................................................................................................... 31
Overzicht hoofdstuk 8 ...................................................................................................................................... 32
Chapter 9: The Linear Model (Regression) ...................................................................................................... 33
SPSS .................................................................................................................................................................. 41
APA-notaties .................................................................................................................................................... 46
Overzicht hoofdstuk 9 ...................................................................................................................................... 47
Chapter 11: Moderation, mediation and multicategory predictors ................................................................ 48
SPSS .................................................................................................................................................................. 53
Overzicht hoofdstuk 11 .................................................................................................................................... 56
Chapter 12: GLM 1: Comparing several independent means .......................................................................... 57
SPSS .................................................................................................................................................................. 62
Overzicht hoofdstuk 12 .................................................................................................................................... 64
Chapter 13: GLM 2: Comparing means adjusted for other predictors (analysis of covariance – ANCOVA) ...... 65
SPSS .................................................................................................................................................................. 67
Overzicht hoofdstuk 13 .................................................................................................................................... 69
Chapter 14: GLM 3: Factorial designs ............................................................................................................. 70
SPSS .................................................................................................................................................................. 73
Overzicht hoofdstuk 14 .................................................................................................................................... 74
,Chapter 15: GLM 4: Repeated-measures designs ............................................................................................ 75
SPSS .................................................................................................................................................................. 79
Overzicht hoofdstuk 15 .................................................................................................................................... 80
Chapter 16: GLM 5: Mixed designs ................................................................................................................. 81
SPSS .................................................................................................................................................................. 81
Overzicht hoofdstuk 16 .................................................................................................................................... 82
,Artikel Simon, Nelson en Simonsohn (2011) – False-Positive
psychology
Ondanks nominale goedkeuring voor een laag percentage fout-positieve bevindingen (false-
positives, < .05), verhogen flexibiliteit in dataverzameling, analyse en rapportage de
werkelijke fout-positieve percentages dramatisch. In veel gevallen is de kans groter dat een
onderzoeker ten onrechte bewijs vindt dat een effect bestaat, dan dat hij correct bewijs
vindt dat het niet bestaat. De reden hiervoor is de zogenaamde researcher degrees of
freedom. Tijdens het proces van onderzoek moeten veel beslissingen genomen worden. Het
is zeldzaam en soms onpraktisch voor onderzoekers om al deze beslissingen vooraf te
nemen. Het is eerder gebruikelijk voor onderzoekers om verschillende analytische
alternatieven te onderzoeken, te zoeken naar een combinatie die ‘statistische significantie’
oplevert en dat alleen rapporteren wat ‘werkte’. Dit is een resultaat van 2 factoren:
• Onduidelijkheid in hoe beslissingen het best genomen kunnen worden
• Verlangen van de onderzoeker om een statistisch significant resultaat te vinden.
Vals positieven worden gezien als dure errors. Als ze eenmaal in de literatuur verschijnen,
blijven de effecten hardnekkig staan. Ten tweede verspillen vals positieven middelen. Ze
inspireren investeringen in nutteloze onderzoeksprogramma’s en kunnen leiden tot
ondoeltreffende beleidsveranderingen. Ten slotte is een gebied dat bekend staat om
publiceren van vals positieven riskant omdat het geloofwaardigheid verliest.
Er zijn vier onderzoekers vrijheidsgraden onderzocht die het effect op vals-positieve
beïnvloeden, flexibiliteit in:
• Het kiezen van afhankelijke variabelen
• Kiezen van een steekproefgrootte
• Gebruik van covariaten
• Rapporteren van subsets van experimentele omstandigheden
Simon e.a. stellen simpele oplossingen voor om het probleem voor vals-positieve tegen te
gaan. Voor onderzoekers is dit:
1. Stel de regel voor het beëindigen van gegevensverzameling vast, voordat
gegevensverzameling begint en vermeld deze regel in het artikel.
2. Verzamel ten minste 20 observaties per cel of zorg voor een rechtvaardiging als dit
niet lukt
3. Maak een lijst van alle variabelen die in een studie worden verzameld.
4. Rapporteer alle experimentele condities, inclusief mislukte manipulaties
5. Indien waarnemingen worden geëlimineerd, moeten auteurs ook vermelden wat de
statistische resultaten zijn als die waarnemingen worden meegerekend.
6. Indien een analyse een covariaat omvat, moeten auteurs de statistische resultaten
van de analyse zonder de covariaat ook rapporteren.
Richtlijnen voor beoordelaars:
1. Zorg dat de auteur zich aan de eisen houdt
2. Tolerant zijn tegenover onvolkomenheden in de resultaten.
3. Beoordelaars moeten van de auteurs eisen dat zij aantonen dat hun resultaten niet
berusten op willekeurige analytische beslissingen.
, 4. Als rechtvaardiging van gegevensverzameling of analyse niet overtuigend is, moeten
beoordelaars eisen dat de auteurs een exacte replicatie uitvoeren.
Field
Inhoudsopgave
Artikel Simon, Nelson en Simonsohn (2011) – False-Positive psychology ......................................................... 3
Chapter 2: The SPINE of statistics ..................................................................................................................... 5
APA-notaties .................................................................................................................................................... 12
Overzicht hoofdstuk 2 ...................................................................................................................................... 13
Chapter 3: The Phoenix of statistics ............................................................................................................... 14
APA notaties .................................................................................................................................................... 19
Overzicht hoofdstuk 3 ...................................................................................................................................... 19
Chapter 6: The beast of bias ........................................................................................................................... 20
SPSS .................................................................................................................................................................. 22
Overzicht hoofdstuk 6 ...................................................................................................................................... 26
Chapter 8: Correlation .................................................................................................................................... 27
SPSS .................................................................................................................................................................. 30
APA-notaties .................................................................................................................................................... 31
Overzicht hoofdstuk 8 ...................................................................................................................................... 32
Chapter 9: The Linear Model (Regression) ...................................................................................................... 33
SPSS .................................................................................................................................................................. 41
APA-notaties .................................................................................................................................................... 46
Overzicht hoofdstuk 9 ...................................................................................................................................... 47
Chapter 11: Moderation, mediation and multicategory predictors ................................................................ 48
SPSS .................................................................................................................................................................. 53
Overzicht hoofdstuk 11 .................................................................................................................................... 56
Chapter 12: GLM 1: Comparing several independent means .......................................................................... 57
SPSS .................................................................................................................................................................. 62
Overzicht hoofdstuk 12 .................................................................................................................................... 64
Chapter 13: GLM 2: Comparing means adjusted for other predictors (analysis of covariance – ANCOVA) ...... 65
SPSS .................................................................................................................................................................. 67
Overzicht hoofdstuk 13 .................................................................................................................................... 69
Chapter 14: GLM 3: Factorial designs ............................................................................................................. 70
SPSS .................................................................................................................................................................. 73
Overzicht hoofdstuk 14 .................................................................................................................................... 74
,Chapter 15: GLM 4: Repeated-measures designs ............................................................................................ 75
SPSS .................................................................................................................................................................. 79
Overzicht hoofdstuk 15 .................................................................................................................................... 80
Chapter 16: GLM 5: Mixed designs ................................................................................................................. 81
SPSS .................................................................................................................................................................. 81
Overzicht hoofdstuk 16 .................................................................................................................................... 82
,Artikel Simon, Nelson en Simonsohn (2011) – False-Positive
psychology
Ondanks nominale goedkeuring voor een laag percentage fout-positieve bevindingen (false-
positives, < .05), verhogen flexibiliteit in dataverzameling, analyse en rapportage de
werkelijke fout-positieve percentages dramatisch. In veel gevallen is de kans groter dat een
onderzoeker ten onrechte bewijs vindt dat een effect bestaat, dan dat hij correct bewijs
vindt dat het niet bestaat. De reden hiervoor is de zogenaamde researcher degrees of
freedom. Tijdens het proces van onderzoek moeten veel beslissingen genomen worden. Het
is zeldzaam en soms onpraktisch voor onderzoekers om al deze beslissingen vooraf te
nemen. Het is eerder gebruikelijk voor onderzoekers om verschillende analytische
alternatieven te onderzoeken, te zoeken naar een combinatie die ‘statistische significantie’
oplevert en dat alleen rapporteren wat ‘werkte’. Dit is een resultaat van 2 factoren:
• Onduidelijkheid in hoe beslissingen het best genomen kunnen worden
• Verlangen van de onderzoeker om een statistisch significant resultaat te vinden.
Vals positieven worden gezien als dure errors. Als ze eenmaal in de literatuur verschijnen,
blijven de effecten hardnekkig staan. Ten tweede verspillen vals positieven middelen. Ze
inspireren investeringen in nutteloze onderzoeksprogramma’s en kunnen leiden tot
ondoeltreffende beleidsveranderingen. Ten slotte is een gebied dat bekend staat om
publiceren van vals positieven riskant omdat het geloofwaardigheid verliest.
Er zijn vier onderzoekers vrijheidsgraden onderzocht die het effect op vals-positieve
beïnvloeden, flexibiliteit in:
• Het kiezen van afhankelijke variabelen
• Kiezen van een steekproefgrootte
• Gebruik van covariaten
• Rapporteren van subsets van experimentele omstandigheden
Simon e.a. stellen simpele oplossingen voor om het probleem voor vals-positieve tegen te
gaan. Voor onderzoekers is dit:
1. Stel de regel voor het beëindigen van gegevensverzameling vast, voordat
gegevensverzameling begint en vermeld deze regel in het artikel.
2. Verzamel ten minste 20 observaties per cel of zorg voor een rechtvaardiging als dit
niet lukt
3. Maak een lijst van alle variabelen die in een studie worden verzameld.
4. Rapporteer alle experimentele condities, inclusief mislukte manipulaties
5. Indien waarnemingen worden geëlimineerd, moeten auteurs ook vermelden wat de
statistische resultaten zijn als die waarnemingen worden meegerekend.
6. Indien een analyse een covariaat omvat, moeten auteurs de statistische resultaten
van de analyse zonder de covariaat ook rapporteren.
Richtlijnen voor beoordelaars:
1. Zorg dat de auteur zich aan de eisen houdt
2. Tolerant zijn tegenover onvolkomenheden in de resultaten.
3. Beoordelaars moeten van de auteurs eisen dat zij aantonen dat hun resultaten niet
berusten op willekeurige analytische beslissingen.
, 4. Als rechtvaardiging van gegevensverzameling of analyse niet overtuigend is, moeten
beoordelaars eisen dat de auteurs een exacte replicatie uitvoeren.
