Replicatiecrisis
We hebben veel overschatte effectmaten, lage replicatiepercentages en veel statistische
fouten
Oorzaken;
Wrm zou een studie niet-repliceerbaar zijn? Bijv een hoge p-waarde
P-waarde: significant of niet > moet lager zijn dan je gekozen p (0.05)
Harking: je dataset je hypothese laten bepalen
o Zou mogen bij exploratief onderzoek en niet dat je een nulhypothese test
o P-hacking: blijven uitvoeren toetsen en steeds iets veranderen tot je significant
resultaat vindt
o Meer vals positieven
Lage effectsizes: je wil hoog
Researchers degrees of freedom: de ruimte die een onderzoeker zelf heeft zoals filteren data
Publicatiebias: iedereen wil baanbrekend publiceren
Publicatiedruk: Slordigheid, onwetendheid, onbewust cognitieve biases, maar ook fraude
Open science
Onderzoeksproces en data toegankelijk en transparant maken
o Data en softwares openbaar en hergebruik toestaan
o Open, transparant, reproduceerbaarheid en repliceerbaarheid
Toegankelijk voor breed publiek (open access)
Transparant (navolgbaar)
o Reproduceerbaarheid: zelfde resultaten in zelfde situatie (precies zelfde)
o Repliceerbaarheid: zelfde resultaten in een vergelijkbare situaties
Good research practices
Voor dataverzameling
Preregistratie: alles plannen voor je data ziet of verzamelt en openbaar maken
o Hypotheses, protocollen, data-analytische aanpak, beslisprocedures etc
o Stel een hypothese op als je toetsend onderzoek wil doen
Minder focus op p-waarden, meer aandacht effect sizes?
Voldoende power?
Registered reports: pre-registratie naar tijdschrift, peer-review, als jij je hieraan houdt dan
gaan we publiceren: minder publicatiebias
Tijdens dataverwerking
Analyseplan volgen en alles navolgbaar maken: rapportage en syntax
Multi-analyst approach: meerdere onderzoekers die data beoordelen of analyses uitvoeren
Multi-verse analyse: meerdere mogelijkheden uitzoeken, subsets etc, wat als ik een andere
stap had genomen?
Bij publicatie
Checken van gerapporteerde resultaten ?
Open acces delen alle materialen: protocollen, syntax, data, preprints (eerdere versies)
Volgens FAIR: vindbaar, accesible, interoperable (zonder beperking kunnen samenwerken),
reusible
Obstakels
Preregistraties: Data kan ongeschikt zijn voor vooraf geplande analyses
Eigen onderzoek eerst, data stelen
Hoe om te gaan met delen gevoelige data? POW voorbeeld: closed box
Preprints: financiele barrières, copy-rights van tijdschriften, Blind reviews
Aanmoediging open science
, Voorwaarden van onderzoeksbeurzen: open access publiceren
Gold route: in een open access tijdsschrift
Green route: gesloten journal, goedkoper
Beurzen voor replicatieonderzoek
Tijdschriften doen open science badges
Center for open science
Single case study
Geen manipulatie
In-depth
Gedetailleerd
Langetermijn, meer meetmomenten: je wil verandering over tijd zien (stabiliteitseffect)
Specifieke casus
Kwalitatieve data
Systematische observatie
1 of meer afhankelijke variabelen (bijv uren huilen)
Context gelijk! Echte wereld
Single case experiment
Wel manipulatie
In-depth
Gedetailleerd
Meer meetmomenten: je wil verandering over tijd zien (stabiliteitseffect)
Specifieke casus
Kwalitatieve data
Systematische observatie
1 of meer afhankelijke variabelen (bijv uren huilen)
Context zvm gelijk op manipulatie na: real world of lab
Doelen
o Effectconstatering: Heeft interventie effect: Wat zijn de consequenties?
o Oorzaaktoeschrijving: Is interventie de oorzaak: Zijn de veranderingen van gedrag echt toe te
wijzen aan de interventie?
o Werkzaamheid begrijpen: Wat maakt die (EMDR)interventie zo effectief? Hoe werkt het?
o Kan ook om bijv diagnose te stellen
RCT VS Single case experiment
RCT: interventie-effecten toetsen in een grote groep, langdurig
Volgen elkaar vaak op
Nomothetisch: focus op grote groep, groepsgemiddelde uitspraken, vergelijken
controlegroep, strenge inclusie en exclusie
Ideografisch: focus op 1 kind, uitspraken individueel niveau, vergelijken met zelf, brede
inclusie en exclusie
RCT is generaliseerbaar naar grote populaties, single case is specifiek
Single case experiment: soorten interventies
Manipulatie
AB: 1 baseline en 1 interventie
o Baseline en interventie
ABA(B) reversal
o Baseline, interventie, baseline, interventie
o Stabiele baseline belangrijk, anders door laten lopen: kijken naar andere factoren
ABC(B): alternating treatments
o Baseline, interventie 1, interventie 2 (anders), interventie 1