Replicatiecrisis
We hebben veel overschatte effectmaten, lage replicatiepercentages en veel statistische
fouten
Oorzaken;
Wrm zou een studie niet-repliceerbaar zijn? Bijv een hoge p-waarde
P-waarde: significant of niet > moet lager zijn dan je gekozen p (0.05)
Harking: je dataset je hypothese laten bepalen
o Zou mogen bij exploratief onderzoek en niet dat je een nulhypothese test
o P-hacking: blijven uitvoeren toetsen en steeds iets veranderen tot je significant
resultaat vindt
o Meer vals positieven
Lage effectsizes: je wil hoog
Researchers degrees of freedom: de ruimte die een onderzoeker zelf heeft zoals filteren data
Publicatiebias: iedereen wil baanbrekend publiceren
Publicatiedruk: Slordigheid, onwetendheid, onbewust cognitieve biases, maar ook fraude
Open science
Onderzoeksproces en data toegankelijk en transparant maken
o Data en softwares openbaar en hergebruik toestaan
o Open, transparant, reproduceerbaarheid en repliceerbaarheid
Toegankelijk voor breed publiek (open access)
Transparant (navolgbaar)
o Reproduceerbaarheid: zelfde resultaten in zelfde situatie (precies zelfde)
o Repliceerbaarheid: zelfde resultaten in een vergelijkbare situaties
Good research practices
Voor dataverzameling
Preregistratie: alles plannen voor je data ziet of verzamelt en openbaar maken
o Hypotheses, protocollen, data-analytische aanpak, beslisprocedures etc
o Stel een hypothese op als je toetsend onderzoek wil doen
Minder focus op p-waarden, meer aandacht effect sizes?
Voldoende power?
Registered reports: pre-registratie naar tijdschrift, peer-review, als jij je hieraan houdt dan
gaan we publiceren: minder publicatiebias
Tijdens dataverwerking
Analyseplan volgen en alles navolgbaar maken: rapportage en syntax
Multi-analyst approach: meerdere onderzoekers die data beoordelen of analyses uitvoeren
Multi-verse analyse: meerdere mogelijkheden uitzoeken, subsets etc, wat als ik een andere
stap had genomen?
Bij publicatie
Checken van gerapporteerde resultaten ?
Open acces delen alle materialen: protocollen, syntax, data, preprints (eerdere versies)
Volgens FAIR: vindbaar, accesible, interoperable (zonder beperking kunnen samenwerken),
reusible
Obstakels
Preregistraties: Data kan ongeschikt zijn voor vooraf geplande analyses
Eigen onderzoek eerst, data stelen
Hoe om te gaan met delen gevoelige data? POW voorbeeld: closed box
Preprints: financiele barrières, copy-rights van tijdschriften, Blind reviews
Aanmoediging open science
, Voorwaarden van onderzoeksbeurzen: open access publiceren
Gold route: in een open access tijdsschrift
Green route: gesloten journal, goedkoper
Beurzen voor replicatieonderzoek
Tijdschriften doen open science badges
Center for open science
Single case study
Geen manipulatie
In-depth
Gedetailleerd
Langetermijn, meer meetmomenten: je wil verandering over tijd zien (stabiliteitseffect)
Specifieke casus
Kwalitatieve data
Systematische observatie
1 of meer afhankelijke variabelen (bijv uren huilen)
Context gelijk! Echte wereld
Single case experiment
Wel manipulatie
In-depth
Gedetailleerd
Meer meetmomenten: je wil verandering over tijd zien (stabiliteitseffect)
Specifieke casus
Kwalitatieve data
Systematische observatie
1 of meer afhankelijke variabelen (bijv uren huilen)
Context zvm gelijk op manipulatie na: real world of lab
Doelen
o Effectconstatering: Heeft interventie effect: Wat zijn de consequenties?
o Oorzaaktoeschrijving: Is interventie de oorzaak: Zijn de veranderingen van gedrag echt toe te
wijzen aan de interventie?
o Werkzaamheid begrijpen: Wat maakt die (EMDR)interventie zo effectief? Hoe werkt het?
o Kan ook om bijv diagnose te stellen
RCT VS Single case experiment
RCT: interventie-effecten toetsen in een grote groep, langdurig
Volgen elkaar vaak op
Nomothetisch: focus op grote groep, groepsgemiddelde uitspraken, vergelijken
controlegroep, strenge inclusie en exclusie
Ideografisch: focus op 1 kind, uitspraken individueel niveau, vergelijken met zelf, brede
inclusie en exclusie
RCT is generaliseerbaar naar grote populaties, single case is specifiek
Single case experiment: soorten interventies
Manipulatie
AB: 1 baseline en 1 interventie
o Baseline en interventie
ABA(B) reversal
o Baseline, interventie, baseline, interventie
o Stabiele baseline belangrijk, anders door laten lopen: kijken naar andere factoren
ABC(B): alternating treatments
o Baseline, interventie 1, interventie 2 (anders), interventie 1
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller oumaimaalabdellaoui. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $6.58. You're not tied to anything after your purchase.