2 Module 2: reproduceerbaarheid van wetenschappelijk
onderzoek
2.1 Kwaliteit van wetenschappelijk onderzoek
Wetenschappelijk onderzoek = de meest betrouwbare bron van informate
<--> reclame: minst betrouwbare bron
Hoe komt het dat dit zo betrouwbaar is?
Er gebeurt heel wat voordat een paper wordt gepubliceerd (paar jaar)
Desk reject: auteurs worden binnen een paar dagen gecontacteerd dat hun paper niet zal
worden gepubliceerd (grote journals = desk reject van 50-60%, bij absolute toptijdschriften
wordt slechts 6-7% van de ingezonden papers gepubliceerd)
Reject: als er geen potentiële meerwaarde in de paper zit
Herwerken op basis van reviews: kan soms paar maanden duren => vaak een grote/ bijna
volledige herwerking van de paper
Publicatie: paper is van een goed niveau, bevat geen fouten meer & heeft een meerwaarde
DUS: wetenschappelijk review = lang en intens proces, met als hoofddoel het detecteren en
verwijderen van fouten, overdreven claims en persoonlijke/ subjectieve standpunten
,2.1.1 Ideaal wetenschappelijk proces
Ideaal versus huidig:
1) Exploratief onderzoek:
Zoektocht naar nieuwe
verbanden of concepten
2) Confirmatorisch
onderzoek: Hier worden de
nieuwe hypotheses getest
3) Replicatieonderzoek:
Bevestigen van de
bevindingen uit vorige
stappen. Je moet dus
hetzelfde resultaat kunnen
vinden
4) Empirische generalisatie:
wanneer men genoeg
empirische evidentie heeft
verzameld (niet id context
van dit vak)
MAAR incentives van de eerste te
zijn, zijn veel groter dan die om
iets te checken
VRAAG: is het wel zo dat alles wat wordt gepubliceerd, waarheid bevat?
Het is niet zo goed gesteld met de wetenschap, onderzoekers kunnen resultaten
manipuleren zodat er een grotere kans is op publicatie.
Vb. P-hacking = veel gegevens worden verzameld en de onderzoeker speelt ermee tot er een
resultaat komt dat statistisch gezien correct is (ook al is dat niet zo)
2.2 Reproduceerbaarheid
Het is de bedoeling dat wetenschappers resultaten zo transparant mogelijk publiceren,
zodat anderen dezelfde resultaten kunnen bekomen/ verifiëren. Dus bevindingen moeten
,ook met andere steekproeven en bij andere wetenschappers gevonden worden
(gereproduceerd).
= De mate waarin consistente resultaten worden behaald (of kunnen worden behaald)
wanneer hetzelfde fenomeen of dezelfde relatie onderzocht wordt.
2.2.1 Een manifesto voor reproduceerbare wetenschap: verschillende
problemen
Er zijn heel wat studies die niet gereproduceerd kunnen worden…
Uitgangspunt: wetenschappelijk
proces
Doel: hypotheses toetsen en
daarna overgaan naar het
interpreteren van de studie
Rood => dingen die fout kunnen
lopen
2.2.1.1 Gebrek aan controle voor vertekeningen
Er is een gebrek aan controle voor vertekeningen, er zijn veel factoren die de kwaliteit
kunnen beïnvloeden:
Vraageffecten, orde-effecten
Zie volgende sessies
2.2.1.2 Te weinig statistische power
Er is te weinig statistische power = kans dat onderzoek sterk genoeg is, om het effect dat je
wil zien ook effectief te zien => door gebruik van een te kleine steekproef, waardoor het niet
mogelijk is om betrouwbare resultaten te krijgen
Omgekeerd gerelateerd aan de kans op het maken van een type2-fout: 1-beta
De kans om de nulhypothese te verwerpen wanneer de alternatieve
hypothese juist is
Zeer grote rol bij het trekken van conclusies op basis van steekproef
Wanneer we met kleine steekproeven testen, is er een groter risico op het
nemen van foute conclusies
Grotere steekproef = meer statistische power => meer correcte uitspraken
, Realiteit = werkelijke wereld, dit is
iedereen. Maar je gaat de resultaten
uit de steekproef halen en daarop
een beslissing voor de realiteit
maken
A (alpha)= kans waarmee we iets dat toch waar is gaan verwerpen
1-B: power= mate waarin statistische test iets id realiteit kan gaan veriefiëren
VOORBEELD:
Resultaten => p-waarden
in de grafiek: technisch
gezien kan een p-waarde
nooit 0 zijn, maar dat laten
we hier buiten beschouwing.
Links van de rode rechte =
aantal significante testen
(63,9%), dus in 36,1% van de
gevallen is er kans op type-2
fout.
Hoe kunnen we dat oplossen? Je kan een grotere steekproef nemen, hierdoor verkleint de
kans op type-2 fout.
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller mathildemaes. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $5.89. You're not tied to anything after your purchase.