Dit is een samenvatting waar alles in staat wat je moet weten voor de toets. De samenvatting is aangepast aan de colleges, de opdrachten en de bijeenkomsten. Alle verplichte literatuur is terug te vinden en op het einde staat een duidelijke overzichtstabel die alles zo veel mogelijk integreert.
4.4 Applied Multiva r iate Data Analysis
Simmons, Nelson & Simonsohn (2011) False-positive psychology: Undisclosed flexibility in data collection and analysis
allows presenting anything as significant
False-positive error: onterechte verwerping van de nulhypothese, dit wordt ook wel Type I fout genoemd.
False-positives zijn kostbare fouten. Drie ongewenste consequenten van false-positieven:
1. False-positieven zijn bijzonder hardnekkig als ze eenmaal in de literatuur verschijnen.
• Omdat nulresultaten veel mogelijke oorzaken hebben, is het niet kunnen repliceren van eerdere
bevindingen nooit doorslaggevend.
• Omdat het ongebruikelijk is voor prestigieuze tijdschriften om nulresultaten of exacte replicaties te
publiceren, hebben onderzoekers weinig reden om ze zelfs maar te proberen.
2. False-positieve verspillen middelen:
• Ze inspireren tot investeringen in vruchteloze onderzoeksprogramma’s.
• Ze kunnen leiden tot ondoelmatige beleidsveranderingen.
3. Het veld dat bekend staat om het publiceren van valse positieven, loopt het risico zijn geloofwaardigheid te
verliezen.
Researcher degrees of freedom
Ondanks de nominale goedkeuring van empirische psychologen van een laag aantal false-positive bevindingen (≤ 0.05),
met een maximaal false-positieve ratio van 5%, verhoogt flexibiliteit in het verzamelen, analyseren en rapporteren van
data de feitelijke fout-positieve bevindingen dramatisch. In veel gevallen is de kans groter dat een onderzoeker ten
onrechte bewijs vindt dat een effect bestaat, dan dat hij correct bewijs vindt dat dit niet het geval is.
Ë In computersimulaties en een paar daadwerkelijke experimenten wordt aangetoond hoe onaanvaardbaar
eenvoudig het is om statisch significant bewijs te verzamelen voor een valse hypothese (en te rapporteren).
Ë De boosdoener is een constructie die we de researcher degrees of freedom noemen: tijdens het verzamelen en
analyseren van data, moeten onderzoekers veel beslissingen nemen. Researcher degrees of freedom refereren
dus naar de flexibiliteit van onderzoekers in verschillende aspecten van dataverzameling, data-analyse en het
rapporteren van data. Het is zeldzaam en soms onhandig om al deze beslissingen van tevoren te nemen. Het is
eerder gebruikelijk (en geaccepteerd) dat onderzoekers
verschillende analytische alternatieven verkennen, zoeken naar een
combinatie die ‘statistische significantie’ oplevert en vervolgens
alleen rapporteren wat ‘werkte’. Het probleem is de kans dat
tenminste één (van de vele) analyses een vals positieve bevinding
oplevert op het 5%-niveau noodzakelijkerwijs groter is dan 5%.
• Dit verkennende gedrag is het resultaat van twee factoren:
I. Onduidelijkheid over hoe deze beslissingen het
beste kunnen worden genomen.
II. De wens van de onderzoeker om een statistisch
significant resultaat te vinden.
Als onderzoekers voor dubbelzinnige analytische
beslissingen staan, zijn ze geneigd om met overtuigende
zelfrechtvaardiging te concluderen dat de juiste
beslissingen bestaan uit beslissingen die resulteren in
statistische significantie (p ≤ 0.05).
• Vier gebruikelijke researcher degrees of freedom waardoor
de kans groter is dat een onderzoeker onterecht een
significant effect vindt, dan niet: flexibiliteit in…
I. Afhankelijke variabelen kiezen.
II. Steekproefomvang kiezen.
III. Co-variabelen gebruiken.
IV. Subsets van experimentele condities rapporteren.
Er zijn nog veel meer degrees of freedom die onderzoekers
vaak gebruiken (bijv. subsets van participanten en condities
verwijderen en bepalen of eerder verzamelde data
onderdeel van de pilot- of daadwerkelijke studie is).
Ë Het artikel laat zien dat het onjuist is om te veronderstellen dat een
significant effect bij een kleine steekproefgrootte noodzakelijk
significant is bij een grotere steekproefgrootte (Figuur 2).
Het gebruik van te veel researcher degrees of freedom kan leiden tot false-
positive bevindingen. De p-waarde geeft de waarschijnlijkheid om het huidige steekproefresultaat te vinden of extremer
als de nulhypothese waar is. Om te beslissen of we de nulhypothesen moeten verwerpen, vergelijken we de p-waarde van
onze teststatistiek met de alfa van 0.05. Daarom is er een risico van 5% om ons steekproefresultaat te vinden als de
nulhypothese wél waar is. Al het onderzoeksgedrag dat is gebaseerd op verschillende tests, elk met een Type I foutrisico
van 5% (bijv. ‘uitproberen’ en kiezen tussen afhankelijke variabelen of experimentele condities) verhoogt het algemeen
(cumulatief) Type I foutrisico.
,Een voorbeeld hiervan is om veel variabelen in een voorspellende studie op te nemen en in de hoofdanalyse alleen de
significante correlaties met de afhankelijke variabele te rapporteren. Dit wordt het probleem van multiple testing
genoemd. Het probleem met het ‘uitkiezen’ van significante correlaties uit een correlatiematrix is dat de algemene kans
om ten minste één significante correlatie te vinden, groter is dan 5% als in de populatie geen van de voorspellers
gecorreleerd is met de afhankelijke variabele. Als je bijvoorbeeld 5 significantietests uitvoert, is de kans op een Type I
fout 1 – (0.95 x 5) = 0.23. Het totale risico is dus 23% in plaats van 5%.
Het enerzijds streven naar een hoge statistische power, maar anderzijds het streven naar beperkte kosten, kan leiden tot
‘flexibiliteit in steekproefomvang’. Door het vergroten van de steekproefomvang, vergroten we de kans dat de
nulhypothese wordt afgewezen. Aan de andere kant verhoogt het vergroten van de steekproef ook de kosten. Dit zou
kunnen leiden tot een stapsgewijze opname van extra ‘respondenten’ waarbij je steeds meer respondenten toevoegt, de
nulhypothese blijft testen en stopt als de nulhypothese kan worden afgewezen. Dit ‘tussentijds testen met extra
respondenten’ heet interim data analysis.
Oplossing
Ë Zes concrete eisen voor auteurs:
1) Auteurs moeten de regel bepalen voor het beëindigen van het verzamelen van data voordat de
dataverzameling begint en deze regel in het artikel vermelden (bijv. power berekeningen rapporteren of
bijv. rapporteren ‘besloten om 100 observaties te verzamelen’).
2) Auteurs moeten minstens 20 waarnemingen per cel verzamelen of anders een overtuigende
rechtvaardiging geven voor de kosten van de dataverzameling.
– Steekproeven kleiner dan 20 per cel hebben niet genoeg power om de meeste effecten te
detecteren.
– Kleine steekproeven weerspiegelen veel meer tussentijdse data-analysen en een flexibele
beëindigingsregel.
– Een grotere minimale steekproefomvang kan de impact van het schenden van de eerste eis
verminderen (Figuur 1).
3) Auteurs moeten alle variabelen vermelden die in een onderzoek zijn verzameld. Aangeraden wordt om
het woord ‘only’ te gebruiken (bijv. ‘Participants reported only their age and gender’).
4) Auteurs moeten alle experimentele omstandigheden rapporteren, inclusief mislukte manipulaties of
manipulaties die niet overeenkomen met hun hypothese. Aangeraden wordt om hier ook het woord ‘only’
te gebruiken.
5) Als observaties worden weggelaten, moeten auteurs ook rapporteren wat de statistische resultaten zijn
als die observaties worden meegenomen.
6) Als een analyse een co-variabele bevat, moeten auteurs de statistische resultaten rapporteren van de
analyse zonder de co-variabele (bijv. geslacht of leeftijd).
Ë Vier richtlijnen voor reviewers (beoordelaars):
1) Reviewers moeten ervoor zorgen dat auteurs de vereisten volgen.
2) Reviewers moeten meer tolerant zijn voor imperfecties in de resultaten.
3) Reviewers moeten van auteurs eisen dat ze aantonen dat hun resultaten niet afhangen van willekeurige
analytische beslissingen.
4) Als de rechtvaardiging van dataverzameling of -analysen niet overtuigend is, moeten reviewers van de
auteurs eisen dat ze een exacte replicatie uitvoeren. Dit is een kostbare oplossing en moet daarom
selectief gebruikt worden, maar ‘nooit’ is te selectief.
Kritiek op de oplossing:
Ë Het gaat niet ver genoeg:
• Sommige researcher degrees of freedom blijven bestaan.
• Auteurs hebben enorme belemmeringen om de degrees of freedom bekend te maken.
Weerlegging: hoewel onderzoekers duidelijke prikkels hebben om te publiceren, zullen ze nog sterkere
prikkels hebben om hun methodologie nauwkeurig openbaar te maken als reviewers en redacteuren de
oplossingen afdwingen à positieve cyclus van transparantie en verantwoording die ontmoediging
wegneemt.
Ë Het gaat te ver: sommige lezers zijn bezorgd dat de richtlijnen explorerend onderzoek belemmeren (bijv. als eerst
nog niet bekend is welke afhankelijke variabelen gemanipuleerd, gescoord of gecombineerd kunnen worden).
Weerlegging: explorerend onderzoek mag gedaan worden, zolang het op die manier gerapporteerd wordt en
daarmee voldoet aan de richtlijnen of het aanvullen (en mogelijk alleen rapporteren) met bevestigend onderzoek
van exacte replicaties van het ontwerp en analyse die ‘werkte’ in de verkennende fase.
Weerlegging van vier andere oplossingen:
1. Alfa level corrigeren als een functie van het aantal researcher degrees of freedom in het onderzoek.
Kritiek:
• Gezien de brede en dubbelzinnige reeks degrees of freedom, is het onduidelijk welke en hoeveel
daarvan bijdragen aan een bepaalde bevinding, en dus wat hun effect is op het fout-positieve
percentage.
, • Tenzij er expliciete regels zijn over hoe alfa’s moeten worden aangepast voor elke degrees of freedom,
kan de introductie van nieuwe degrees of freedom onduidelijkheid veroorzaken.
2. Bayesiaanse statistieken gebruiken:
Kritiek: hoewel de Bayesiaanse benadering veel voordelen heeft, vergroot het de researcher degrees of freedom:
• Het biedt een nieuwe reeks analyses die auteurs flexibel op hun gegevens kunnen uitproberen.
• Bayesiaanse statistieken vereisen aanvullende oordelen.
3. Conceptuele replicaties in plaats van exacte replicaties.
Kritiek: binden onderzoekers niet om dezelfde analytische beslissingen te nemen tussen verschillende studies à
misleidend als oplossing voor het probleem.
4. Materialen en data plaatsen:
Kritiek:
• Dit brengt te hoge kosten met zich mee voor lezers en reviewers om de geloofwaardigheid van een
bepaalde claim te onderzoeken. Lezers hebben dit niet nodig om voldoende inzicht te krijgen in de
resultaten en conclusies.
• Als een tijdschrift dit toestaat, wordt de drempel verlaagd om andere dingen (bijv. ruwe data) toe te
staan, waardoor de volledige transparantie inspanning nutteloos wordt.
, Field Ch. 2: The SPINE of statistics: Statistical models | Parameters | Interval estimates (confidence intervals) | Null
hypothesis significance testing (NHST) | Estimating parameters
Statistical models
Wetenschappers bouwen (statistische) modellen van real-world
processen om te voorspellen hoe deze processen onder bepaalde
omstandigheden werken. In tegenstelling tot ingenieurs, hebben we
geen toegang tot de real-world situatie en kunnen dus daarom alleen
dingen afleiden over psychologische, maatschappelijke, biologische
of economische processen op basis van de modellen die we bouwen.
Net als bij de ingenieurs, moeten de modellen zo nauwkeurig
mogelijk zijn, zodat de voorspellingen over de real world ook
kloppen: het statistische model moet de verzamelde data
(geobserveerde data) zo goed mogelijk weergeven. De mate waarin
een statistisch model de verzamelde data vertegenwoordigt staat
bekend als de ‘fit’ van het model.
Figuur 2.2 weergeeft drie maten van ‘fit’:
Mate van Kenmerken Voorspellingen aan de hand van dit model over de
‘fit’ real world …
Good fit Uitstekende weergave van de real-world situatie … zullen juist zijn.
Moderate Vertoont overeenkomsten met de real-world, … kunnen onnauwkeurig of zelfs rampzalig zijn. We
fit maar ook enkele belangrijke, grote verschillen kunnen slechts een beetje vertrouwen hebben in de
voorspellingen van dit model.
Poor fit Totaal anders dan de real-world situatie: geen … zijn waarschijnlijk volledig onnauwkeurig.
structurele overeenkomsten met de real-world
Wetenschappers (vooral gedragsmatige en sociale) hebben de neiging om lineaire modellen te gebruiken (modellen
gebaseerd op een rechte lijn). Wetenschappelijke onderzoeksartikelen zitten vol met ‘variantieanalyse (ANOVA)’ en
‘regressie’: identieke statistische systemen gebaseerd op het lineaire model.
Gegevens kunnen worden weergegeven in een scatterplot
(spreidingsdiagram) waarin elke punt de rating van een
individu op beide variabelen vertoont. Figuur 2.3 laat zien
hoe verschillende modellen op dezelfde data geplaatst
kunnen worden: beide modellen laten zien dat hoe
sympathieker een dader is, hoe positiever mensen hun
oneerlijke daad zien.
Ë Lineair (recht).
Ë Niet-lineair (curve; gebogen): een subtieler
patroon à de trend om meer vergevingsgezind te
zijn voor sympathieke mensen treedt in werking
als de waardering voor gelijkheid boven 4 stijgt.
Geen van beide modellen is noodzakelijkerwijs correct, maar het ene model past beter bij de data dan het andere model
à het is belangrijk om te beoordelen hoe goed een statistisch model bij de data past.
Lineaire modellen passen meestal bij de data, omdat ze minder complex zijn en omdat niet-lineaire modellen vaak niet
worden aangeleerd. Dit kan interessante gevolgen hebben voor de wetenschap:
1. Veel gepubliceerde statistische modellen passen misschien niet het beste (omdat de auteurs geen niet-lineaire
modellen hebben uitgeprobeerd).
2. Bevindingen zijn misschien over het hoofd gezien, omdat een lineair model niet goed paste en de
wetenschappers het daardoor eerder opgaven dan niet-lineaire modellen toe te passen (die misschien wel ‘goed
genoeg’ zouden zijn geweest).
Daarom is het handig om eerst de gegevens te plotten: als een plot een niet-lineair model lijkt te suggereren, pas dan
geen lineair model toe.
Alles in dit boek (en statistiek in het algemeen) komt neer op deze vergelijking:
Deze vergelijking betekent dat de data die we observeren voorspeld kan worden op basis van het model, plus wat fouten.
Ë Model: hangt af van de onderzoeksopzet, het soort data en wat je probeert te bereiken met het model à
modellen verschillen in complexiteit. Model = ‘een uitkomst die sommige variabelen voorspellen’.
de
Ë De kleine i (i) verwijst naar de i- score, wat je kan vervangen voor een individuele score (bijv. de score van
participant Zoë: uitkomstZoë = model + errorZoë). De i weerspiegelt het feit dat de waarde van de uitkomst en de
fout voor elke persoon anders zullen zijn.
Ë b (regressie) is hier een parameter en kan vervangen worden door andere parameters, zoals gemiddelde of r
(correlatie). Het dakje erboven betekent dat het gaat om een schatting.
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller roxannederonde. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $8.64. You're not tied to anything after your purchase.
