Onderzoekspracticum Experimenteel Onderzoek
PB0422, Open Universiteit
OpenMens & Brightspace
Nederlands
Samenvatting
Theorie en tutorial uitleg Jamovi
Gemaakt door Saartje Koning
Inhoud
Persoonlijke notitie.......................................................................................3
Bijlage A – Interpreteren van gegevens.......................................................3
1. SW-test / Normality Test........................................................................3
Bijlage B – Assumpties op een rij.................................................................3
1. Assumptie Onafhankelijke T-toets.........................................................3
Thema 1 - Experimentele theorie.................................................................5
1.1 Wat is een experiment........................................................................5
1.2 Experimentele designs........................................................................6
1.3 Validiteit............................................................................................10
1.4 Ethiek................................................................................................12
1.5 Power van experimentele designs....................................................14
Thema 2 – T-toets.......................................................................................16
2.1 Datascreening...................................................................................16
2.2 t-toets...............................................................................................21
2.2 Tutorial T-toets..................................................................................25
Thema 3 – Variantieanalyse (one-way ANOVA)..........................................27
3.1 One-Way ANOVA...............................................................................27
3.2 Tutorial one-way ANOVA....................................................................33
Thema 4 – Experimentele controle............................................................36
4.1 Factoriële Designs.............................................................................36
4.2 Tutorial Factoriële ANOVA..................................................................41
Thema 5 – Statistische controle.................................................................46
5.1 Covariantieanalyse...........................................................................46
4.2 Tutorial ANCOVA................................................................................50
Thema 6 – Herhaalde metingen.................................................................55
6.1 Herhaalde metingen.........................................................................55
, 6.2 Herhaalde metingen ANOVA (RM-ANOVA).........................................58
7. Effectmaten............................................................................................62
8. Filter in Jamovi........................................................................................62
9. Toets bepalen.........................................................................................62
Bijlage A – Interpreteren van gegevens.....................................................63
1. SW-test / Normality Test......................................................................63
2. Levene’s test / Homogeneity..............................................................63
3. Welch’s t-toets....................................................................................64
4. Welch’s ANOVA...................................................................................65
5. Games-Howell Post-Hoc Test...............................................................65
6. ANOVA Omnibus tests.........................................................................66
7. Simple-effects analyse........................................................................67
8. ANCOVA..............................................................................................68
8.1 covariaatassumptie 1: onafhankelijkheid manipulatie en covariaten
interpreteren........................................................................................68
8.2 Covariaat assumptie 2: Parallelle regressielijnen..........................69
9. Estimated Marginal Means..................................................................69
10. RM-ANOVA.........................................................................................69
Bijlage B – Assumpties op een rij...............................................................71
1. Assumptie Onafhankelijke T-toets.......................................................71
2. Assumptie ANOVA (zelfde als T-toets).................................................71
3. Assumptie Factoriële ANOVA...............................................................71
4. Assumptie ANCOVA.............................................................................72
5. Assumptie RM-ANOVA.........................................................................73
6. Assumptie Mixed-design ANOVA (speciale variant van RM-ANOVA)....73
,Persoonlijke notitie
Ik heb zelf veel baat gehad bij het duidelijk opschrijven van de
interpretatie van gegevens in de output van Jamovi en van alle assumpties
per toets. Op deze manier kon ik terug vallen op overzichtelijke en
duidelijke informatie zonder te moeten graven in de tekst. Deze informatie
bevind zich achterin in de bijlagen. Om je een idee te geven van hoe dat
er uit ziet, heb ik hieronder een voorbeeld toegevoegd. Ik hoop dat dit
voor jou net zo behulpzaam is als voor mij en wens je succes met het
behalen van dit vak!
Bijlage A – Interpreteren van gegevens
1. SW-test / Normality Test
Bij een alfa van .05, is een p-waarde <.05 significant en dus niet normaal
verdeeld
Bij een alfa van .01 is een p-waarde <.01 significant en dus niet normaal
verdeeld
In dit voorbeeld staat een p-waarde van <.001. Dit is in beide gevallen wel
significant en dus voldoet het niet aan de assumptie dat het normaal
verdeeld is.
Bijlage B – Assumpties op een rij
1. Assumptie Onafhankelijke T-toets
Assumptiecheck Onafhankelijke T-toets:
1. Onafhankelijke observaties
o Zelf beredeneren waarom
2. Normaal verdeelde residuen
o Normality test uitvoeren en interpreteren (SW of KS)
P < 0.001 (significant) niet normaal verdeeld
P > 0.001 (niet significant) normaal verdeeld
3. Homogeniteit van varianties
o Levene’s test uitvoeren en interpreteren
P < 0.05 (significant) ongelijke variantie
, P > 0.05 (niet significant) gelijke variantie
(homogeniteit)
o Bij T-toets gebruik je altijd Welch’s test om ongelijke variantie
te corrigeren naar gelijke varianties.
,Thema 1 - Experimentele theorie
1.1 Wat is een experiment
Waarom zijn experimentele designs geschikt om causale verbanden vast
te stellen?
Strenge controle over variabelen
Wat is Mills Method of Difference?
Mills Method of Difference stelt dat om een causaal effect van X
op Y aan te tonen, je ook moet aantonen dat in afwezigheid van X, Y
niet voorkomt.
Resultaat: je hebt een experimentele groep én een controlegroep
nodig om causale claims te maken
Experimentele groep Als X, dan Y
Controle groep Als niet-X, dan niet-Y
Verschil tussen een volledig gerandomiseerde experimenteel ontwerp en
een quasi-experiment?
de manier van toewijzing van onderzoekseenheden aan de
experimentele condities. Bij volledig gerandomiseerd is het
willekeurig (random) en heeft elke eenheid dezelfde kans om in elk
van de condities terecht te komen. Bij quasi-experimenteel ligt de
toewijzing buiten de controle van de onderzoeker. Bestaande
groepen worden onderzocht die op één variabele verschillen en op
resterende variabelen zo vergelijkbaar mogelijk zijn.
Experimentele controle = er wordt rekening gehouden met kenmerken
van onderzoekseenheden die mogelijk een verstorende rol kunnen spelen
in het experiment
3 manieren van experimentele controle:
1. Blokontwerp
= proefpersonen worden voorafgaand aan het experiment ingedeeld
in homogene categorieën o.b.v. een verstorende variabele. Binnen
elke categorie worden de proefpersonen random toegewezen aan de
experimentele condities of controlegroep.
Geschikt bij beperkt aantal verstorende variabelen
Vereist groter aantal proefpersonen
2. Precisiecontrole
= paren van proefpersonen die o.b.v. achtergrondkenmerken zo veel
mogelijk op elkaar lijken voorafgaand aan het experiment
geïdentificeerd. Van elk paar wordt 1 aan de experimentele condities
en 1 aan de controlecondities ingedeeld.
Vereist grote steekproef om tot gelijke paren te kunnen komen
3. Globale Controle
, = streven naar gemiddelde of frequentie van een aantal
achtergrondkenmerken in alle condities gelijk te laten.
Grove wijze van experimentele controle omdat de condities
per afzonderlijk kenmerk aan elkaar gelijk zijn en niet wat
betreft de combinaties van kenmerken
3 soorten designs:
1. Between-subject design
Manipulatie tussen proefpersonen
1x meten
2. Within-subject design
Manipulatie binnen proefpersonen
2x of meer metingen (voor en nameting)
3. Mixed-design (between-within design)
Zowel tussen als binnen proefpersonen
Voorbeeld: Medicijn-placebo-onderzoek met een voormeting
als een nameting. Between is hierin wel of geen medicijn en
within is hierin de meting voor het wel/geen medicijn en de
nameting
1.2 Experimentele designs
Pre-experimentele designs = bevatten een of meerdere elementen van
experimenten, maar stellen de onderzoeker niet in staat om voldoende
controle te houden over externe invloeden om bij benadering causale
uitspraken te kunnen doen.
Onvoldoende controle op externe invloeden
Geen voormeting en/of geen controle groep en geen randomisatie
Legenda:
O Observatie
X Manipulatie (Experimentele conditie)
R Randomisatie
NR Geen randomisatie
3 soorten pre-experimentele designs:
1. One-shot case study
= 1 groep en nameting, niet random
Eerst manipulatie (X), daarna observatie (O, nameting)
2. One-group pre-post design
= 1 groep en voor/na meting, niet random
Eerst voormeting (t1, O1), daarna manipulatie (X) en daarna
nameting (t2, O1)
, - Verwant aan single case design, maar verschil bij single case
designs worden de proefpersonen meermaals gemeten
- De enkelvoudige tijdsreeks (longitudinaal design) is een
uitbreiding van de one-group pre-post design
3. Post-test only design met bestaande groepen (experiment in
bestaande groepen met enkel een nameting)
= 2 groepen en nameting, niet random
Meerdere groepen (1 controle en 1 experimenteel) die niet random
(NR) zijn.
Eerst een manipulatie (X) en daarna een nameting (O1, O2)
Waarom pre-experimenteel? door het gebruik van bestaande
groepen is het uiterst onwaarschijnlijk dat beide condities goed
vergelijkbaar zijn
3 soorten gerandomiseerde experimenten designs:
1. Posttest-only control
= 2 groepen en nameting, random
Geen voormeting
Hoe meten?
Onafhankelijke t-toets
One-way ANOVA
Eerst randomizeren, dan manipulatie en dan nameting
Ontbreken van een voormeting:
Voordeel: je voorkomt het testeffect = de voormeting
beïnvloedt de observaties van de nameting
Nadeel: je hebt geen informatie over het startpunt
o Plafondeffect = allemaal een hoge score: wanneer er
geen verschil is tussen de 2 groepen omdat de test te
makkelijk was voor deze proefpersonen
o Bodemeffect = allemaal een lage score: wanneer er
geen verschil is tussen de 2 groepen omdat de test te
moeilijk was voor deze proefpersonen
, 2. Pretest-posttest control design
= 2 groepen en voor- en nameting, random
Klassiek experimentele design
Meest gebruikte design
Hoe meten?
Mixed design ANOVA
Eerst randomizeren, dan voormeting, manipulatie en nameting
3. Solomon vier-groependesign
= 4 groepen waarbij het experiment met 2 groepen 2 keer wordt
uitgevoerd. Een keer met en een keer zonder voormeting.
Combinatie tussen posttest-only en pretest-posttest control
3 voordelen:
a. Testeffecten herkennen en uitsluiten: mogelijk onbedoelde
invloed van een voormeting kan in kaart worden gebracht
b. Voormeting van groep 1 en 3 kunnen worden gebruikt om een
schatting te maken van de niet-gemeten voormeting scores
van groepen 2 en 4. Als de voormetinggroepen (1 en 3) goed
vergelijkbaar zijn, dan is de randomisatie geslaagd.
c. Mogelijk om interactie tussen voormeting en manipulatie te
toetsen
Hoe meten?
Mixed design ANOVA
Voormetingsensitisatie = de dreiging dat de voormeting de deelnemers
bewust maakt van het onderwerp van de studie, waardoor ze mogelijk
anders reageren op de manipulatie. Dit kan de resultaten vertekenen.
2 effecten van het ontbreken van een voormeting, als er wel een
manipulatie is:
1. Geen testeffect
2. Geen pretest-treatment-interactie
,Wat is het voordeel van het ontbreken van een voormeting?
je voorkomt het testeffect = de voormeting beïnvloedt de observaties
van de nameting
Quasi-experimenteel design:
1. Pretest-posttest control design
= 2 bestaande groepen met voor en nameting, niet random, 1 groep
wel manipulatie en 1 groep controle
Hoe meten?
Mixed Design ANOVA
Niet random, dan voormeting, dan bij 1 groep wel en 1 groep geen
manipulatie, dan nameting
Longitudinale designs:
1. Enkelvoudige tijdreeks
= dezelfde proefpersonen op verschillende tijdsstippen een voor- en
nameting
Voorbeeld: dagboek experimenten
Uitbreiding op het pre-experimentele one-group pre-post
design
Verwant aan single case experiment design = meerdere
meetmomenten bij dezelfde persoon. Soms een handje vol
personen, maar het draait om de verandering binnen 1
persoon
Verschil tussen enkelvoudige tijdsreeks en single case
experiment
de enkelvoudige tijdsreeks is chronologisch
Hoe meten?
RM-ANOVA
Meerdere voormetingen bij dezelfde persoon, dan manipulatie en
dan meerdere nametingen
2. Meervoudige tijdreeks
= dezelfde proefpersonen op verschillende tijdstippen meten met
controlegroep
, Randomizeren, meerdere voormetingen, 1 groep wel en 1 groep
geen manipulatie, meerdere nametingen
Wat is de essentie van het Solomon vier-groepen-design?
in kaart brengen van mogelijk onbedoelde invloed van een
voormeting
1.3 Validiteit
Bij het ontwerpen van een experiment worden interventies of manipulaties
toegepast om bepaalde experimentele condities te construeren. Het is
belangrijk dat deze manipulaties doen waarvoor ze bedoeld zijn. Om dit te
onderzoeken, worden manipulatiechecks uitgevoerd.
Manipulatiechecks = controleren van de interne validiteit van een
experiment doordat de onderzoeker een geknutselde situatie creëert
en niets aan toeval overlaat.
wat moet de manipulatie nabootsen?
doet de manipulatie dit ook?
Voorbeeld: inductie van emotie = mensen een zielig verhaal laten
zien om die emotie te laten ervaren en dus kunstmatig een emotie
op te roepen om zo alle storende variabelen uit te roeien.
Met welke analyses kun je een manipulatiecheck uitvoeren?
Het kiezen van de juiste manipulatiecheck hangt af van het meetniveau
van de onafhankelijke variabelen en condities.
2 variabelen (onafhankelijke) t-toets
Meer dan 2 variabelen one-way ANOVA
Factorieel design (combinatie van meerdere factoren) waarbij de
variabele van de manipulatiecheck daadwerkelijk gaat over de
succesvolle manpulatie van de combinatie van factoren factoriële
ANOVA
2 soorten validiteit:
1. Externe validiteit (ecologische validiteit)
= generaliseerbaarheid van de resultaten naar ‘buiten’ toe
2 soorten generaliseerbaarheid van externe validiteit:
a. Is de experimentele situatie representatief voor real-life
situaties?
b. Is de steekproef representatief voor de doelpopulatie?
3 bedreigingen voor externe validiteit:
a. Interactie voormeting en manipulatie
