H14- Repeated-measures designs
1. Introductie van repeated-measures designs: Het gaat er hier om dat dezelfde mensen bijdragen
aan verschillende gemiddelden. Dezelfde personen/dingen/dieren nemen deel aan alle condities van
het experiment en leveren data op verschillende tijdstippen. Soms is het bijvoorbeeld nodig dat je
controleert voor individuele verschillen in iets, dus dat kan je verkrijgen door dezelfde mensen in alle
condities te testen: men kan bv een vragenlijst krijgen op verschillende tijdstippen. Het is verwarrend
dat vaak verschillende termen voor dezelfde analyse worden gebruikt, zoals within-participants design,
related-design, within-subjects design etc.
Echter weten we vanuit H11 dat de nauwkeurigheid van een F-test afhangt van de assumptie van
onafhankelijkheid van scores in verschillende condities. Zo'n repeated measures design schendt deze
assumptie: de scores zijn namelijk gerelateerd omdat ze van dezelfde persoon komen. Daarom zal de
F-test niet nauwkeurig zijn. Daarom moeten we een extra assumptie checken: we nemen aan dat de
relatie tussen paren van de experimentele conditie gelijk is(level van afhankelijkheid tussen
experimentele condities is ongeveer gelijk). Deze assumptie heet sphericiteit.
De assumptie van sphericiteit: Sphericiteit is een meer algemene conditie van samengestelde
symmetrie(compound symmetry). Dit vindt plaats wanneer beide varianties van condities ongeveer
gelijk zijn en de covarianties tussen paren van condities ongeveer gelijk zijn(dit is hetzelfde als
homogeniteit van de variantie in between groups designs). We nemen dus aan dat de variantie binnen
experimentele condities ongeveer gelijk zijn en dat bepaalde condities niet meer afhankelijk zijn dan 2
andere. Sphericiteit is een minder restrictieve vorm van compound symmetrie en verwijst naar de
gelijkheid van varianties van de verschillen tussen treatment levels. Dus als je elk paar hebt van
treatment levels en je de verschillen berekent tussen elk paar van scores, dan is het nodig dat deze
verschillen ongeveer gelijke varianties hebben. Er zijn dus minstens 3 condities nodig voordat
sphericiteit een issue is.
Hoe wordt sphericiteit gemeten?: Je zou wel heel gek zijn om dit met de hand te doen. Stel dat je dit
doet en je hebt 3 condities, dan bereken je alle verschillen tussen scores tussen conditie A en B; A en
C; B en C. Vervolgens bereken je de variantie hiervan en als deze alle 3 ongeveer gelijk zijn dan is er
voldaan aan de assumptie. Dus:
variantie van A-B = variantie van A-C = variantie van B-C.
Hoe bepaal je in hoeverre sphericiteit afwijkt?
Je kan spericiteit beoordelen met Mauchly's test. Deze test de hypothese dat de varianties allemaal
gelijk zijn, dus deze moet NIET significant zijn. Deze is wel afhankelijk van de sample size: in grote
sampls kunnen kleine deviaties significant zijn, en in kleine samples kunnen grote afwijkingen non-
significant zijn. Net als Levene's is deze test dus overgevoelig en nogal snel significant. Dat is niet
direct een probleem, zeker niet bij Mauchly, omdat deze automatisch een correctie geeft(Greenhouse-
Geisser).
Wat is het effect als er niet wordt voldaan aan de assumptie van sphericiteit? Als we de F-ratio
gebruiken terwijl er niet wordt voldaan aan deze assumptie, dan is er gebrek aan power en een test
statistic die niet de verdeling heeft die het moet hebben(F-verdeling). Ook zorgt het voor complicaties
voor post hoc tests. Bonferroni is dan de meest krachtige techniek. Als er wel aan de assumptie wordt
voldaan, neem dan Tukey .
Wat doe je als je de assumptie van sphericiteit schendt?
We moeten dan de df aanpassen voor elke F-ratio die wordt beïnvloed door schending van deze
assumptie. Je vermenigvuldigt je df met 1 als er voldaan is aan de assumptie, maar met een waarde
van kleiner dan 1 als er niet aan wordt voldaan. op deze manier wordt je p-waarde minder snel
,significant, dus wordt de F-ratio conservatiever. Hierdoor is er controle op type I fout. Je hebt de
Greenhouse-Geisser estimate, Huynh-Feldt estimate(als sphericiteit groter is dan .75) etc.
Het schenden van de assumptie zorgt voor een minder nauwkeurige F dus de tweede optie is om een
andere test te gebruiken, zoals MANOVA.
14.3 Theory van one-way repeated-measures ANOVA
Uiteraard is er ook hier sprake van een totale variabliteit. Echter wordt deze nu opgeplitst in een
SSbetween participant variatie deel en een SSwithin-participant variatie deel. Bij de SSW kun je vervolgens onderzoeken welk
deel door de manipulatie komt en welk deel door individuele verschillen. Net als bij independent
ANOVA gebruiken we de F-ratio om de grootte van het experimentele effect te vergelijken met de
variatie door random factoren. Verschil met independent anova is dat we nu kijken naar SS R én SSM,
en dat we het between deel niet willen weten. Dus SSW kun je opsplitsen in effect van het
experiment(SSM) en error(SSR). deze modellen moet je weten per analyse.
Stel we laten 8 beroemdheden in een tv programma 4 soorten dieren eten. Dit is repeated-measures,
omdat elk persoon elk voedsel eet. Afhankelijke variabele is gemeten tijd. De variantie zal deels
bepaald worden door het feit dat sommige dieren smakelijker zijn dan andere(manipulatie) en deels
oor het feit dat de beroemdheden zelf verschillen vanaf het begin(individuele verschillen).
Totale sum of squares, SST: Wordt hetzelfde berekend als bij een independent ANOVA, namelijk:
Variantie totaal maal (N-1).
df = N-1.
The within-participant sum of squares, SSW:
Bij independent ANOVA keken we hierbij naar de residuele SS, waarbij het uitmaakt in welke groep je
zit. Nu kijk je niet naar de groepen, maar naar de getallen van 1 persoon. We kijken dus naar
personen ipv groepen.
We kijken naar de variantie van een individuele score en tellen dit op voor alle personen.
dus variantie persoon 1 (n1-1) + variantie persoon 2(n2-1) etc…
Df = aantal personen per conditie( aantal condities - 1).
The model sum of squares, SSM:
We kijken nu hoeveel variantie door het experiment wordt verklaard(manipulatie) en pas in de
volgende stap hoeveel het komt door error. We doen hetzelfde als bij independent, namelijk aantal
personen keer de score van de groep - totale gemiddelde in het kwadraat. Dus:
n(gemiddelde dier 1 - totale gemiddelde)2 + n(gemiddelde dier 2 - totale gemiddelde)2 etc.
Df = k-1.
The residual sum of squares, SSR:
Nu kijken we niet wat het model verklaart, maar wat de error is(hoeveel het model niet kan verklaren).
Dit kan simpelweg door SSR = SSW - SSM.
Dfr = dfw - dfm.
Mean squares: We nemen het gemiddelde van de SS door te delen door de bijbehorende df.
F-ratio: Is de ratio van de variantie verklaard door het model en de variantie verklaard door
onsystematische factoren. Hierbij deel je MSm door MSr. Dit is exact hetzelfde als bij een independent
ANOVA. Als de waarde boven de 1 is, dan heeft de experimentele manipulatie een effect gehad
bovenop de extraneous factoren. Dit kan je vergelijken met een kritische waarde(met dfm en dfr).
, De between participants SS: Je kan dit makkelijk berekenen door de SSw af te trekken van de SSt.
Echter hebben we de SSb niet nodig voor de F-ratio. Dit representeert de individuele verschillen
tussen cases, bv dat beroemdheden verschillende niveaus van tolerantie hebben voor deze soorten
voedsel. Dit geeft dus weer wat de individuele verschillen zijn.
14.4 Assumpties in een repeated-measures ANOVA: Naast sphericiteit, gelden alle vormen van
mogelijke bias uit H5, omdat het een uitbreiding is van het lineaire model.
14.5 One-way repeated-measures ANOVA using SPSS: Net als bij alle andere toetsen kijken we
eerst naar de data: outliers, normaliteit, homogeniteit etc. Bij het runnen van de anova checken we
Mauchly's test. Als deze significant is kan je Greenhouse-Geisser gebruiken, multivariate tests
gebruiken of een multilevel model(MANOVA) gebruiken. Na je anova kun je weer follow-up tests doen,
namelijk planned comparisons bij specifieke hypotheses en post hoc tests als je die niet hebt. Ook
effect sizes berekenen.
Analyze General Linear Model Repeated Measures. Je moet de within-subject variabele kiezen
en het aantal niveaus selecteren(condities). Klik op add. Je kan ook meerdere factoren opgeven. Je
moet de condities vervolgens slepen naar de box.
Defining contrasts for repeated measures: Het is weer mogelijk om standaard contrasten te maken
door op 'contrasts' te klikken. Je kan zelf kiezen welke en wat je referentiecategorie wordt. Simpele
contrast is niet altijd handig als je geen controlecategorie hebt, dus kun je ook repeated contrast
doen deze vergelijkt elke groep met de vorige. Dit is handig als de onafhankelijke variabele een
belangrijke volgorde heeft.
Post hoc en andere opties: Je kan niet op de optie post hoc klikken bij repeated measures. Je kunt het
wel verkrijgen door op opties te klikken en dan sidak of bonferroni te kiezen. Tukey kan je gebruiken
als er sphericiteit is, en als dit er niet is dan Games-Howell. Je kan ook andere opties kiezen,
bijvoorbeeld om assumpties te checken.
Output voor one-way repeated-measures ANOVA: Je krijgt eerst descriptives waarin je kan zien of het
in de goede volgorde is toegevoegd. Dan gemiddelden per variabele. Ook Maughly's test(je hebt hier
minstens 3 levels voor nodig).
- Main anova Bij tests of within subjects effect zie je de SS van het model en de error. Ook F-waarde
en significantie niveau. Afhankelijk van of Maughly's test geschonden is, kijk je naar een bepaalde rij.
Deze hoofdtest zegt ons echter niets over welke groepen van elkaar verschillen. Greenhouse-Geisser
is vaak te streng(niet sig), terwijl Huynh-Feldt te mild is(sig). Je kan ze dan optellen en delen door 2
eventueel. Wat deze correcties doen is de df aanpassen, waardoor de F-waarde en p-waarde ook
veranderen.
Contrasten: Hier moet je eigenlijk niet naar kijken als het hoofdeffect niet significant is.
Post hoc kun je ook zien in een tabel.
Tips:
- One-way repeated-measures anova vergelijkt verschillende gemiddelden die van dezelfde persoon
komen
- Er is een extra assumptie: sphericiteit(alleen als er meer dan 3 condities zijn)
- Hiervoor gebruik je Mauchly's test, welke niet significant moet zijn
- De tabel 'tests of within-subjects effects' toont het hoofdresultaat van je anova. Kijk naar de juiste
rij(afhankelijk van maughly's test). Kijk vervolgens naar sig
- Kijk bij contrasten en post hoc tests ook naar sig.