Samenvattin
Experimenteel onderzoe
Thema 1: Experimentele design
1. Ethiek van experimenteel onderzoe
2. Bedreigers van validitei
3. Experimente
4. Experimentele design
Recap Inleiding Data-analys
Overzicht statistische toetse
Thema 2: Factoriële design
1. Kanskapitalisati
2. Manipulatiecheck
3. T-toetse
4. Factoriële ANOV
Thema 3 : Repeated-measures design
1. One-way herhaalde metingenontwer
2. Mixed design ANOV
3. Multilevel analys
Thema 4: Covariantie analys
1. De covariaa
n
t
n
e
A
e
s
g
A
s
t
s
n
e
s
k
p
s
k
, Introductie tot de cursu
Experiment: gecontroleerde methode van waarnemen waarbij de waarden van één of meer
onafhankelijke variabelen door de onderzoeker worden gemanipuleerd om het oorzakelijke of
causale effect daarvan vast te stellen op één of meer afhankelijke variabelen
Bij experimenteel onderzoek gaat het om een door de onderzoeker gecreëerde situatie waarin hij
de onafhankelijke variabele (ook wel experimentele of oorzaakvariabele) manipuleert door een
bepaalde categorie mensen bloot te stellen aan een experimentele stimulus of experimentele
ingreep en een andere categorie mensen daar niet aan bloot te stellen
Door deze manipulatie kan de onderzoeker nagaan of en in welke mate de onafhankelijke
variabele het beoogde effect heeft op de afhankelijke variabele. Hij kan vaststellen of er een
causaal effect is tussen de onafhankelijke en de afhankelijke variabele
Voorwaarden voor een causale relatie
• Er moet een statistisch verband zijn tussen de predictor en de afhankelijke variabele
• De predictor moet in de tijd voorafgaan aan de afhankelijke variabele
• De relatie tussen de predictor en de afhankelijke variabele wordt niet veroorzaakt door een
derde (mogelijk onbekende) variabele.
:
s
.
.
.
.
, 1. Experimentele designs en validitei
Ethiek van experimenteel onderzoe
Ethische doelstellingen werden opgesteld om onderzoekers erop attent te houden steeds de
rechten en waardigheid van de deelnemers aan hun onderzoek te bewaren
De belangrijkste overkoepelende richtlijn is de ‘minimized harm’: het onderzoek moet zo worden
opgesteld dat het de proefpersoon zo min mogelijk belast
Informed consen
Informed consent
Informed consent: Waar mogelijk moeten onderzoekers ernaar streven voorafgaand toestemming
te bekomen van hun deelnemers. Bij actieve informed consent moet de deelnemer actie
ondernemen om deel te nemen, bvb het ondertekenen van de informed consent. Bij passieve
informed consent moet de deelnemer een handeling verrichten om niet deel te nemen aan een
onderzoek, bvb het niet invullen van een vragenlijst.
Vereiste informatie in de informed consent
• Deelname is vrijwillig en weigeren heeft geen negatieve consequenties
• Men heeft het recht de deelname zonder opgave van reden op elk ogenblik te stoppen
• Beschrijving van het doel van het onderzoek (indien mogelijk)
• Beschrijving van de onderzoeksprocedure
• Beschrijving van alle voorziene risico’s en ongemakken
• Maatschappelijk nut van het onderzoek
• Duur van het onderzoek
• Contactinformatie
• Beschrijving verwerking gegevens. Anonimiteit ja dan nee
Debrie ng: zo snel mogelijk na a oop van het onderzoek is het ethisch om de deelnemers de
gelegenheid te geven om het onderzoek te bespreken en vragen te stellen. Dit is ook het moment
waarop een deelnemer verneemt of hij in een experimentele dan wel de controlegroep was
ingedeeld. In geval van bedrog krijgt de deelnemer tijdens de debrie ng openheid over de aard
van het onderzoek
Bedrog: Als een onderzoek niet zonder bedrog kan gevoerd worden, zal de onderzoeker de
ethische commissie daarvan vooraf moeten overtuigen. Over het algemeen is bedrog onacceptabel
als deelnemers zich na a oop geschoffeerd zouden kunnen voelen of geëmotioneerd zouden
kunnen geraken na de debrie ng. De 3 belangrijkste soorten van bedrog zijn
• Het gebruik van handlangers: het gebruik van acteurs of onderzoeksassistenten die zich
voordoen als respondenten (zie bvb lijnexperiment van Ash)
• Staged manipulations in eld settings: de omstandigheden manipuleren waarin een
proefpersoon zich bevindt om een bepaald effect op de proefpersoon op te wekken
• Misleidende instructies: de aard van het onderzoek van bij de start misleidend voorstellen
(bvb het Milgram-experiment)
fi .
.
t
.
fl fifi.
fl .
.
:
k
.
.
?
t
.
.
.
fi .
:
.
.
,Het schrijven van de procedure in een methodesecti
De proceduresectie (met oa info over ethische aspecten van de experimentele manipulatie) is in een
experimenteel onderzoek vaak vele malen groter dan bij een niet-experimenteeel onderzoek. Deze
moet enerzijds bondig zijn, maar tegelijkerdtijd voldoende gedetailleerd zodat andere onderzoeker
het onderzoek kunnen repliceren
Informatie (cfr structuurwoorden) die in een proceduresectie moet staan
• Een samenvatting van de instructies die proefpersonen ontvangen hebben
• Samenvatting van de speci eke experimentele manipulaties
• Methodes van experimentele controle: counterbalancing of andere
• Duur van het experiment
• Eventuele beloning voor participatie
Samenvatting
Bedreigers van interne en externe validitei
Validiteit vs betrouwbaarhei
Betrouwbaarheid en validiteit zijn twee van elkaar losstaande concepten. Betrouwbaarheid is een
statistisch probleem, validiteit is meer een loso sch probleem
Betrouwbaarheid
Betrouwbaarheid: De mate waarin een meting bij herhaling hetzelfde resultaat oplevert oftewel
de stabiliteit van een meetinstrument over herhaalde metingen. Hierbij wordt aangenomen dat
datgene dat wordt gemeten stabiel is. Betrouwbaarheid is synoniem aan ruis of error. Alle
inconsistenties die in metingen ontstaan om puur willekeurige redenen, zijn problemen van
betrouwbaarheid. Bij betrouwbaarheid poogt men te kwanti ceren in welke mate de
meetinstrumenten tot consistente resultaten leiden.
.
fi .
d
.
fi fi .
t
.
e
?
fi :
.
, Validiteit
Validiteit: de mate waarin een meetinstrument meet wat het moet meten. Om valide te zijn moet
een meetinstrument verschillen reproduceren in de data die in een onderzoek worden
verzameld. Deze vereiste gevoeligheid voor variaties kan haaks lijken te staan op de behoefte
betrouwbaar te zijn: immers, hoe gevoeliger een meetinstrument is voor subtiele verschillen, hoe
eerder ook niet relevante verschillen worden opgepikt, waardoor het meetinstrument minder
betrouwbaar wordt. Wanneer er systematische redenen zijn waarom metingen van elkaar
afwijken, spreekt men van bias, een kwestie van validiteit: meten we wel wat we willen meten?
Als men spreekt over validiteit dan vraagt men zich af in hoeverre het onderzoek vrij is van bias.
Interne validitei
Interne validiteit
De interne validiteit betreft de vraag of er voldoende bewijs is dat X veranderingen op Y
veroorzaakt, oftewel of de causale relatie tussen twee variabelen voldoende is aangetoond.
Interne validiteit is dus de mate waarin je met zekerheid kunt stellen dat een vastgestelde
oorzaak-gevolgrelatie (causaal verband) niet door andere factoren kan worden verklaard.
Een causaal verband kan enkel bestaan wanneer aan drie condities is voldaan
• De oorzaak doet zich voor voorafgaand aan het effect (temporeel precedent)
• De oorzaak en het gevolg zijn aan elkaar gerelateerd (covariatie)
• Er zijn geen plausibele alternatieve verklaringen voor de geobserveerde covariatie (er is geen
schijnverband)
In een experiment zal de onderzoeker trachten causale interferenties te vermijden door zo veel
mogelijk verstorende factoren te controleren en enkel de experimentele (onafhankelijke) variabele
te manipuleren, zodoende het effect op de afhankelijke variabele te kunnen observeren
Externe validitei
Externe validiteit
Externe validiteit is de mate waarin resultaten kunnen gegeneraliseerd worden naar andere
omstandigheden of groepen.
Er zijn twee soorten van generaliseerbaarheid
• Generaliseerbaarheid over situaties of ecologische validiteit: de mate waarin situaties in het
experiment gegeneraliseerd kunnen worden naar real-life situaties
• Generaliseerbaarheid over mensen: de mate waarin de mensen die aan het onderzoek hebben
deelgenomen een weergave zijn van de doelpopulatie in het algemeen
Er is een spanningsveld tussen externe en interne validiteit, bvb hoe meer men situaties in een
experiment gaat controleren, hoe minder realistisch het wordt. Onderzoekers moeten daarom voor
elk speci ek geval beoordelen welke validiteitsbedreigers het grootste gevaar kunnen zijn
fi .
t
t
:
.
.
.
.
:
.
.
, Bedreigers van interne validiteit in experimenteel onderzoe
Bedreigers van interne validiteit
Tussentijds extern voorva Speci eke gebeurtenissen die plaatsvinden tussen de eerste en
(History) de tweede meting.
Rijping of groe Veranderingen die over tijd in proefpersonen optreden.
(Maturation)
Testeffect De effecten die de voormeting heeft op de resultaten van de
daarop volgende testen.
Instrumentatie Veranderingen in meetinstrumentaria of beoordelaars die
veranderingen in onderzoeksresultaten in gang zetten. Een van
de mogelijke oplossingen is het toepassen van een retrospectieve
voormeting: ipv een echte voormeting worden proefpersonen nà
a oop van het onderzoek gevraagd naar hun begrip of
vaardigheid voorafgaand aan de treatment.
Statistische regressi Extreme proefpersoonkenmerken bij voormeting die natuurlijk
(Regression to the mean) terugzakken/-groeien naar een minder extreem niveau.
Statistische regressie verwijst niet naar een statistische toets,
maar naar natuurlijke terugval die kan optreden na een extreme
gebeurtenis (een regressie). Statistische regressie verwijst naar de
neiging van variabele eigenschappen in een populatie om van
extreme waarden naar meer gemiddelde waarden te verplaatsen.
Selectie De vergeleken condities zijn niet vergelijkbaar door verschillende
steekproefkenmerken op eigenschappen die voor het onderzoek
relevant zijn.
Uitva Proefpersonen die niet meer meewerken aan latere metingen in
(Experimental mortality) het experiment om redenen die relevant kunnen zijn voor de
steekproefkenmerken van het experiment.
Interactie tussen bedreigers Een combinatie van bedreigers die elkaar versterken.
Verspreiding van de ingreep Informatie/uitleg in de ene conditie wordt ook bekend onder
deelnemers in de andere conditie
Compenserende rivaliteit De deelnemers in verschillende onderzoekscondities gaan in
competitie met deelnemers in de andere condities. Ook wel het
‘John Henry-effect’ (een arbeider die beter dan een machine ging
presteren in een experiment, omdat hij zich ervan bewust was dat
zijn prestaties met die van de machine vergeleken werden).
fl fil
i
e
l
k
, Bedreigers van externe validitei
Bedreigers van externe validiteit
Interactie voormeting en externe Wanneer de voormeting een situatie creëert die zich buiten
stimulus het experiment niet voor zou doen; bvb de voormeting
maakt deelnemers meer bewust van waarnaar ze worden
gevraagd. Naast leren uit de voormeting (probleem van
interne validiteit) is een voormeting ook onnatuurlijk: in de
realiteit worden mensen niet gemeten voordat ze gedrag
vertonen. Om reactiviteit te voorkomen kan de onderzoeker
de voormeting weglaten, kiezen voor een retrospectieve
voormeting of proefpersonen misleiden.
Niet-representatieve steekproeven Selectie van proefpersonen wijkt af van de populatie waar
het effect in plaats zou moeten vinden.
Reactieve experimentele locatie Proefpersonen kunnen zich te coöperatief opstellen jegens
de proe eider, maar ook verwachtingen die proe eiders zelf
hebben over de resultaten van het experiment kunnen soms
een aantoonbaar effect hebben op die resultaten, ook wel
‘experimenter bias’. Het is ook mogelijk dat proe eiders op
grond van hun ideeën over de uitkomsten van het
experiment, bepaalde reacties of gedragingen die in strijd
zijn daarmee, niet opmerken of signaleren of ‘selectieve
perceptie’. Dit kan men voorkomen door deelnemers blind te
houden voor de conditie waarin ze ingedeeld zijn. Als ook
de proe eiders deze info niet hebben, is het experiment
‘dubbelblind’.
* Experimenter bias is lastig te kwali ceren als een bedreiger van interne of externe validiteit. De
redenen om het bij externe validiteit te plaatsen zijn bijzonder subtiel verschillend van de redenen
om het bij de interne validiteit te plaatsen. Waarom experimenter bias toch als een bedreiging van
externe validiteit wordt genoemd is dat de aanwezige proe eider een bijzondere omgeving schept
met de eigen aanwezigheid en eigen biases. Dezelfde groep personen met dezelfde experimentele
manipulaties zouden zich bij een andere proe eider anders gedragen. Omdat dit heel dicht
aanleunt bij ecologische validiteit wordt experimenter bias bij de externe validiteitsbedreigers
ingedeeld. Consensus hierover ontbreekt echter
Experimente
Doe
Menselijk gedrag kent oneindig veel factoren die op de voor- of achtergrond spelen van het
vertoonde gedrag. Ook zijn we van nature geneigd om patronen te zien, zelfs als die er niet zijn.
Het gros van psychologische onderzoek stelt de vraag waarom een bepaald gedrag zich voordoet
De enige manier om causaliteit vast te stellen is via een experiment.
Alle typen experimenten hebben met elkaar gemeen dat condities of procedures onder strenge
controle worden gehouden of gemanipuleerd (‘treatments’).
l
flfl n
fi t
.
flfl fl
.
, Er zijn grofweg twee groepen van experimenten
• Zuivere experimente
• Quasi-experimenten
Er zijn twee families van designs
• tussenproefpersonendesigns
• binnenproefpersonendesign
Zuiver experiment vs quasi-experimen
Zuiver experiment
In een zuiver experiment wordt randomisatie toegepast om proefpersonen aan experimentele
condities of manipulaties toe te wijzen. Van belang is niet hoe proefpersonen in de steekproef
terecht zijn gekomen, maar hoe ze in hun experimentele conditie terecht zijn gekomen.
Quasi experiment
In een quasi-experiment wordt geobserveerd en gemanipuleerd in ‘bestaande’ groepen. Er wordt
dus niet gerandomiseerd bij de toewijzing van deelnemers aan condities. Dit maakt quasi-
experimentele designs iets zwakker dan zuivere experimenten.
Bij zuivere experimenten hield randomisatie structurele verschillen tussen proefpersoon
kenmerken onder controle. Bij quasi-experimenten is dit niet het geval en dient deze problematiek
statistisch onder controle gebracht te worden. Onderzoekers kunnen variabelen meenemen in hun
onderzoek waarvan ze een theoretisch onderbouwd vermoeden hebben dat deze verstorende
achtergrondkenmerken kunnen zijn. De variabelen worden covariaten genoemd en kunnen in
speci eke statistische analyses gebruikt worden om proefpersonen op die variabelen ‘gelijk te
trekken’, in de hoop de kracht van randomisatie te benaderen
Between-subject vs within-subjects design
Between-subjects design
Between-subjects designs of tussenproefpersonendesigns: studies waarbij iedere proefpersoon
aan slechts een enkele experimentele conditie wordt blootgesteld. Hierdoor ontstaan groepen
van proefpersonen die als groepen vergeleken kunnen worden.
Within-subjects design
Within-subjects designs of binnenproefpersonendesigns: studies waarin alle proefpersonen aan
alle experimentele en controlecondities worden blootgesteld. Ook wel het ‘repeated-measures’
design: de reacties van alle proefpersonen worden gemeten na het toedienen van elke treatment.
Een nadeel van within-subject desings is dat er volgorde-effecten kunnen optreden. Om dit te
voorkomen gebruikt met counterbalancing: het over deelnemers variëren van de volgorde waarin
treatments worden aangeboden
Mixed-designs: de combinatie van within-subject en between-subject designs.
fi
n
s
.
:
:
t
s
.
, Controlegroepe
Mill’s methode (naar John Stuart Mill): het vergelijken van de gevonden effecten in een groep met
de effecten in een groep die geen treatment kreeg. In Mill’s concept van controlegroepen dienen
experimenten twee vormen van bewijs te leveren
• Method of agreement: een experiment moet aantonen dat indien X zich voordoet, Y zich ook
voordoet. Dit betekent dat als er minstens twee situaties zijn waarin Y zich voordoet en X is in
beide gevallen aanwezig, dan is X een ‘suf cient condition’ voor Y, oftewel X is dan voldoende
om het effect in Y in gang te zetten
• Method of difference: als X zich niet voordoet (-X) dan mag Y zich ook niet voordoen. Dit
betekent dat het vermoedde effect Y afwezig is als het vermoedde effect X afwezig is dan is X
een ‘necessary condition’ voor Y, oftewel X is dan absoluut onmisbaar om het effect in Y in gang
te zetten.
Om de causaliteit van sommige vragen te beantwoorden is het soms noodzakelijk om een
controlegroep waar een treatment niet optreedt (-X) aan het experiment toe te voegen. Schematisch
is een simpel voorbeeld van Mill’s methode:
Experimentele groep: Als X, dan
Controlegroep: Als -X, dan -Y
Mill’s method voorkomt dat experimenteel onderzoek de vorm ‘onschuldig is tot schuldig
bewezen’ aanneemt. Het gebeurt weleens dat een onderzoeker een sterke claim doet op basis van
een observatie en critici worden uitgedaagd om dan maar te bewijzen dat deze claim niet waar is.
Een goed onderzoeker test dus zelf beide claims
Het is niet altijd mogelijk om ethische of praktische redenen om een controlegroep aan het
experiment toe te voegen. Onderzoekers kunnen bvb niet een groep terminale patiënten een
experimenteel geneesmiddel toedienen en de controlegroep niet behandelen. In zulke gevallen
kunnen onderzoekers soms de wachtlijst als een soort controlegroep gebruiken, maar mensen
kunnen niet eeuwig kunstmatig op een wachtlijst worden gezet
Matchen en homogenisere
Via randomisatie kunnen allerlei externe factoren die naast of in plaats van de experimentele
variabele effect kunnen hebben op de afhankelijke variabele onder controle gehouden worden.
Matchen en homogeniseren zijn methodes die trachten de experimentele en controlegroep gelijk te
maken op een aantal externe bekende kenmerken waarvan men denkt dat ze in belangrijke mate
van invloed zijn op de afhankelijke variabele.
Bij matching wordt rekening gehouden met de diversiteit in een populatie. Men dekt een bredere
populatie in het onderzoek, maar essentiële verschillen (bvb leeftijd, geslacht,..) worden opgelost
door in iedere conditie iemand te plaatsen die op belangrijke achtergrondkenmerken gelijk is. Dit
kan heel gericht via precisiecontrole, maar als het volstaat dat de achtergrondkenmerken op
zichzelf voldoende voorkomen in elke conditie, gebruikt men globale controle
• Precisiecontrole: trachten voor elke proefpersoon in de experimentele groep een proefpersoon
te vinden voor de controlegroep, die op de aangegeven variabelen gelijk is aan eerstgenoemde
eenheid. Nadat op deze wijze paren zijn gevormd, wordt op toevalsbasis bepaald wie van elk
paar in de experimentele groep terechtkomt en wie in de controlegroep. Hoe groter het aantal
variabelen waarop men wil wil matchen, hoe groter de steekproef moet zijn
n
.
Y
n
.
fi
.
:
.
.
:
, • Globale controle: ernaar streven de frequentie van een aantal belangrijke kenmerken in de
experimentele groep en controlegroep aan gelijk te zetten. Bij precisiecontrole zoekt men een
zo goed mogelijke ‘kopie’ van iedere proefpersoon, maar bij globale controle wordt getracht
om ieder kenmerk van individuen gelijk te verdelen over condities. Omdat de condities
slechts per afzonderlijk kenmerk aan elkaar gelijk zijn en niet wat betreft de kenmerken-in-
combinatie betreft globale controle een grovere wijze van matchen dan precisiecontrole
Designs waarin gematcht wordt, leveren data uit soms zeer diverse proefpersonen. De extra ruis
van deze mogelijk betere en bredere weergave van de doelpopulatie zorgt ervoor dat ver jnde
effecten moeilijker te vinden kunnen zijn. Diverse proefpersoonkenmerken zijn zelf ook een bron
van verstorende variabelen.
Om het eventuele effect van een externe variabele op een afhankelijke variabele te elimineren, kan
men proefpersonen ook homogeniseren: de proefpersonen zo kiezen dat de groepen zo homogeen
mogelijk op die externe variabele zijn. Als het vermoeden bvb bestaat dat leeftijd een storende
variabele is bij het bepalen van het effect van de experimentele variabele, dan kan het experiment
beperkt worden tot alleen jongeren of alleen ouderen. Omdat de steekproef bestaat uit
proefpersonen die allen op relevante variabelen op elkaar lijken is er minder ruis door variatie.
Deze winst in power gaat dan ten koste van een (beetje) externe validiteit. Maw: men wilt geen
diversiteit in de populatie en dus een nauwere populatie dekken door zo veel mogelijk
achtergrondverschillen uit te slechteren zodat in de steekproef een heel speci ek soort van
deelnemers overblijft. Hoewel dit moeilijker te generaliseren is naar de brede populatie, is er wel
minder ruis bij het vergelijken van groepen
Bij homogeniseren en matchen moet men zich beperken tot die externe kenmerken waarvan
bekend is of het vermoeden bestaat dat ze invloed hebben of zouden kunnen hebben op de
afhankelijke variabele. Deze procedures kunnen dus niet worden opgevat als vervanging voor
randomisatie, maar kunnen ermee gecombineerd worden
Gerandomiseerd blokontwer
De kern van de randomisatie is dat iedere eenheid die geobserveerd wordt in het experiment
evenveel kans moet hebben gehad om in een van de experimentele condities terecht te komen
Bij gerandomiseerd blokontwerp of groepsgewijs matchen worden deelnemers ingedeeld in globale
homogene categorieën (bvb geslacht) en vervolgens random toegewezen aan de controle- of de
experimentele groep
• Aan elk blok wordt een gelijk aantal proefpersonen toegewezen (bvb man/vrouw).
• De controle- en experimentele groep krijgen evenveel proefpersonen toegewezen
• Toewijzing van de proefpersonen gebeurt op basis van toeval
Via deze procedure kan ervoor worden gezorgd dat de experimentele en controlegroep volledig
gelijk zijn op de kenmerken die de basis vormden voor de indeling in blokken. Doordat de selectie
van de proefpersonen uit de blokken en de toewijzing aan de experimentele of aan de
controleconditie gebeurt door toeval, kan men ervan uitgaan dat de controle- en experimentele
groepen aan elkaar gelijk zijn op allerlei kenmerken die in het onderzoek niet worden gemeten.
Het gerandomiseerd blokontwerp is een vorm tussen precisie- en globale controle
:
p
.
.
.
.
.
fi .
fi.
