Educational
research
–
Creswell
-‐
Hoofdstukken
10
t/m
17
Hoofdstuk
10
Experimenteel
ontwerp
Een
experimenteel
ontwerp
is
de
traditionele
aanpak
voor
kwantitatief
onderzoek.
In
een
experiment
test
je
een
idee,
of
oefening
of
procedure
om
te
bepalen
of
dit
de
afhankelijke
variabele
beïnvloedt
om
oorzaak
en
gevolg
te
bepalen
tussen
afhankelijke
en
onafhankelijke
variabelen.
Dit
zijn
gecontroleerde
effecten.
Alle
variabelen
moeten
gelijk
zijn
behalve
dat
wat
je
wilt
onderzoeken.
Begin
20e
eeuw
is
dit
soort
experimenten
ontstaan.
Belangrijkste
kenmerken
van
een
experiment:
• Random
toewijzing
• Controle
over
extra
variabelen
• Uitkomst
metingen
• Groepsvergelijkingen
• Bedreigingen
voor
de
validiteit
Het
toewijzen
van
individuen
op
volledig
random
wijze:
zuiver
experiment.
Bij
niet
volledig
random
toewijzing:
quasi-‐
experiment.
Random
toewijzing
gebruik
je
zo
dat
elk
voordeel
in
de
persoonlijke
kenmerken
van
de
individuen
gelijk
verdeeld
is
over
de
groepen.
Bij
het
randomiseren
controleer
je
alle
andere
kenmerken
van
de
deelnemers
die
invloed
zouden
kunnen
hebben.
Het
gelijkstellen
van
de
groepen
betekent
dat
de
onderzoeker
op
alle
variabelen
gelijk
stelt.
Bijeffecten
zijn
er
echter
altijd.
Random
toewijzing
is
iets
anders
dan
random
selectie
en
dienen
verschillende
doelen.
Random
selectie
is
een
representatief
deel
van
een
populatie
nemen,
waardoor
je
de
uitkomsten
kunt
generaliseren.
Experimenten
hebben
vaak
geen
random
selectie
omdat
de
deelnemers
participanten
zijn
die
beschikbaar
zijn
of
dat
er
vrijwilligers
worden
geworven.
Random
selectie
is
dus
niet
altijd
mogelijk.
Extra
factoren
zijn
alle
invloeden
in
de
selectie
van
deelnemers,
de
procedures,
de
statistieken,
of
het
passende
design
dat
invloed
kan
hebben
op
de
uitkomst
en
kunnen
een
andere
verklaring
geven
voor
de
resultaten
dan
verwacht.
Random
toewijzing
(assignment)
is
een
beslissing
die
voorafgaand
aan
het
onderzoek
wordt
gemaakt.
Andere
controle
procedures
zijn
pretests,
covariaten,
het
matchen
van
deelnemers,
gelijke
groepen,
en
het
blokkeren
van
variabelen.
Meestal
doen
onderzoekers
een
pretest.
Een
posttest
vindt
direct
na
de
interventie
plaats.
Pretesten
hebben
voor-‐
en
nadelen.
Ze
kosten
tijd
en
moeite
om
te
administreren.
Ze
kunnen
de
verwachtingen
van
de
deelnemers
beïnvloeden.
De
pretest
kan
het
experiment
beïnvloeden.
Wanneer
attitude
of
het
verwerven
van
vaardigheden
getest
wordt,
kan
de
score
worden
beïnvloed
door
dat
deelnemers
kunnen
anticiperen
op
de
vragen,
gebaseerd
op
de
ervaringen
van
de
pretest.
Covariaten
zijn
variabelen
die
de
onderzoeker
controleert
bij
de
statistiek
en
die
mogelijk
mede
van
invloed
zijn
op
de
resultaten.
De
statistische
analyse
met
een
covariabele
past
de
score
van
de
afhankelijke
variabele
aan.
Figuur
10.1
Zonder
covariaat
Met
covariaat
Onafhankeli Afhankelijke
Covariaat:
Onafhankelijke
Afhankelijke
jke
variabele
variabele:
variabele:
rokende
ouders
instructiesoort
mate
van
De
overlap
van
de
rondjes
is
de
variantie
die
bepaald
is
door
de
onafhankelijke
variabele,
de
rest
van
het
hokje
afh.
var.
is
onverklaard.
Overlap
afh.
met
covariabele
is
variantie
bepaald
door
covariabele.
Rest
van
afh.
onverklaard.
Het
matchen
van
deelnemers.
Dit
is
het
proces
van
het
bepalen
van
persoonlijke
kenmerken
op
grond
waarvan
individuen
gelijk
verspreid
worden
over
de
experimentele
of
controlegroep.
Bv:
geslacht,
pretest
scores,
individuele
capaciteiten.
Homogeen
samplen:
het
selecteren
van
mensen
met
zo
weinig
mogelijk
1
,verschil
in
persoonlijke
kenmerken.
Hoe
beter
dit
lukt,
hoe
meer
de
onderzoeker
controle
heeft
over
het
experiment.
Het
blokken
van
variabelen:
de
deelnemers
worden
voorafgaand
verdeeld
in
subgroepen
en
de
uitkomst
wordt
geanalyseerd.
Bv.
de
variabele
geslacht
kan
worden
geblokt
in
mannen
en
vrouwen.
In
een
experiment
intervenieert
de
onderzoeker
door
de
experiment
condities
te
veranderen.
Om
een
experiment
te
doen
moet
je
ten
minste
één
variabele
kunnen
manipuleren.
Sommige
condities
kunnen
niet
gemanipuleerd
worden,
zoals
leeftijd
of
geslacht.
De
uitkomst
is
de
afhankelijke
variabele.
Het
is
ook
het
effect
dat
voorspeld
is
in
de
hypothese.
Goede
uitkomstmetingen
zijn
gevoelig
voor
metingen
en
reageren
op
de
kleinste
interventie.
Groepsvergelijking
is
het
proces
dat
de
onderzoeker
scores
krijgt
van
individuen
of
groepen
op
de
afhankelijke
variabele
en
de
gemiddelden
en
variantie
vergelijkt
binnen
de
groep
en
tussen
de
groepen.
Ten
slotte
bepaalt
de
onderzoeker
of
de
interventies
goed
of
niet
zijn.
Bedreigingen
van
de
correcte
interventie
moeten
bepaald
worden.
Bedreiging
van
de
validiteit
refereert
naar
specifieke
redenen
waarom
we
een
interventie
doen,
of
een
oorzaak
construeren,
of
dat
er
een
causaal
verband
is.
Vier
soorten
validiteit:
• Statistische
conclusie
validiteit:
een
passend
gebruik
van
de
statistieken.
• Construct
validiteit:
de
validiteit
van
de
interventies.
• Interne
validiteit:
de
validiteit
van
de
interventies
als
conclusie
getrokken
over
het
effect
hiervan
op
de
afhankelijke
variabele.
• Externe
validiteit:
in
hoeverre
de
uitkomsten
te
generaliseren
zijn
naar
andere
personen
of
situaties.
Bedreigingen
van
de
interne
validiteit
zijn
problemen
in
het
weergeven
van
de
correcte
interventies
over
of
de
covariabele
invloed
heeft
tussen
de
veronderstelde
behandeling
en
de
uitkomst
en
daarmee
onterecht
een
relatie
tussen
deze
twee
weergeeft.
Bedreigingen
gerelateerd
aan
deelnemers:
• Verleden
–
tussen
pretest
en
posttest
kunnen
gebeurtenissen
plaatsvinden
die
de
deelnemers
beïnvloeden,
het
is
onmogelijk
alle
omstandigheden
te
controleren
• Groei
–
individuen
ontwikkelen
zich
gedurende
het
experiment.
Een
zorgvuldige
selectie
van
deelnemers
die
gelijk
opgaan
in
groei
kan
helpen.
• Regressie
–
wanneer
individuen
geselecteerd
zijn
op
extreme
scores,
doen
ze
het
natuurlijk
beter
of
slechter
op
de
posttest
dan
op
de
pretest.
Selecteren
op
minder
extreme
scores
helpt.
• Selectie
–
mensen
die
slimmer,
meer
vatbaar
voor
de
interventie
of
meer
gewend
aan
de
interventie
zijn,
hebben
andere
uitkomsten.
Random
selectie
kan
helpen.
• Mortaliteit-‐
uitval
van
deelnemers
door
tijdgebrek,
verlies
van
interesse/
belang,
geld,
vrienden
ed
maakt
het
moeilijk
conclusies
te
trekken.
Neem
een
grote
groep
en
vergelijk
de
drop-‐outs
met
mensen
die
gebleven
zijn.
• Interactie
met
de
selectie:
een
aantal
eerder
genoemde
bedreigingen
kan
van
invloed
zijn
op
de
selectie
van
deelnemers
en
voegt
extra
bedreigingen
toe
aan
een
experiment.
Bv.
eerdere
gebeurtenissen
kunnen
de
selectie
mede
bepalen
omdat
individuen
in
verschillende
groepen
komen
van
verschillende
sociaal
economische
achtergronden.
De
selectie
van
deelnemers
kan
de
scores
beïnvloeden.
Bedreigingen
gerelateerd
aan
de
interventie
• Verspreiding
van
de
behandeling-‐
wanneer
de
groepen
met
elkaar
kunnen
communiceren,
kan
de
controlegroep
leren
van
de
experimentele
groep.
Deze
groepen
moeten
zoveel
mogelijk
gescheiden
blijven.
• Compenserende
gelijkmaking-‐
wanneer
alleen
de
experimentgroep
een
behandeling
krijgt,
treedt
er
ongelijkheid
op.
De
voordelen
van
een
behandeling
moeten
gelijk
worden
verdeeld
over
de
groepen.
(bv
de
een
krijgt
les
over
gezondheidsrisico’s,
de
ander
krijgt
lectuur).
• Compenserende
rivaliteit-‐
wanneer
de
toewijzing
van
de
groepen
gepubliceerd
wordt,
kunnen
de
deelnemers
van
de
controlegroep
zich
achtergesteld
voelen.
Dit
kan
voorkomen
worden
door
niet
kenbaar
te
maken
wie
in
welke
groep
zit.
• Wrokkige
demoralisatie-‐
deelnemers
van
de
controlegroep
kunnen
zich
benadeeld
voelen
omdat
ze
een
mindere
behandeling
krijgen
dan
de
andere
groep.
Een
oplossing
is
een
behandeling
ter
2
, beschikking
te
stellen
na
afloop
van
het
experiment.
Deze
kunnen
anders
zijn
dan
de
experiment
behandeling
maar
moeten
wel
even
aantrekkelijk
zijn.
Bedreigingen
gerelateerd
aan
de
procedures
• Test
effect
–
de
deelnemers
kunnen
vertrouwd
raken
met
de
uitkomstmetingen
en
zich
reacties
herinneren
bij
latere
tests.
Een
oplossing
is
minder
vaak
en
andere
items
meten.
• Instrumentatie-‐
tussen
de
administratie
van
de
pretest
en
de
posttest
kunnen
de
instrumenten
veranderen.
Bv.
observanten
worden
meer
ervaren
en
veranderen
hun
procedures.
Oplossing:
procedures
standaardiseren.
Bedreigingen
van
de
externe
validiteit
verminderen
de
mogelijkheid
tot
extrapoleren.
• Interactie
van
de
selectie
en
de
behandeling-‐
dit
houdt
in
de
onmogelijkheid
tot
generaliseren
voorbij
de
experimentele
groepen:
bv
selectie
op
ras,
sociale
factoren,
geografische
factoren,
leeftijd,
geslacht
of
persoonlijkheid.
Onderzoekers
maken
deelname
aan
het
experiment
voor
iedereen
zo
gemakkelijk
mogelijk
• Interactie
van
omgeving
en
behandeling-‐
als
een
omgeving
niet
gegeneraliseerd
kan
worden
naar
een
andere
is
dat
een
bedreiging.
Bv.
private
scholen
zijn
verschillend
van
publieke,
dat
kan
invloed
hebben
op
de
uitkomst.
• Interactie
van
verleden
en
behandeling-‐
als
vroegere
uitkomsten
naar
de
toekomst
worden
gegeneraliseerd,
kan
dat
een
bedreiging
zijn.
bv.
een
experiment
aan
het
begin
van
het
schooljaar
kan
andere
uitkomsten
hebben
dan
een
experiment
halverwege
het
schooljaar.
Soorten
experimenteel
design
Design
tussen
groepen:
• Zuiver
experiment
(pre
en
posttest,
alleen
posttest)
• Quasi-‐
experiment
(pre
en
posttest,
alleen
posttest
• Factoriële
designs
Tussen
groepen
en
individuen
designs:
• Tijds-‐series
experiment
(onderbroken,
gelijkwaardig)
• Herhaalde
metingen
• Enkele
subjecten
Tabel
10.1
–
soorten
experimenteel
design
Zuiver
Quasi-‐
Factorieel
Time
Herhaalde
Enkele
experiment
experiment
design
series
metingen
subjecten
Random
toewijzing
ja
nee
kan
nee
nee
nee
Aantal
Twee
of
meer
Twee
of
meer
Twee
of
Één
groep
Één
groep
Één
individue
groepen/individuen
meer
bestudeerd
op
een
moment
Aantal
interventies
Één
of
meer
Één
of
meer
Twee
of
Één
of
meer
Twee
of
Één
of
meer
meer
meer
Aantal
keren
Één
keer
Één
keer
Één
keer
Na
elke
Na
elke
Vaak
meting
van
interventie
interventie
afhankelijke
variabelen
Gebruikte
Pretest,
Pretest,
Pretest,
Pretest,
Pretest
en
Individuen
controles
matching,
matching,
matching,
covariabelen
covariabelen
krijgen
hun
blokken,
blokken,
blokken,
eigen
coraviabelen
coraviabelen
coraviabelen
controle
Bij
Time
Series
als
bij
Repeated
Measures
bestaan
de
typische
controls
uit:
Pretest
en
Covariates.
Enerzijds
kan
men
gemid
delde
scores
(en
varianties)
op
de
posttest(s)
vergelijken
met
die
op
de
pretest(s).
Anderzijds
kan
men
de
scores
(en
varianties)
op
de
posttest(s)
analyseren
waarbij
de
scores
op
de
pretest(s)
als
covariate
gebruikt
worden
(en
dus
gecontroleerd
worden).
Tabel
10.2:
bedreigingen
voor
de
interne
validiteit
–
boek
blz
334
3
, Tussen-‐groepen
designs
Dit
is
het
meest
voorkomend.
Zuiver
experiment:
het
meest
strikt
experimentele
design
omdat
de
groepen
via
random
toewijzing
gelijkgetrokken
worden.
De
experimentgroep
krijgt
een
interventie,
de
controlegroep
niet.
Na
de
behandeling
krijgen
de
groepen
een
posttest.
Een
variatie
is
om
ook
een
pretest
te
doen.
De
posttestscores
worden
vergeleken.
De
pretest
is
vaak
een
covariabele
en
dus
statistisch
gecontroleerd.
Door
random
selectie
treden
een
aantal
interne
bedreigingen
niet
op.
Wanneer
zuivere
experimenten
alleen
een
posttest
hebben,
vermindert
dat
het
gevaar
van
historie
(verleden),
testeffect,
instrumentatie,
en
regressie.
Quasi-‐experiment
Vaak
moeten
bestaande
groepen
worden
gebruikt
(bv
schoolklassen).
Quasi-‐experimenten
hebben
geen
random
toewijzing.
Bv.
een
nieuwe
wiskunde
methode
wordt
vergeleken
in
twee
klassen
van
hetzelfde
niveau.
Tabel
10.3
Tussen
groepen
design
Zuiver
experiment
Pre-‐
en
posttest
design
Random
toewijzing
controlegroep
pretest
Geen
behandeling
Posttest
Random
toewijzing
Experimentele
groep
pretest
experiment
Posttest
Enkel
posttest
design
Random
toewijzing
Controlegroep
Geen
behandeling
Posttest
Random
toewijzing
Experimentele
groep
experiment
Posttest
Quasi-‐experiment
Pre-‐
en
posttest
design
Geselecteerde
controlegroep
pretest
Geen
behandeling
Posttest
Geselecteerde
experimentele
groep
pretest
experiment
Posttest
Enkel
posttest
design
Geselecteerde
controlegroep
Geen
behandeling
Posttest
Geselecteerde
experimentele
groep
experiment
Posttest
Een
quasi-‐experiment
houdt
meer
bedreigingen
in
van
de
interne
validiteit,
van
groei,
selectie,
mortaliteit
(uitval)
en
de
interactie
van
selectie
met
andere
bedreigingen.
Factorieel
design
Soms
zijn
er
meer
interventies
om
de
uitkomsten
te
verklaren.
Factorieel
design
is
een
aanpassing
van
de
tussen-‐groepen
design
waarin
meer
categorische,
onafhankelijke
variabelen
bestudeerd
worden,
onderzocht
op
meerdere
niveaus.
Doel
is
de
onafhankelijke
en
gelijktijdige
effecten
van
twee
of
meer
interventies
te
bestuderen.
(in
het
rokers
voorbeeld:
niet
alleen
meten
het
effect
van
lessen
over
gezondheidsrisico
maar
ook
niveau
van
depressie
van
leerlingen
omdat
de
onderzoeker
denkt
dat
er
een
relatie
is
tussen
roken
en
depressiviteit.
Depressiviteit
is
een
modererende
variabele.
De
onderzoeker
maakt
‘blokken’
van
leerlingen
die
erg,
matig
of
niet
depressief
zijn.
Voordeel
is
een
hoog
niveau
van
controle
over
het
experiment).
In
het
factoriële
design
is
de
statistiek
complex
en
de
resultaten
lastig
te
begrijpen.
Meestal
worden
niet
meer
dan
drie
onafhankelijke
variabelen
opgenomen
vanwege
de
complexiteit
van
te
meten
interacties.
6
groepen:
3
verschillende
maten
van
depressiviteit
en
2
verschillen
in
behandeling:
wel
of
niet.
Dit
heet
2
x
3
factorial
design.
Met
drie
onafhankelijke
variabelen
heet
het
2
x
3
x
4
factorieel
design,
met
een
derde
variabele
van
vier
niveaus.
4