Onderzoekspracticum inleiding onderzoek
Thema 1 – Basis concepten
1.1 Wetenschappelijk onderzoek
Empirisch onderzoek is onderzoek waarbij data worden verzameld. In de praktijk is bijna al
het onderzoek te beschouwen als empirisch onderzoek.
De empirische onderzoekscyclus omvat vijf fasen. * onderzoeksvraag formuleren * studie
ontwerpen * data verzamelen * data analyseren * rapporteren.
Om te weten hoeveel data verzameld moeten worden, worden poweranalyses gedaan.
Het vastleggen van de onderzoeksvraag, onderzoeksopzet en methode van dataverzameling
en -analyse wordt preregistratie genoemd.
Wanneer een preregistratie van een onderzoek bij een journal wordt ingediend en
geaccepteerd, is het gebruikelijk dat de onderzoeksresultaten ook worden gepubliceerd,
ongeacht of het onderzoek de verwachte effecten laat zien of niet. Voorwaarde is uiteraard
dat het onderzoek is uitgevoerd zoals voorgesteld in de preregistratie. Merk op dat hiermee
ook de kans op publication bias wordt verkleind.
Full disclosure houdt in dat volledige openheid wordt gegeven over het onderzoeksproces.
Publication bias verwijst naar het fenomeen dat het gemakkelijker is om onderzoek te
publiceren dat wel een effect laat zien dan onderzoek dat geen effect laat zien.
Bij dubieuze onderzoekspraktijken beïnvloeden de gewenste uitkomsten van het onderzoek,
al dan niet bewust, de methode, analyse en rapportage van het onderzoek.
1.2 Operationalisaties
Als je onderzoek wilt uitvoeren, moet je eerst bepalen welke variabelen je precies gaat
meten. Een variabele wordt gedefinieerd als iets dat varieert, of zou kunnen variëren. Als je
alleen aan mensen uit Nederland vraagt in welk land ze wonen, dan is ‘land’ een variabele,
ook al variëren de scores op deze variabele niet.
Het meten van psychologische variabelen is ingewikkelder omdat deze niet direct
observeerbaar zijn. Een psychologische variabele zoals extraversie kun je niet zomaar ergens
uit aflezen. Hiermee hangt samen dat psychologische variabelen geen eenduidige definities
hebben. Een ander lastig punt is dat er voor psychologische begrippen zoals extraversie geen
algemeen gebruikte ‘eenheid’ is om deze variabelen in te meten.
Soms wordt de term psychologische constructen gebruikt. Dit zijn psychologische variabelen
waarbij de definitie is afgeleid vanuit theorie en waarbij die definitie specificeert wat wel en
wat niet tot de variabele behoort. Extraversie is bijvoorbeeld een psychologisch construct
omdat de definitie hiervan gebaseerd is op theorie, net zoals depressie, leervaardigheid etc.
Psychologische constructen zijn theoretisch omdat we niet weten of ze ‘echt bestaan’.
Psychologische constructen zijn dus zeker de moeite van het onderzoeken waard. Het is wel
belangrijk dat er een duidelijke, eenduidige en uitgebreide definitie van het construct wordt
opgesteld. Maar zelfs dan kun je niet simpelweg aan een persoon vragen hoe extravert of
leergierig die is. De meeste mensen zijn namelijk niet bekend met de exacte definities van
psychologische constructen. Daarnaast hebben mensen beperkte mogelijkheden
tot introspectie (zelfreflectie). Zo kent iedereen wel voorbeelden van mensen die hun
,leervaardigheid, sociale vaardigheid of intelligentie overschatten. Verder zijn psychologische
constructen – evenals psychologische variabelen – niet direct observeerbaar.
meten door operationalisaties.
Er zijn twee soorten operationalisaties: meetinstrumenten en manipulaties. Een
meetinstrument om variabele (zoals de mate van extraversie of neiging tot nadenken) te
kwantificeren, oftewel te representeren in een datareeks van getallen. Het is hierbij
uitdrukkelijk niet de bedoeling dat er iets wordt beïnvloed.
In dit soort meetinstrumenten worden constructen gemeten met verschillende items, bijv
uitspraken/taken/observaties (ook wel stimuli genoemd), die samen het betreffende
construct omvatten. Aan reacties op die items worden op een consistente manier getallen
toegekend. Elke reactie op een item krijgt een score en die scores worden gemiddeld of
opgeteld om tot een totaalscore voor die variabele te komen.
De resulterende datapunten (bijvoorbeeld getallen) worden geregistreerd. Zo’n reeks
datapunten (datareeks) afkomstig van hetzelfde meetinstrument wordt
een variabele genoemd. Andere betekenis dan theoretische variabele.
Manipulaties juist wel om een construct te beïnvloeden. Er kan onderzocht worden of er een
causaal verband bestaat tussen twee variabelen. Bij een manipulatie worden stimuli (bijv
beelden, geluiden) aan deelnemers gepresenteerd om een bepaalde toestand van of
verandering in het construct teweeg te brengen.
Er zijn allerlei manipulaties mogelijk, bijv. deelnemers vertellen dat ze een beloning krijgen
als ze goed presteren of deelnemers blootstellen aan een rolmodel dat laat zien hoe je kunt
omgaan met sociale druk met betrekking tot alcoholconsumptie.
Wanneer een variabele gemanipuleerd wordt, moet de onderzoeker op een consistente
wijze getallen toekennen aan de verschillende condities van de gemanipuleerde variabele,
bijvoorbeeld een 0 voor deelnemers die de manipulatie niet ontvingen en een 1 voor
deelnemers die de manipulatie wel ontvingen.
Alle operationalisaties, of het nu meetinstrumenten of manipulaties zijn, resulteren dus per
onderzoekseenheid in een datapunt per variabele. Binnen elk onderzoek (steekproef) is er
dus een datareeks per variabele.
Een meetmodel visualiseert hoe een variabele via stimuli of items wordt
geoperationaliseerd. In zo’n meetmodel worden de variabelen of constructen weergegeven
in ovalen. Meestal bestaan meetinstrumenten uit meerdere stimuli (bijv. vragenlijst
meerdere vragen) en de daarbij behorende registraties van de reacties van deelnemers.
De stimuli of items die het construct operationaliseren, bijvoorbeeld de vragen op een
vragenlijst, vormen de indicatoren die in rechthoeken worden weergegeven.
In een reflectief meetmodel lopen er lijnen van het construct, ook wel delatente
variabele genoemd, naar de indicatoren. De richting van de pijl is hier belangrijk.
Vaak geen meetmodel bij manipulatie want daar is maar één stimulus, pijl gaat van indicator
naar construct.
,1.3 Betrouwbaarheid en validiteit
Om psychologische constructen te meten of te manipuleren, moeten ze eerst
geoperationaliseerd worden. Operationalisaties vormen de vertaling van de definitie van het
theoretische construct naar een meetinstrument of manipulatie.
De mate waarin een meting bij herhaling telkens hetzelfde resultaat oplevert heet
de betrouwbaarheid (dicht bij elkaar) van die meting. Wanneer een meetinstrument gevoelig
is voor toevallige verstorende invloeden op de testprestatie, dan is de betrouwbaarheid van
dit meetinstrument lager. Bijv tijdstip dag bij intelligentie, sommige mensen ’s ochtends
vroeg nog niet in topvorm, terwijl anderen juist moe worden naarmate de dag vordert. Bij
het meten van psychologische variabelen is het echter lastiger om uit te gaan van
gelijkblijvende omstandigheden bij herhaalde metingen.
Bij het bepalen van de betrouwbaarheid van bijvoorbeeld een intelligentietest is het daarom
enerzijds belangrijk dat de tijdsintervallen tussen de metingen niet te kort zijn (om te
voorkomen dat herinnering een grote rol speelt) en anderzijds dat de tijdsintervallen niet
dusdanig lang zijn dat er sprake kan zijn van natuurlijke verandering (denk bijvoorbeeld aan
cognitieve veroudering op latere leeftijd).
Stress, het weer, ruzie voorafgaand aan test niet-systematische meetfouten (ruis/random
measurement error). Is niet volledig betrouwbaar.
Regelmatig dus niet toevallig, bijv. insomnia systematische meetfout (bias). Niet valide.
Deze eigenschap, de mate waarin een meetinstrument meet wat het moet meten,
heet validiteit (centraal om middenpunt). Om valide te zijn, moet een intelligentietest de
verschillen in intelligentie tussen personen reflecteren in de scores van dat meetinstrument.
Twee manieren om validiteit te meten: de causale opvatting van validiteit en
constructvaliditeit. Binnen de causale opvatting van validiteit is een test valide om een
bepaald construct te meten als (1) het construct bestaat en (2) de verschillen tussen (of
binnen) mensen op het construct tot verschillende uitkomsten op het meetinstrument
leiden.
Bij deze opvatting van validiteit wordt er vanuit gegaan dat je pas goed kunt nagaan of een
meetinstrument valide is, als je weet hoe een meetinstrument werkt, dus als je weet welke
processen worden aangesproken die uiteindelijk in een bepaalde testscore resulteren
Bij de validering van het meetinstrument gaat het om de causale keten, dus hoe verschillen
in het construct leiden tot verschillen in de uiteindelijke testscores, helder te krijgen. Lastig
en veel werk.
Bij constructvaliditeit wordt er gekeken in hoeverre interpretaties van testscores
ondersteund worden door theorie en empirisch bewijs voor het gebruik van deze test. Kan
bestaan uit het bepalen van de samenhang van items en schalen onderling, bijv. of items van
de sensation-seekingschaal voldoende met elkaar samenhangen. Constructvalidering houdt
ook in dat onderzocht wordt of er samenhang is met andere variabelen en uitkomsten zoals
te verwachten is op basis van theorie en eerder onderzoek. Relatief gemakkelijk te
onderzoeken (criteriumvaliditeit).
Groot nadeel samenhang met andere testscores of uitkomstmaten biedt geen inzicht in
of het meetinstrument daadwerkelijk het construct meet dat het zou moeten meten, of dat
, het iets anders meet dat toevallig samenhangt met de andere vragenlijsten of
uitkomstmaten die zijn onderzocht.
- indruksvaliditeit of face validity: de mate waarin het meetinstrument de indruk geeft te
meten wat het zou moeten meten na bestudering van het meetinstrument door een leek
of iemand uit het vakgebied. Deze benadering is erg praktisch; de onderzoeker hoeft het
meetinstrument alleen nauwkeurig te bekijken.
- criteriumvaliditeit of criterion validity: de mate waarin de uitkomsten van een
meetinstrument als verwacht samenhangen met die op een ander meetinstrument of
uitkomstmaat. Van een intelligentietest wordt bijvoorbeeld verwacht dat deze
samenhangt met schoolcijfers.
- externe validiteit: de mate waarin de uitkomsten van een studie gegeneraliseerd kunnen
worden naar de doelpopulatie. Wetenschappelijk onderzoek wordt vaak uitgevoerd in
kunstmatige omstandigheden, zoals een laboratorium. Externe validiteit gaat in op de
vraag in hoeverre de gevonden patronen ook buiten de onderzochte context gelden.
- inhoudsvaliditeit of content validity: de mate waarin de items van het meetinstrument
het gehele construct omvatten. Impulsiviteit wordt bijvoorbeeld gezien als een
multifactorieel construct. Een meetinstrument met goede inhoudsvaliditeit moet al die
verschillende aspecten van impulsiviteit omvatten. Een meetinstrument dat impulsiviteit
beoogt te meten, maar enkel items bevat over een deelaspect daarvan, bijvoorbeeld
alleen over ‘sensation seeking’, heeft geen goede inhoudsvaliditeit.
Om validiteit te bepalen moet naar verschillende informatie worden gekeken, zoals de
inhoud van de test (dekken de items de lading van het construct), de reacties op de stimuli
(worden vragen en antwoordcategorieën geïnterpreteerd zoals bedoeld), de interne
structuur van het meetinstrument (hangen items binnen en tussen schalen van een
meetinstrument samen zoals verwacht) en relaties met andere variabelen en uitkomsten
(zijn deze relaties zoals verwacht).
Elke operationalisatie – dus elk meetinstrument en elke manipulatie – heeft een
betrouwbaarheid en een validiteit (in elke studie opnieuw bepaald), die samen indicatief zijn
voor de kwaliteit van de operationalisatie in een gegeven steekproef. Dat laatste is belangrijk
omdat de betrouwbaarheid en validiteit van een operationalisatie geen kenmerken zijn van
de operationalisatie zelf. Een meetinstrument dat in de ene populatie heel valide is, kan in
een andere steekproef volkomen niet valide zijn.
Kwantitatief onderzoek heeft een groot nadeel: het vereist operationalisaties van hoge
kwaliteit (dus betrouwbaar en valide zijn). Heeft als doel relaties tussen variabelen te
onderzoeken, terwijl kwalitatief onderzoek vaak als doel het perspectief van deelnemers te
interpreteren en te begrijpen. De individuele zienswijze van de deelnemer centraal en zal
een interviewer bijvoorbeeld doorvragen als het interview daar aanleiding toe geeft. Dit in
tegenstelling tot kwantitatief onderzoek waarbij bij iedereen hetzelfde meetinstrument op
dezelfde wijze wordt afgenomen.
Mensen hebben echter beperkte mogelijkheden tot introspectie en zijn zich niet bewust van
gebruikelijke verstoringen in de informatieverwerking. De resultaten van kwalitatief
onderzoek hebben daarmee een beperkte geldingskracht en reikwijdte.