Thema 1: Basis concepten
1.1. Wetenschappelijk onderzoek
Wetenschap
Wetenschap vormt de zoektocht naar kennis, waarbij die kennis op een systematische methode wordt
verkregen. De wetenschappelijke methode vormt een systematische methode om te leren over de
werkelijkheid. Dit biedt inzicht in de wereld om ons heen, zodat we deze (hopelijk) kunnen beïnvloeden. Om te
weten wat werkt en welke effecten een bepaalde interventie heeft, is wetenschappelijk onderzoek nodig.
Wetenschappelijke kennis – op een systematische manier verkregen – zorgt ervoor dat uitspraken over de
werkzaamheid van deze interventies voorbij gaan aan anekdotische en subjectieve ervaringen en zo goed
mogelijk aansluiten op de werkelijkheid.
Onderzoekscyclus
In het systematische proces van wetenschappelijk onderzoek zijn 5 fasen te onderscheiden, die samen de
empirische onderzoekscyclus vormen. Empirisch onderzoek is onderzoek waarbij data worden verzameld. In
de praktijk is bijna al het onderzoek te beschouwen als empirisch onderzoek.
De empirische onderzoekscyclus heeft 5 fasen:
1. Onderzoeksvraag formuleren
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
Het meest voor de hand liggende startpunt van de cyclus is de onderzoeksvraag, aangezien deze het ontwerp
van de studie bepaalt.
Het doorlopen van de onderzoekscyclus is een iteratief proces (gebeurt telkens opnieuw). In de praktijk lopen
de fasen ook enigszins door elkaar heen. Zo is het bijna altijd nodig om tijdens het ontwerpen van de studie al
analyses uit te voeren (‘poweranalyses’). Ook kunnen sommige delen van de rapportage, bijv. de inleiding, al
geschreven worden voordat de data is verzameld. Maar, dataverzameling kan nooit starten voordat de studie
ontworpen is. De onderzoeksvraag moet onherroepelijk vast staan en het moet duidelijk zijn hoe de data
geanalyseerd gaat worden.
Verspreiding van uitkomsten van wetenschappelijk onderzoek
Wetenschappers sturen hun artikelen naar journals (tijdschriften). De artikelen worden eerste beoordeeld door
andere wetenschappers (peer reviewers), voordat ze geaccepteerd worden voor publicatie. Wetenschappelijke
artikelen en journals zijn bijna allemaal Engelstalig.
Hernieuwde aandacht voor goed onderzoek
Rond 2011 ontstond in de psychologie een replicatiecrisis. Publication bias, de neiging om alleen studies te
publiceren die effecten laten zien, en dubieuze onderzoekspraktijken zouden ertoe hebben geleid dat veel
psychologische studies effecten suggereerden die er in werkelijkheid niet zijn.
- Publication bias wordt ook wel file-drawer-probleem genoemd omdat onderzoek dat geen effecten
laat zien in de kast blijft liggen
Dubieuze onderzoekspraktijken zijn er in verschillende soorten en maten. Iets wat ze gemeen hebben is dat de
dataverzameling, -analyse en -rapportage gebaseerd is op het verkrijgen van gewenste resultaten in plaats van
op het zuiver uitvoeren van onderzoek (ongeacht wat de resultaten zullen zijn). Iemands onderzoek zou niet
beïnvloed mogen worden door zijn/haar eigen vermoedens.
,Juist door systematiek en objectiviteit ontstijgt het wetenschappelijk onderzoek de oordeelsvorming die
vertekend is door valkuilen in de menselijke informatieverwerking. Het doel van wetenschappelijk onderzoek is
om te leren over de werkelijkheid. Bij dubieuze onderzoekspraktijken staat deze zuivere waarheidsvinding niet
meer centraal en wordt het onderzoek, al dan niet bewust, beïnvloed door het toewerken naar gewenste
resultaten.
Het gaat bij dubieuze onderzoekspraktijken meestal om kleinere zaken zoals (voorbeelden):
- Selectief rapporteren van variabelen of condities (bijv. alleen die die het gewenste effect laten zien)
- Flexibiliteit bij de data-analyse (o.b.v. de uitkomsten van de data-analyse besluiten wel of niet een
extra variabele erbij te betrekken of afwijkende scores te laten staan)
- Selectiviteit of flexibiliteit bij het opstellen van de hypotheses (o.b.v. de uitkomsten de hypotheses
achterwege laten of aanpassen zodat ze beter aansluiten bij de resultaten)
- Flexibiliteit bij dataverzameling (extra data verzamelen of eerder te stoppen om het gewenste
resultaat te laten zien)
Een probleem van dubieuze onderzoekspraktijken is dus dat de fasen van het empirische onderzoekscyclus te
flexibel worden opgevat.
Hoewel het doorlopen van de empirische cyclus een iteratief proces is, is het belangrijk dat de
onderzoeksvraag, onderzoeksopzet en het plan voor dataverzameling en -analyse al vast liggen voordat data
verzameld en geanalyseerd worden.
- Het vastleggen van de onderzoeksvraag, onderzoeksopzet en methode van dataverzameling en -
analyse wordt preregistratie genoemd.
Alleen op deze manier kan wetenschappelijk onderzoek leiden tot zuivere kennis. Wanneer een preregistratie
van een onderzoek bij een journal wordt ingediend en geaccepteerd, is het gebruikelijk dat de
onderzoeksresultaten ook worden gepubliceerd, ongeacht of het onderzoek de verwachte effecten laat zien of
niet. Voorwaarde is uiteraard dat het onderzoek is uitgevoerd zoals voorgesteld in de preregistratie. Hierdoor
wordt de kans op publication bias verkleind.
- Full disclosure houdt in dat volledige openheid wordt gegeven over het onderzoeksproces.
1.2 Operationalisaties
Variabelen
Als je onderzoek wilt doen, moet je eerst bepalen welke variabelen je precies gaat meten.
- Een variabele is iets dat varieert, of zou kunnen variëren (bijv. hoeveelheid cacaobonen wat je eet,
kan altijd 5 zijn, of per dag verschillen, maar is nog steeds een variabele).
Het meten van psychologische variabelen is ingewikkelder, omdat:
- Ze zijn niet direct observeerbaar
- Ze hebben geen eenduidige definitie (bijv. extraversie)
- Ze hebben geen gebruikte ‘eenheid’ om deze variabelen te meten (kunt het bijv. niet tellen)
Soms wordt de term ‘constructen’ gebruikt.
- Constructen zijn psychologische variabelen waarbij de definitie is afgeleid vanuit theorie en waarbij
die definitie specificeert wat wel en niet tot de variabele behoort.
Extraversie is bijvoorbeeld een psychologisch construct omdat de definitie hiervan gebaseerd is op theorie, net
zoals depressie. Psychologische constructen zijn theoretisch omdat we niet weten of ze ‘echt bestaan’.
Constructen kunnen andere variabelen die wél direct observeerbaar zijn voorspellen of beïnvloeden (bijv. cijfer
voor een tentamen, herstelperiode na operatie).
Er moet wel een duidelijke, eenduidige en uitgebreide definitie van het construct worden opgesteld. Maar, je
kunt niet aan iemand vragen hoe extravert iemand is. Niet iedereen is namelijk bekend met de exacte definities
,van psychologische constructen, mensen hebben beperkte mogelijkheden tot introspectie en psychologische
constructen zijn ook niet direct observeerbaar.
Operationalisaties
Om psychologische constructen te meten, worden operationalisaties gebruikt. Operationalisaties van een
variabele maken het construct concreet en tastbaar. Operationalisaties vormen de vertaling van de definitie
van het theoretische construct naar een meetinstrument of manipulatie.
Er zijn 2 soorten operationalisaties:
1. Meetinstrumenten
2. Manipulaties
Meetinstrumenten
Een meetinstrument kwantificeert (representeren van datareeks getallen) een variabele op een consistente
wijze.
Constructen worden hierbij gemeten met verschillende items, ook wel stimuli genoemd, die samen het
betreffende construct omvatten. Aan reacties op die items worden op een consistente manier getallen
toegekend. Elke reactie op een item krijgt een score en die scores worden gemiddeld of opgeteld om tot een
totaalscore van de variabele te komen.
Items kunnen verschillende vormen aannemen:
- Antwoordschalen (bijv. puntantwoordschaal 1 t/m 5)
- Taken (bijv. computertaak waarbij reactietijd wordt gemeten)
- Observaties (bijv. hoeveel snoepjes iemand pakt)
De waarden die behaald kunnen worden, zijn de meetwaarden van de operationalisatie (bijv.
puntantwoordschaal 1 t/m 5).
De datapunten (bijv. getallen) worden geregistreerd. Zo’n reeks datapunten (datareeks) afkomstig van
hetzelfde meetinstrument wordt ook een variabele genoemd. De term ‘variabele’ wordt dus zowel gebruikt als
theoretische variabele (zoals leervaardigheid) als voor een reeks datapunten.
Nu is het onderscheid vaak niet zo relevant: omdat operationalisaties de manifestatie van de
theoretische variabelen zijn, representeren de resulterende datareeksen (als de kwaliteit van de
operationalisaties goed is) die theoretische variabelen. De term construct wordt overigens wel
uitsluitend gebruikt om naar theoretische variabelen te verwijzen, nooit naar een datareeks.
Manipulaties
Het doel van manipulaties is om het construct te beïnvloeden. Hierdoor kan onderzocht worden of er een
causaal verband is tussen 2 variabelen.
Er worden stimuli aan deelnemers gepresenteerd (bijv. beelden) om een bepaalde toestand van, of
verandering in, het construct teweeg te brengen.
Als een variabele gemanipuleerd wordt, moet de onderzoeker op een consistente wijze getallen toekennen aan
de verschillende condities van de gemanipuleerde variabele.
- Bijv. 0 voor deelnemers die geen manipulatie ontvingen, 1 voor deelnemers die wel manipulatie
ontvingen
- Soms zijn er verschillende versies van manipulatie, dus dan zijn er meer getallen die toegekend
moeten worden aan de verschillende condities
Alle operationalisaties, dus van zowel meetinstrumenten als manipulaties, resulteren per onderzoekseenheid
dus in een datapunt per variabele. Binnen elk onderzoek (steekproef) is er dus een datareeks per variabele.
, Deze datareeksen representeren de waarden van de bijbehorende variabelen onder voorwaarde dat de
operationalisaties waarmee de datareeksen zijn gegenereerd betrouwbaar en valide zijn.
Meetmodel
Een meetmodel visualiseert hoe een variabele via stimuli of items wordt geoperationaliseerd. Hierbij worden
de variabelen of constructen weergegeven in ovalen. De stimuli of items die het construct operationaliseren
(bijv. vragen op vragenlijst), zijn de indicatoren die in rechthoeken worden weergegeven.
In een reflectief meetmodel lopen er lijnen van het construct, ook wel de latente variabele genoemd, naar de
indicatoren. De richting van de pijl is hier belangrijk:
- Wanneer de pijl van het construct (ovaal) naar de indicatoren (rechthoek) loopt, dan bepaalt het
construct hoe op de indicatoren wordt gescoord
- Bijv. mate van neiging tot nadenken (construct), naar antwoorden op de Need for Cognition Scale
(indicator)
Een reflectief meetmodel is niet van toepassing op alle variabelen die binnen de psychologie en
onderwijswetenschappen worden onderzocht (bijv. inkomen, postcode etc. op SES).
De meeste studies hebben 1 operationalisatie voor elk construct.
- Maar, het kan ook zo zijn dat het 2 operationalisaties bevat (bijv. objectieve en subjectieve inschatting
van mate van depressie).
- Dan bestaat het meetmodel uit 2 ovalen (objectieve en subjectieve inschatting), waarbij pijlen vanuit
deze ovalen naar de desbetreffende indicatoren lopen (vanuit subjectieve inschatting van de mate van
depressie naar de items van de vragenlijst; vanuit objectieve inschatting van de mate van depressie
naar de vragen van het diagnostisch interview)
Meestal worden meetmodellen alleen opgesteld voor meetinstrumenten omdat zij vaak uit meerdere items
bestaan. Bij manipulaties worden deelnemers namelijk vaak aan slechts 1 stimulus (dus 1 indicator)
blootgesteld.
- Let op! De pijl bij een manipulatie loopt in tegengestelde richting, van de
indicator (vierkant/rechthoek) naar het construct (ovaal). Dit is omdat de
stimulus wordt aangeboden om het construct te beïnvloeden.
- Omdat bij een manipulatie de operationalisatie vaak gevormd wordt door
maar 1 stimulus, wordt in praktijk de ovaal vaak weggelaten en staat de variabele naam in plaats
daarvan in de rechthoek.
1.3 Betrouwbaarheid en validiteit
De imperfectie (of onzuiverheid) van metingen wordt vaak omschreven in termen van betrouwbaarheid en
validiteit.
Betrouwbaarheid
Betrouwbaarheid is de mate waarin een meting bij herhaling telkens hetzelfde resultaat oplevert.
