Onderzoekspracticum: inleiding
onderzoek
Thema 1 – Basisconcepten
1.1 Wetenschappelijk onderzoek
Empirische onderzoekscyclus
1. Onderzoeksvraag formuleren
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
De cyclus is een iteratief proces – op de rapportage volgen bijv. vaak nieuwe onderzoeksvragen. Ook
kunnen sommige delen van de rapportage, zoals de inleiding, al geschreven worden voordat data is
verzameld en geanalyseerd. Of bij ontwerpen studie komt men erachter dat de onderzoeksvraag
moet worden bijgesteld
Het vastleggen van de onderzoeksvraag, onderzoeksopzet en methode van dataverzameling en data-
analyse wordt preregistratie genoemd en moet vastliggen voor de dataverzameling en analyse
Publication bias wordt verkleind als het onderzoek is uitgevoerd zoals voorgesteld in de preregistratie
Verspreiding van uitkomsten van wetenschappelijk onderzoek
Wetenschappelijke artikelen worden via wetenschappelijke journals verspreid
Eerste internationale wetenschappelijke tijdschrift verscheen op 6 maart 1665 o.l.v. Henry Oldenburg
Wetenschappers sturen hun artikel naar journals, deze worden eerst beoordeeld door peer reviewers
(andere wetenschappers) voordat ze geaccepteerd worden voor publicatie
Bijna allemaal Engelstalig
Hernieuwde aandacht voor goed onderzoek
In 2011 ontstond in de psychologie een replicatiebias
Publication bias – de neiging om alleen studies te publiceren die effecten laten zien, en dubieuze
onderzoekspraktijken zouden ertoe hebben geleid dat veel studies effecten suggereerden die er in
werkelijkheid niet zijn. Ook wel het file-drawer-probleem genoemd
Een gemene deler bij dubieuze onderzoekspraktijken is dat de dataverzameling, analyse en
rapportage gebaseerd is op het verkrijgen van gewenste resultaten i.p.v. op het zuiver uitvoeren van
onderzoek
Het fingeren of falsificeren van data is een groot vergrijp. Bij dubieuze onderzoekspraktijken gaat het
meestal om kleinere zaken zoals:
1. Het selectief rapporteren van variabelen of condities in een studie; bijv. alleen de variabelen of
condities die het gewenste effect laten zien
2. Flexibiliteit bij de data-analyse; op basis van de uitkomsten van de data-analyse besluiten om wel
of niet een extra variabele of bepaalde afwijkende scores in de analyse te betrekken
3. Selectiviteit of flexibiliteit bij het opstellen van de hypotheses; op basis van de uitkomsten
bepaalde hypotheses achterwege laten of achteraf aanpassen zodat deze beter aansluiten
,4. Flexibiliteit bij de dataverzameling; op basis van de resultaten besluiten om extra data te
verzamelen, omdat de data-analyse nog niet de gewenste effecten laat zien – of juist eerder te
stoppen met de dataverzameling, omdat de data-analyse al het gewenste effect laat zien
Full disclosure – houdt in dat volledige openheid wordt gegeven over het onderzoeksproces
Stapel affaire – Diederik Stapel, hoogleraar sociale psychologie, fraudeerde met onderzoeksgegevens
De psychologie en onderwijswetenschappen zijn zich o.a. door de Stapel-affaire (2010) veel bewuster
geworden van de noodzaak tot preregistratie en full disclosure
1.2 Operationalisaties
Variabelen
Een variabele wordt gedefinieerd als iets dat varieert, of zou kunnen variëren
Voorbeelden: intelligentie, extraversie, optimisme of iemands attitude tegenover statistiek, het aantal
cacaobonen dat je per dag eet
Psychologische variabelen of constructen – bijv. extraversie – kan je niet zomaar ergens uit aflezen,
het meten hiervan is ingewikkelder omdat deze niet direct observeerbaar zijn
Hiermee hangt samen dat psychologische variabelen geen eenduidige definities hebben; er bestaat
niet één allesomvattende definitie van extraversie die eenduidig beschrijft wat extraversie is en
daarmee ook meteen uitsluit wat extraversie niet is
Een ander lastig punt is dat er voor psychologische begrippen zoals extraversie geen algemeen
gebruikte ‘eenheid’ is om deze variabelen in te meten, zoals ‘aantal cacaobonen’ of ‘aantal jaar’
Extraversie wordt niet gemeten in aantallen ‘extraversies’ of ‘extraversiepunten’
Intelligentie, standaard gemeten in IQ-punten, is een uitzondering
Psychologische constructen zijn psychologische variabelen waarbij de definitie is afgeleid vanuit
theorie en waarbij die definitie specificeert wat wel en wat niet tot de variabele behoort
Voorbeelden zijn extraversie, depressie en leervaardigheid
Psychologische constructen zijn theoretisch omdat we niet weten of ze ‘echt bestaan’, zoals bijv. een
tafel of de zwaartekracht bestaat. Mensen hebben geen ‘extraversie’, ‘impulsiviteit’ of ‘depressie’ in
hun hoofd zitten, zoals mensen een bloeddruk of longinhoud hebben.
Toch zijn deze constructen heel bruikbaar. Ze kunnen namelijk andere variabelen die wel direct
observeerbaar zijn voorspellen of beïnvloeden, zoals bijv. het cijfer voor een tentamen
Belangrijk dat er een duidelijke, eenduidige en uitgebreide definitie van het construct wordt
opgesteld
Daarnaast hebben mensen beperkte mogelijkheden tot introspectie – zelfreflectie
Operationalisaties
Construct houdt de naam en definitie van een variabele in een theorie in
Voorbeeld: ‘Need for Cognition’ wordt gedefinieerd als de behoefte om relevante situaties op
betekenisvolle, geïntegreerde manieren te structureren. Het is een behoefte om de ervaringswereld
te begrijpen en redelijk te maken
Operationalisaties vormen de vertaling van de definitie van het theoretische construct naar een
meetinstrument of manipulatie. Dit maakt het construct concreet en tastbaar. Bijv. een vragenlijst
Voorbeeld: een vragenlijst zoals de ‘Need for Cognition Scale’, waarbij de vragen de onderdelen van
de definitie van de variabele in kaart brengen
,Onderzoekseenheid – bijv. een deelnemer die deelneemt aan een onderzoek, waar de
operationalisatie op wordt toegepast
Voorbeeld: een deelnemer die deelneemt aan een studie die de ‘Need for Cognition Scale’ moet
invullen
Meetinstrumenten en manipulaties
Er zijn 2 soorten operationalisaties:
1. Meetinstrumenten
De bedoeling van een meetinstrument is om op consistente wijze een variabele te
kwantificeren/meten, oftewel te representeren in een datareeks van getallen
Het is hierbij NIET de bedoeling dat er iets wordt beïnvloedt
Bijv. de Need for Cognition Scale
Constructen kunnen worden gemeten met verschillende items, of stimuli, die samen het
construct omvatten. Items kunnen uitspraken, taken en observaties omvatten
Meetwaarden – de mogelijke waarden die behaald kunnen worden bij een operationalisatie
Datapunten – bijvoorbeeld getallen
Datareeks – reeks datapunten afkomstig van hetzelfde meetinstrument, een variabele genoemd
De term variabele wordt dus gebruikt voor zowel een theoretische variabele (zoals
leervaardigheid) als voor een reeks datapunten die indicatief is voor de waarde van die
theoretische variabele
De term construct wordt alleen gebruikt om naar een theoretische variabele te verwijzen, NOOIT
naar een datareeks
2. Manipulaties
Doel van manipulaties is juist wel om een construct te beïnvloeden
Door het manipuleren van variabelen in (quasi-)experimenteel onderzoek kan onderzocht
worden of er een causaal verband bestaat tussen twee variabelen, oftewel, of een verandering in
de ene variabele een verandering in de andere variabele veroorzaakt
Bij een manipulatie worden stimuli aan deelnemers gepresenteerd, bijv. in de vorm van
beelden/geluiden/woorden/video’s, om een bepaalde toestand van of verandering in het
construct teweeg te brengen
Voorbeelden van manipulaties met mogelijke constructen die hierdoor worden beïnvloed:
- Deelnemers vertellen dat ze een beloning krijgen als ze goed presteren -> verwachtingen over
positieve uitkomsten van gedrag (‘expectancies’)
- Deelnemers naar een verdrietig filmpje laten kijken -> gemoedstoestand (specifiek negatief
affect)
- Deelnemers blootstellen aan een rolmodel dat laat zien hoe je kunt omgaan met sociale druk met
betrekking tot alcoholconsumptie -> sociale weerbaarheid
- Deelnemers een alinea laten schrijven over hun best mogelijke zelf -> optimisme
- Deelnemers een vernieuwde leesmethode laten toepassen -> als de leesmethode studenten
vaker levendige voorstellingen laat maken, dan is gebruik van voorstellingsvermogen het
bijbehorende construct
Wanneer een variabele gemanipuleerd wordt, moet de onderzoeker op een consistente wijze
getallen toekennen aan de verschillende condities van de gemanipuleerde variabele, bijv. een 0
voor deelnemers die de manipulatie niet ontvingen en een 1 voor deelnemers die de manipulatie
wel ontvingen
Alle operationalisaties resulteren per onderzoekseenheid in een datapunt per variabele
Binnen elk onderzoek (steekproef) is er dus een datareeks per variabele
, Deze datareeksen representeren de waarden van de bijbehorende variabelen onder voorwaarde dat
de operationalisaties waarmee de datareeksen zijn gegenereerd betrouwbaar en valide zijn
In elk geval moet de inhoud van stimuli van meetinstrumenten of manipulaties kloppen. Dit gaat
bijvoorbeeld over de verwoording van de vragen in een vragenlijst, maar ook waarover precies vragen
worden gesteld
Meetmodel
Meestal bestaan meetinstrumenten uit meerdere stimuli en de daarbij behorende registraties van de
reacties van deelnemers, bijv. vragenlijst met meerdere vragen
Een meetmodel visualiseert hoe een variabele via stimuli of items wordt geoperationaliseerd. In een
meetmodel worden de variabelen of constructen weergegeven in ovalen
Indicatoren – de stimuli of items die het construct operationaliseren, bijv. de vragen op een
vragenlijst. In rechthoeken weergegeven
Er zijn verschillende soorten meetmodellen. Wij gaan uit van een reflectief meetmodel
In dit model lopen er lijnen van het construct, de latente variabele, naar de indicatoren
De richting van de pijl is belangrijk
Pijl van construct naar indicatoren -> model veronderstelt dat het construct bepaalt hoe op de
indicatoren wordt gescoord
Voorbeeld: mensen die over een hoge mate van neiging tot nadenken beschikken zouden eerder
‘sterk van toepassing’ antwoorden op een stelling als ‘Ik heb er plezier in om veel tijd te besteden om
iets te leren begrijpen’
Reflectief meetmodel is niet van toepassing op alle variabelen binnen de psychologie en
onderwijswetenschappen, indexvariabelen zoals sociaaleconomische status bijv. NIET
De meeste studies bevatten 1 operationalisatie voor elk construct
Voorbeeld: Beck Depression Inventory (BDI); een vragenlijst om de mate van depressie te meten
Het construct is hier mate van depressie en wordt weergegeven in een ovaal
De verschillende items worden weergegeven in rechthoeken
Maar depressie kan ook met 2 verschillende meetinstrumenten gemeten worden, bijv. een
zelfrapportagevragenlijst en een diagnostisch interview door een therapeut. Dan bestaat het model
uit 2 ovalen (de ene voor de subjectieve inschatting van de mate van depressie en de ander voor een
objectieve inschatting van de mate van depressie), waarbij pijlen vanuit deze ovalen naar de
indicatoren lopen (subjectieve inschatting mate depressie -> items vragenlijst; objectieve inschatting
mate depressie -> vragen diagnostisch interview)
Voorbeeld meetmodel van de operationalisatie van de Big Five
(vijf persoonlijkheidskernmerken) door middel van de
Ten Item Personality Inventory (TIPI)
Bij manipulaties worden deelnemers vaak aan slechts één stimulus blootgesteld
Het meetmodel van een manipulatie bestaat dan slechts uit 1 indicator
Let op: hierbij loop de pijl in tegengestelde richting – van de indicator (weergegeven
in een vierkant) naar het construct (weergegeven in een ovaal)
De stimulus wordt namelijk aangeboden om het construct te beïnvloeden
Voorbeeld meetmodel waarbij d.m.v. een vrolijk of treurig filmpje de stemming
van de proefpersonen wordt gemanipuleerd
