Samenvatting Inleiding Onderzoekspracticum
Thema 1 – Basisconcept wetenschappelijk onderzoek
1.1. Wetenschappelijk onderzoek
Wetenschap
De menselijke geest die zintuiglijke informatie verwerkt is gevoelig voor verstoringen in de informatieverwerking.
Onze ideeën over de werkelijkheid zijn niet zomaar te vertrouwen en daarom zijn systematische methoden van
informatieverzameling en -verwerking nodig. Wetenschap is de zoektocht naar kennis, waarbij kennis via een
systematische methode wordt verkregen. De werkelijkheid kennen en begrijpen biedt inzicht in de wereld, zodat we
daar invloed op kunnen uitoefenen. Denk aan richtlijnen, adviezen en behandelstandaarden. Wetenschappelijk
onderzoek is nodig om te kunnen weten wat werkt en welke effecten een interventie heeft.
De onderzoekscyclus
Wetenschappelijk onderzoek bestaat uit 5 fasen die de empirische onderzoekscyclus vormen. Empirisch onderzoek
is onderzoek waarbij dataverzameling plaatsvindt. Bijna al het onderzoek valt hieronder.
1. Onderzoeksvraag formuleren
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
De onderzoeksvraag is het startpunt en bepaalt het onderwerp van de studie. Als de studie ontworpen is kan met
het ontwerp data verzameld worden. Deze data kan geanalyseerd worden en dit wordt daarna gerapporteerd. Dit
proces is iteratief, vaak volgen na rapportage nieuwe onderzoeksvragen. Ook is het vaak nodig om al analyses uit te
voeren tijdens het ontwerp van de studie (poweranalyses). Sommige delen van de rapportage kunnen al geschreven
zijn voor dataverzameling of -analyse. Soms blijkt tijdens het ontwerpen van de studie dat het niet haalbaar is om de
onderzoeksvraag te onderzoeken en moet deze worden bijgesteld. De fasen lopen dus door elkaar heen, maar
dataverzameling kan nooit plaatsvinden vóórdat een studie is ontworpen. Op dat moment is de onderzoeksvraag
onherroepelijk en moet duidelijk zijn hoe data geanalyseerd wordt.
Verspreiding van uitkomsten van wetenschappelijk onderzoek
Wetenschappers communiceren via artikelen die via journals (tijdschriften) verspreid worden. Het eerste
wetenschappelijke tijdschrift werd op 6 maart 1665 gepubliceerd o.l.v. Henry van Oldenburg (Philosophical
Transactions). Wetenschappers sturen zelf artikelen in naar journals. Deze worden door andere wetenschappers
beoordeeld (peer reviewing) en daarna kunnen ze gepubliceerd worden. Bijna alle artikelen en journals zijn
Engelstalig, de taal van wetenschap. Onderzoek is echter niet publiek toegankelijk en eigenlijk alleen toegankelijk
voor mensen die aan instellingen verbonden zijn die contracten met uitgevers van wetenschappelijke tijdschriften
betalen. Maar steeds meer tijdschriften zoals de PLOS one of het Journal of Open Psychology Data zijn open
toegankelijk. Open-Access-tijdschriften zijn voor iedereen gratis toegankelijk en komen tegemoet aan het principe
dat onderzoek en de resultaten transparant en toegankelijk moeten zijn.
Hernieuwde aandacht voor goed onderzoek
Rond 2011 ontstond in de psychologie een replicatiecrisis.
Publicatiebias (neiging om alleen studies te publiceren die Publication bias
Een onderzoek laat zien dat het eten van cacaobonen op
effecten laten zien, ook wel file-drawer problem) en dubieuze dagelijkse basis ervoor zorgt dat je je beter voelt. Dit is een
onderzoekspraktijken zouden ertoe geleid hebben dat veel aansprekend onderzoek wat aantrekkelijk is om te publiceren.
psychologische studies effecten suggereerden die er in Stel dat daarna een replicatieonderzoek wordt uitgevoerd dat
werkelijkheid niet zijn. Dubieuze onderzoekspraktijken geen effecten van het eten van cacaobonen laat zien. Als er
sprake is van publication bias, dan is het veel lastiger om dit
(questionable research practices QRP’s) zijn er in allerlei
replicatieonderzoek, dat geen effecten laat zien, te publiceren
soorten en maten. De dataverzameling, -analyse en - dan het oorspronkelijke onderzoek, dat wel effecten laat zien. Het
rapportage is hierbij gebaseerd op het verkrijgen van gevolg hiervan is dat het effect van het eten van cacaobonen
gewenste resultaten in plaats van zuiver uitvoeren van robuuster lijkt dan het in werkelijkheid is. Dit heeft de
onderzoek. Vaak heeft een onderzoeker wel een idee van de replicatiecrisis in de hand gewerkt omdat – toen er meer
aandacht kwam voor replicatieonderzoek – bleek dat effecten in
uitkomsten, maar een goed onderzoeker zal alles doen om het de psychologische wetenschap en de onderwijswetenschappen
onderzoek vorm te geven op een manier die niet beïnvloedt toch niet zo robuust waren als aanvankelijk gedacht.
wordt door eigen vermoedens. Door systematiek en
,objectiviteit overtreft het wetenschappelijk onderzoek de oordeelsvorming die vertekend is door valkuilen in
menselijke informatieverwerking. Wetenschappelijk onderzoek heeft als doel om te leren over de werkelijkheid. Bij
dubieuze praktijken staat deze waarheidsvinding niet centraal en wordt het onderzoek beïnvloedt door het
toewerken naar gewenste resultaten. Het vervalsen van data is een groot vergrijp. Bij dubieuze onderzoekspraktijken
gaat het vaak om kleinere zaken zoals:
Selectieve rapportage van variabelen of condities variabelen/condities die het gewenste effect laten zien
Flexibiliteit bij data-analyse o.b.v. uitkomsten van analyse besluiten wel/geen extra variabele te
betrekken of bepaalde afwijkende scores wel/niet in de dataset te laten
Selectiviteit of flexibiliteit bij opstellen van hypotheses o.b.v. uitkomsten bepaalde hypotheses achterwege
laten of aanpassen zodat ze beter bij de resultaten passen
Flexibiliteit bij dataverzameling o.b.v. resultaten besluiten extra data te verzamelen of juist eerder
stoppen met data verzameling door (on)gewenste effecten
Dit overzicht gebaseerd op John et al. (2012) is niet volledig, maar geeft een idee van dubieuze
onderzoekspraktijken. Een probleem van deze dubieuze onderzoekspraktijken is dat de fasen van de empirische
onderzoekscyclus te flexibel worden opgevat. Hoewel het doorlopen van de empirische cyclus iteratief is, is het van
belang dat de onderzoeksvraag, -opzet en het plan voor dataverzameling en -analyse al vast liggen voordat data
verzameld en geanalyseerd worden. Het vastleggen hiervan heet preregistratie en alleen op die manier kan
wetenschappelijk onderzoek tot zuivere kennis leiden. Als preregistratie wordt ingediend bij een journal en
geaccepteerd wordt, zullen gebruikelijker wijs de resultaten ook gepubliceerd worden ongeacht of het onderzoek
wel of niet verwachte effecten aantoont. Dan dient het onderzoek wel te zijn uitgevoerd zoals vastgelegd in
preregistratie, dit verkleint de kans op publicatiebias.
De omvang van de replicatiecrisis werd echt duidelijk toen een team van 270 onderzoekers 98 psychologische
onderzoeken herhaalde om te zien of ze de resultaten konden repliceren. Slechts bij maximaal de helft van de
replicaties werden effecten gevonden in dezelfde richting als de oorspronkelijke studie. Bij andere replicaties werden
geen effecten gevonden of effecten in een andere richting. Ook de grootte van de effecten was slechts de helft van
die uit het oorspronkelijke artikel. Deze bevindingen hebben ertoe geleid dat er meer aandacht kwam voor hoe goed
wetenschappelijk onderzoek uitgevoerd dient te worden om dubieuze onderzoekspraktijken te vermijden. O.a. door
de Stapel-Affaire is de psychologie en onderwijswetenschap bewuster geworden van de noodzaak tot preregistratie
en full disclosure. Full disclosure is het geven van volledige openheid over het onderzoeksproces. Doordat vrijwel
alle artikelen online beschikbaar zijn en serverruimte goedkoop is, kunnen allerlei zaken meegeleverd worden met
een artikel zoals de data en metadata waardoor full disclosure goed mogelijk is.
1.2. Operationalisaties
Variabelen
Een variabele varieert of kan variëren. In theorie kun je elke dag 5 cacaobonen eten, de score op ‘aantal gegeten
cacaobonen vandaag’ zal dan niet variëren in het onderzoek. Maar de score kan wel variëren (je kan besluiten om er
10 te eten op een dag) en daarom is het nogsteeds een variabele. Ook woonplaats is een variabele, iemand kan
verhuizen, ook al variëren de scores op de variabele wellicht niet. De onderzoeksvraag bepaalt welk aantal
variabelen zinvol zijn om te meten.
Psychologische variabelen/constructen. Het meten van het aantal gegeten cacaobonen heeft een objectief
‘correct antwoord’ (iedereen die kan tellen meet hetzelfde), dat geldt ook voor leeftijd. Maar psychologische
variabelen zijn ingewikkelder te meten, ze zijn niet direct te observeren. Extraversie is niet zomaar af te lezen.
Ook hebben psychologische variabelen geen harde definities en daarmee kan een begrip niet altijd eenduidig
uitgelegd worden zoals bijvoorbeeld bij water: Water is H2O , maar is het H2O2 dan is het geen water. Ook is er
geen algemene eenheid voor psychologische begrippen zoals maanden voor leeftijd. Als de definitie is afgeleid
vanuit theorie en die definitie specificeert wat wel/niet bij de variabele behoort, spreek je van psychologische
constructen. Extraversie is een psychologisch construct want het is gebaseerd op theorie, we weten niet echt dat
ze bestaan wat bijv. wel zo is bij zwaartekracht. Psychologische constructen zijn erg bruikbaar omdat ze andere
variabelen die wel direct observeerbaar zijn kunnen voorspellen of beïnvloeden (zoals een tentamencijfer). Wel
is het van belang dat er een duidelijke, eenduidige en uitgebreide definitie van een construct wordt opgesteld.
Maar ook dan kan je niet vragen hoe extravert iemand is, de meeste mensen zijn namelijk niet bekend met de
exacte definities. Bovendien hebben mensen beperkte introspectiemogelijkheden (overschatting).
, Operationalisaties worden gebruikt om psychologische constructen te
meten. Operationalisaties maken het construct concreet en tastbaar, het
zijn vertalingen van de definitie van het theoretische construct naar een
meetinstrument of manipulatie.
Het boek in de figuur representeert een theorie welke de naam en de
definitie van een variabele beschrijft. De online vragenlijst representeert een
operationalisatie (vertaling van definitie naar meetinstrument) en de MRI-
scan representeert een onderzoekseenheid waarop die operationalisatie
wordt toegepast.
Meetinstrumenten
Een meetinstrument kwantificeert een variabele op consistente wijze,
oftewel representeert dit in een datareeks van getallen. Bij
meetinstrumenten worden constructen gemeten met diverse items/stimuli,
die samen het construct omvatten. Aan reacties op die items worden op
consistente wijze getallen toegekend. Elke reactie op een item krijgt een
score en de scores worden opgeteld of gemiddeld om tot een totaalscore te
komen. Items kunnen uitspraken of vragen betreffen waarop gereageerd kan
worden met antwoordschalen. Ook kunnen items taken en observaties
omvatten. De mogelijke waarden die behaald kunnen worden bij een
operationalisatie zijn de meetwaarden. Een 7-puntsschaal bevat meetwaarden 1 t/m 7. Meetinstrumenten hebben
als doel om variabelen te kwantificeren zonder die te verstoren, de resulterende datapunten (bijv getallen) worden
geregistreerd, en een reeks datapunten (datareeks) afkomstig van hetzelfde meetinstrument heet een variabele.
Een variabele is dus zowel theoretisch (leervaardigheid bijv.) als een reeks datapunten die als de operationalisatie
goed werkt een indicator is voor de waarde van de theoretische variabele. Omdat operationalisaties de manifestatie
van theoretische variabelen zijn, representeren de resulterende datareeksen die theoretische variabelen. De term
construct wordt wel uitsluitend gebruikt om naar theoretische variabelen te verwijzen, nooit naar een datareeks.
Manipulaties
Meetinstrumenten hebben het doel om datapunten te verzamelen zonder het construct te beïnvloeden, maar
manipulaties hebben het doel om juist een construct wel te beïnvloeden. Door variabelen te manipuleren in (quasi)
experimenteel onderzoek kan onderzocht worden of er een causaal verband bestaat tussen twee variabelen, oftewel
of een verandering in de ene variabele een verandering in de andere variabele veroorzaakt. Bij een manipulatie
worden stimuli gepresenteerd aan deelnemers, in de vorm van beelden/geluiden/woorden/video’s om een bepaalde
toestand van verandering in het construct aan te brengen. Voorbeelden van manipulaties:
Deelnemers vertellen dat ze beloond worden bij goede prestatie
Deelnemers naar een verdrietig filmpje laten kijken
Deelnemers blootstellen aan een rolmodel die laat zien hoe je met sociale druk en alcohol kan omgaan
Deelnemers een alinea over hun best mogelijke zelf laten schrijven
Deelnemers een vernieuwde leesmethode laten toepassen
Manipulaties zijn ontwikkeld om een specifiek construct te beïnvloeden. Als een variabele gemanipuleerd wordt
moeten er aan de diverse condities van de gemanipuleerde variabele consistente getallen worden toegekend (0 =
geen manipulatie, 1 = manipulatie bijv.). Alle operationalisaties resulteren per onderzoekseenheid in een datapunt
per variabele. Binnen elk onderzoek is er een datareeks per variabele, deze reeksen representeren de waarden van
bijbehorende variabelen onder voorwaarde dat de operationalisaties waarmee datareeksen gegenereerd zijn
betrouwbaar en valide zijn. De inhoud van de stimuli van meetinstrumenten of manipulaties moet kloppen.
Meetmodel
Meetinstrumenten bestaan veelal uit meerdere stimuli en daarbij behorende registraties van de reacties van
deelnemers. Denk aan een vragenlijst met meerdere vragen of een reactietijdentaak waarbij de reactietijd
meermaals vastgelegd wordt. Een meetmodel visualiseert hoe een variabele via stimuli/items wordt
geoperationaliseerd. In een meetmodel worden variabelen/constructen in ovalen weergegeven. De stimuli/items die
het construct operationaliseren zoals de vragen op een vragenlijst vormen de indicatoren en die worden in
rechthoeken weergegeven. In een reflectief meetmodel lopen er lijnen van het construct (latente variabele) naar de
indicatoren. Construct indicator = construct bepaalt hoe op de indicatoren wordt gescoord. De richting van de pijl
is dus van belang. Een reflectief meetmodel kan niet toegepast worden op alle variabelen zoals bij indexvariabelen
, zoals SES die bestaan uit meerdere relevante zaken
(inkomen/opleiding/postcode). De meeste studies
bevatten één operationalisatie per construct: het
construct wordt dan in een ovaal weergegeven, de
items van de vragenlijst (operationalisatie) worden in
rechthoeken weergegeven. Maar er kan ook met
verschillende meetinstrumenten worden gemeten, dan
bestaat een meetmodel uit twee ovalen. Vanuit deze
ovalen lopen dan pijlen naar de betreffende
indicatoren.
Meestal worden alleen meetmodellen gemaakt voor
meetinstrumenten. Bij
manipulaties worden
deelnemers vaak aan één Meetmodel van
stimulus blootgesteld, in stemmingsmanipulatie
tegenstelling tot meetinstrumenten die uit meer items
bestaan. Het meetmodel van manipulatie bestaat dan
uit één indicator (want één stimulus). Bij het
meetmodel van manipulatie loopt de pijl dan in
Voorbeeld van operationalisatie van de Big Five met de Ten Item Personality
tegengestelde richting (van indicator naar construct,
Inventory (TIPI) (Hofmans et al. 2008).
van vierkant naar ovaal). De stimulus wordt namelijk
aangeboden om het construct te beïnvloeden. Zo kan zoals in het voorbeeld een vrolijk/treurig filmpje
de stemming van proefpersonen gemanipuleerd worden. Bij manipulatie wordt de operationalisatie
vaak gevormd door één stimulus en daarom wordt vaak de ovaal weggelaten en staat de variabele
naam in de rechthoek, dan is er nog nauwelijks sprake van een meetmodel. Versimpeld
meetmodel
1.3. Betrouwbaarheid en validiteit
Operationalisaties vormen de vertaling van de definitie van het theoretische construct naar een meetinstrument of
manipulatie. Deze vertaling kan beter of slechter zijn. Bij een ideale vertaling zijn de datareeksen sterk indicatief voor
hoe mensen op de onderzochte constructen scoren. Als een intelligentietest wordt afgenomen, dan zou de schatting
idealiter ‘de ware intelligentie’ van deelnemers weergeven. Maar een perfecte meting kan niet, de imperfectie
wordt daarom vaak uitgedrukt in termen van betrouwbaarheid en validiteit.
Betrouwbaarheid
Betrouwbaarheid is de mate waarin herhaling van de meting opnieuw hetzelfde resultaat oplevert, het zegt iets over
de stabiliteit van een meetinstrument over herhaalde metingen. In hoeverre het meetresultaat afwijkt als je deze
bijvoorbeeld een week later herhaalt bepaalt de (on)betrouwbaarheid van de meting. Hoe meer een tweede meting
afwijkt, hoe onbetrouwbaarder. Als je iemands lengte meet op centimeterniveau dan wordt bijna altijd dezelfde
lengte gevonden (hoge betrouwbaarheid), maar meet je met geodriehoeken dan wordt de betrouwbaarheid lager.
Dit geldt ook voor het meten van intelligentie, de mate waarin een test eenzelfde schatting voor intelligentie
oplevert als deelnemers opnieuw gemeten worden geeft de betrouwbaarheid van de test weer. Als een instrument
gevoelig is voor toevallige verstoringen, dan is de betrouwbaarheid lager. Als je intelligentie in de ochtend meet zijn
sommigen niet wakker, anderen zijn juist ’s middags vermoeider. Het tijdstip van metten kan toevallig een
verstorende invloed hebben. Het effect van een toevallige verstorende factor verschilt per meetinstrument en studie.
Ook de context van een testafname kan toevallig een verstorende invloed hebben op testprestatie. Als een test op
een druk plein afgenomen wordt bijv. In hoeverre een meetinstrument vatbaar is voor toevallige verstoringen moet
per studie en instrument worden bepaald. Als de meetinstrumenten zeer vatbaar zijn voor toevallige invloeden dan
zegt de uitkomst relatief weinig over hoe intelligent/depressief/extravert iemand is omdat een herhaling van de
meting fors kan verschillen. Bij het bepalen van betrouwbaarheid wordt vaak gekeken naar de samenhang van
testscores op het ene moment met die op een later moment, de herhaalde metingen moeten onder gelijkblijvende
omstandigheden plaatsvinden voor een zuivere schatting. Bij het meten van psychologische omstandigheden is dit
lastig. Verder wordt bij het bepalen van betrouwbaarheid uitgegaan dat hetgeen dat gemeten wordt stabiel is.
Daarom moeten tijdsintervallen tussen metingen niet te kort zijn (voorkomen dat herinnering een rol speelt) en
anderzijds dat de intervallen niet te lang zijn dat er natuurlijke verandering kan optreden.
