Onderzoekspracticum inleiding data analyse
Thema 1 inleiding
De operationalisaties: meetinstrumenten
Voor dit tentamen wordt in het leren gebruik gemaakt van vier studies, namelijk:
1. Het effect van optimisme op aandacht voor positieve versus negatieve stimuli
2. Inzet tijdens Onderzoekspracticum inleiding data-analyse: de rollen van opleidingsniveau van Neiging
tot Nadenken (Need for Cognition)
3. Statistiekangst
4. Voorspellers van depressie
5. Arbeidstevredenheid en betrokken bij het werk: de rol van assertiviteit
Binnen deze onderzoeken worden verschillende meetinstrumenten gebruikt.
Eye-tracking: dankzij eye-tracking is het mogelijk om te kijken hoelang mensen in werkelijke tijd naar
een bepaald punt kijken zoals een bepaald lichaamsdeel of een bepaald figuur op een plaatje.
Statistische self-efficacy
Self-efficacy ofwel eigen-effectiviteit heeft betrekking op de subjectieve vaardigheden en waargenomen
obstakels met betrekking tot een gegeven gedrag. De variabele ‘statistische self efficacy’ van mensen is hoger
naarmate mensen meer vertrouwen hebben dat ze succesvol zullen zijn in het leren van statistiek. Wanneer
mensen hier minder vertrouwen in hebben, scoren ze lager.
Dus bij meer vertrouwen schat je je eigen effectiviteit hoger in.
De need for cognition schaal meet kwantitatief de neiging van het individu om deel te nemen en te
genieten van het denken.
De future expentancies scale: dit zijn stellingen over toekomstverwachtingen.
Ten item personality inventory
Best possible self: Nadenken over je best mogelijke zelf wanneer je alles hebt behaald dat je wilde
behalen.
Wetenschap
Wetenschap is een methode om te leren over de realiteit. De wetenschap biedt systematische methoden van
informatieverzameling- en verwerking om de realiteit in kaart te brengen. Dit is nodig omdat de ideeën van
mensen over de realiteit niet altijd te vertrouwen zijn door bijvoorbeeld verstoringen in ons geheugen.
Wetenschap zorgt ervoor dat we bruggen kunnen bouwen, ziektes kunnen bestrijden, mensen kunnen helpen
met pleinvrees en onderwijs kunnen verbeteren.
Wetenschappelijk onderzoek levert ook informatie waarop het beleid kan worden aangepast.
Advies voor een gezond ontbijt, genoeg lichaamsbeweging en diagnostische behandelstandaarden worden
allemaal gebaseerd op wetenschappelijk onderzoek.
Vraag : Waarom wordt wetenschap beoefend?
Wetenschap wordt beoefend om te leren over de realiteit, dit is nodig om informatie te vergaren om een
bepaald beleid aan te passen.
Onderzoekscyclus
Empirisch onderzoek is onderzoek waarbij data worden verzameld. In het systematische proces van
wetenschappelijk onderzoek zijn 5 fasen te onderscheiden, samen vormen ze de empirische onderzoek cyclus.
1. Onderzoeksvraag formuleren : is bepalend voor hoe een studie ontworpen moet worden.
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
In de praktijk lopen de fasen een beetje door elkaar heen omdat er op de rapportage vaak nieuwe
onderzoeksvragen volgen, en de inleiding vaak al kan worden geschreven voordat de data is verzameld of
geanalyseerd.
,Ethiek
In wetenschappelijk onderzoek en de psychologie zijn ethiek en integriteit heel belangrijk. Hier zijn twee
redenen voor.
1. De objecten van het onderzoek zijn meestal mensen. Deelnemers steken tijd en moeite in deelname,
maar kunnen ook schade ondervinden door deelname (denk aan das experiment met de gevangenis).
Het is dus belangrijk dat er geen onderzoek wordt uitgevoerd waarbij de risico’s niet in verhouding
staan tot de opbrengsten.
2. Wetenschappelijk onderzoek wordt uitgevoerd met publieksgeld. Onderzoekers moeten dus hun best
doen dat et onderzoek de moeite waard was, repliceerbaar en dat alle stappen transparant en
herleidbaar zijn.
De Nuremberg Code waarvan de Helsinki Declaratie (die na de tweede wereldoorlog werden gemaakt) werd
geformuleerd wordt als basis beschouwd voor de ethische besluitvorming.
Om die besluiten te nemen zijn er ethische commissies opgericht. Zij maken een afweging van de kosten van
een studie en de mogelijke opbrengsten. Ook wordt er gekeken naar bescherming van de deelnemers zoals
nazorg. Een studie naar trauma heeft een groter risico op onwenselijke gevolgen dan een studie naar de
zachtheid van een konijn.
Ook beoordeelt een ethische commissie of anonimiteit van deelnemers is gewaarborgd en of er goed met de
data wordt omgegaan tijdens en na het onderzoek.
Studies worden dus uitsluitend goedgekeurd als ze goed in elkaar zitten. Een slecht ontworpen studie, waar
bijvoorbeeld onvoldoende deelnemers worden geworven, kan geen nieuwe kennis opleveren, en het is dus niet
ethisch om hier deelnemers mee lastig te vallen.
In Nederland zijn de principes van de Declaratie van Helsinki geïmplementeerd in de Wet Medisch Onderzoek
(WMO). Deze heeft betrekking op medisch-wetenschappelijk onderzoek. Het onderwerpen van personen aan
handelingen of het opleggen aan personen van een bepaalde gedragswijze maakt hier ook deel van uit. Deze
wet bepaalt dan of onderzoek ondr de WMO valt niet uitgevoerd mag worden als een Medisch Ethische
Toetsing Commissie (METC) het onderzoek niet eerst heeft getoetst en goedgekeurd.
De meeste psychologische en onderwijswetenschappelijk onderzoek zijn niet medisch-wetenschappelijk en
vallen dus niet onder de WMO. Daarom is er een ethische code ontwikkeld voor al het sociale en
gedragswetenschapelijk onderzoek in Nederland.
Informed Consent
Dit is een overeenkomst tussen de onderzoekers en de deelnemers aan een studie. Dit is een garantie dat
deelnemers volledig vrijwillig meedoen en niets doen dat ze niet willen. In zo’n overeenkomst geven de
deelnemers aan dat ze :
de gelegenheid hebben gehad om de achtergrondinformatie te lezen
De gelegenheid hebben gehad om vragen te stellen
De gelegenheid hebben gehad om over hun deelname na te denken
Begrijpen da ze op elk moment met het onderzoek kunnen stoppen zonder consequenties en zonder
opgave van reden.
De onderzoeker verplicht zich bovendien tot het volledig te anonimiseren van de data. Dit is belangrijk omdat
data bij wetenschappelijk onderzoek openbaar gemaakt moet worden.
Datamanagement en Full Disclosure
Data zijn de primaire uitkomsten van wetenschappelijk onderzoek. Hierdoor moet het onderzoek een
datamanagement plan hebben. In dit plan wordt beschreven hoe de data binnen het onderzoek wordt
opgeslagen, geanonimiseerd, wie toegang heeft en hoe deze na afloop langdurig wort opgeslagen. Hierin
wordt ook beschreven hoe er met de metadata wordt omgegaan (Data over de data die nodig is om een
databestand te begrijpen) als er een onderzoek wordt gedaan met een vragenlijst, is de vragenlijst nodig om
met het databestand de antwoorden van de deelnemers te begrijpen.
Alle producten van een onderzoek kan als metadata worden beschouwd
Ruwe data, scores op vragenlijsten
Analysescripts waarmee data is geanalyseerd
Uitkomsten van de data analyse
, Gebruikte materialen zoals vragenlijsten
In de prakrijk is een datamanagement plan en werkwijze zoals : netjes werken, alle acties bij houden en
duidelijke bestandsnamen gebruiken.
Full disclosure dit houdt in dat er volledige openheid wordt gegeven over het onderzoeksproces. (denk aan
fraude Diederik Stapel
Verspreiding van uitkomsten van wetenschappelijk onderzoek
Wetenschappers communiceren met elkaar in de vorm van Artikels online. Om een zo breed mogelijke
doelgroep te vangen is het van belang dat er in het Engels kan worden gelezen en geschreven.
1.2 Validiteit en betrouwbaarheid
We voeren onderzoek uit om te leren over de realiteit. Dit betreft altijd een vertaling van de realiteit naar data
in een onderzoek. Bij een ideale vertaling zijn de data een accurate representatie van wat er speelt in de
realiteit. Wanneer er bijvoorbeeld bij jou een intelligentietest wordt afgenomen dan zou het getal dat daaruit
komt exact de ‘’ ware intelligentie’’ van jou weergeven. Wanneer je nog een keer wordt gemeten dan zou daar
precies hetzelfde getal moeten uitkomen.
Helaas is een perfecte meting onmogelijk. Binnen de psychologie en onderwijswetenschappen zijn definities
van variabelen niet zo helder. Er bestaat geen consistent beeld over wat depressie, extraversie of intelligentie
betekent en ook niet hoe dit gemeten kan worden.
Bij onderzoek wordt bij de imperfectie (onzuiverheid) van metingen vaak gesproken in termen van validiteit en
betrouwbaarheid
Betrouwbaarheid
Betrouwbaarheid is de mate waarin een meting bij herhaling precies hetzelfde resultaat oplevert.
Het meten van de lengte van een volwassene is vaak best betrouwbaar; tenzij op millimeter niveau wordt
gemeten wordt waarschijnlijk altijd dezelfde lengte gevonden.
Sommige meetinstrumenten zijn accurater dan anderen.
Er zijn verschillende testen om intelligentie te meten, de mate waarin de uitkomsten afhangen van zaken die
geen invloed zouden moeten hebben is niet voor elke test hetzelfde.
Een verstorende invloed zou kunnen zijn dat sommige mensen in de ochtend erg moe zijn, terwijl anderen dan
juist fitter zijn. Dit kan effect hebben op de uitslag van een test, en hoeveel effect dit heeft verschilt van
meetinstrument tot meetinstrument.
Betrouwbaarheid is de stabiliteit van een meetinstrument over herhaalde metingen. Betrouwbaarheid is
gebaseerd op de aanname dat datgene dat gemeten wordt stabiel is. Wanneer je iemands humeur meet dan
veranderd dat over de tijd, verschillende uitkomsten die worden gevonden zijn dan geen symptoom van een
lage betrouwbaarheid, maar een indicatie dat het meetinstrument goed werkt.
Meetfout
De uitkomsten van een meetinstrument zijn ook afhankelijk van externe zaken, zoals hierboven beschreven.
Denk aan het feit dat iemand heel erg gestrest kan zijn voor een test of erg moe. Dit soort invloeden worden
ook wel meetfouten (measurement errors) genoemd. Wanneer er minder meetfouten zijn, is een meting
betrouwbaarder en andersom.
Validiteit
Validiteit is de mate waarin een meetinstrument meet wat die moet meten.
Validiteit heeft betrekking op de vraag of de representatie van een stukje realiteit binnen een onderzoek wel
overeenkomt met het stukje realiteit in de echte wereld. Een meetinstrument dat altijd een intelligentie van
100 aangeeft is niet valide: intelligentie verschilt immers tussen individuen. Om valide te zijn moet een
meetinstrument de verschillen die in het echt bestaan reproduceren in de data die in een onderzoek worden
verzameld. Deze vereiste gevoeligheid voor variaties kan haaks lijken te staan op de behoefte betrouwbaar te
zijn: immers, hoe gevoeliger een meetinstrument is voor subtiele verschillen, hoe eerder ook niet-ter-zake-
doende verschillen worden opgepikt, waardoor het meetinstrument minder betrouwbaar wordt.
, Om te weten hoe betrouwbaar een meting is, kan die bijvoorbeeld een week later worden herhaald. Als wat is
gemeten stabiel is gebleven, zou de tweede meting identiek moeten zijn aan de eerste. Hoe meer die tweede
meting afwijkt, hoe minder betrouwbaar het meetinstrument dan is.
Om een indruk te krijgen van validiteit worden vaak andere meetinstrumenten afgenomen om dezelfde of
gerelateerde dingen te meten. Als een intelligentietest bijvoorbeeld steeds ongeveer hetzelfde meet als andere
intelligentietests, dan pleit dat voor de validiteit van die test.
1.3 Populaties en steekproeven
Als we mensen (of dieren, schoolklassen, ziekenhuizen) willen onderzoeken dan kunnen we ze niet allemaal
onderzoeken want de doelgroep/populatie is te groot.
Voorbeelden van populaties zijn: Middelbare scholieren, de Nederlandse bevolking, Psychologie studenten.
Naast het feit dat de doelgroep vaak te groot is, kan het ook zo zijn at de populatie zodanig is gedefinieerd dat
deze ook mensen in het verleden en in de toekomst bevat.
Om ‘houdbare data’ te verzamelen over een populatie, wordt die dus meestal gedefinieerd als een oneindig
grote groep mensen.
Daarom onderzoeken we niet een hele populatie, maar nemen we een steekproef.
Dit is een groep mensen die minder groot is dan de volledige populatie, en een selectie van de totale
populatie.
Steekproef
Aselecte steekproef
Random of willekeurig, elk lid van de populatie heeft hierbij evenveel kans om in de steekproef te belanden.
Voordeel is dat deze representatief is voor de hele populatie naarmate de steekproef groter wordt, gaat de
steekproef steeds meer op de populatie lijken.
De enige verstorende factor is toeval en dat kan op twee manieren
1. De meetfout: elke meting wordt een beetje verstoord, geen enkele meting is perfect
2. Steekproeftoeval: er kunnen puur door toeval één of meerdere uitzonderlijke mensen in de steekproef
belanden waardoor de steeproef minder representatief is zonder dat je dat als onderzoeker
realiseert.
Naarmate de steekproef groter wordt , wordt de rol van het streekproeftoeval kleiner.
Generalisatie
Wanneer deelnemers willekeurig worden gekozen, zoals bij de aselecte steekproef, geldt dat de data uit die
steekproef iets zegt over de hele populatie.
Verstorende factoren in steekproeftoeval en meetfout, maar omdat we in kaart kunnen brengen hoe groot de
invloed va die twee is, is dat niet zo erg.
Er zijn verschillende methoden om aselecte steekproeven te nemen (steekproef-methoden of ‘sampling
methods’). Drie voorbeelden zijn:
1. Aselecte steekproef (‘aselect sampling’): dit is een steekproef-methode waarbij elke
onderzoekseenheid in de populatie evenveel kans heeft om in de steekproef te belanden.
2. Gestratificeerde steekproef (‘stratified sampling’): bij deze steekproef-methode wordt de populatie eerst
opgedeeld aan de hand van kenmerken zoals geslacht, waarna uit elk deel een aselecte steekproef wordt
genomen. Met deze methode worden gegarandeerd evenveel mannen als vrouwen geselecteerd.
3. Multi-level steekproef (‘multi-level sampling’): als de onderzoekseenheden (mogelijke deelnemers) in de
populatie georganiseerd zijn in grotere groepen, zoals scholieren in klassen en scholen, wordt soms eerst
een aselecte steekproef van scholen genomen, waarna per school een aselecte steekproef van klassen
wordt genomen. In elke klas worden dan ofwel alle scholieren onderzocht, of er wordt een derde aselecte
steekproef genomen.
Selecte steekproef
Hierbij worden deelnemers geselecteerd op basis van kenmerken zoals leeftijd en geslacht. Vaak gebeurd dit in
kwalitatief onderzoek.