Inleiding onderzoek
Thema 1
5 fasen empirische onderzoeks cyclus:
1. Onderzoeksvraag formuleren
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
a. Dit is een iteratief proces (onderdelen uit het proces herhalen, herhalend
proces)
Open Access – tijdschriften voor iedereen toegankelijk
Replicatiecrisis – er zijn te veel onderzoeken waarbij de data niet valt te repliceren, dit
is een probleem in de sociale wetenschappen.
Publication bias – de neiging om alleen studies te publiceren die effecten laten zien.
Dubieuze onderzoekspraktijken – de dataverzameling, -analyse en -rapportage is
gebaseerd op het verkrijgen van gewenste resultaten in plaats van op het zuiver
uitvoeren van onderzoek.
Pre-registratie – het vastleggen van de onderzoeksvraag, onderzoeksopzet en methode
van dataverzameling en -analyse.
Full – disclosure – volledige openheid over het onderzoeksproces.
Variabele – iets dat varieert of zou kunnen variëren. Het meten van psychologische
variabelen is ingewikkelder omdat deze niet direct observeerbaar zijn en ze vaak geen
eenduidige definities hebben, daarnaast hebben ze geen algemeen gebruikte eenheid om
deze variabelen te meten.
Psychologische constructen – dit zijn psychologische variabelen waarbij de definitie is
afgeleid vanuit theorie en waarbij die definitie specificeert wat wel en wat niet tot de
variabele behoort. Om psychologische constructen te meten, worden operationalisaties
gebruikt, operationalisaties van een variabele maken het construct concreet en tastbaar.
Er zijn twee soorten operationalisaties: meetinstrumenten en manipulaties.
De bedoeling van een meetinstrument is om op consistente wijze een variabele te
kwantificeren, hierbij is het zeker niet de bedoeling dat er iets wordt beïnvloed,
verschillende stimuli (items) worden gemeten die het construct omvatten. De
meetwaarden zijn de mogelijke waarden die behaald kunnen worden bij een
operationalisatie. De data uit meetinstrumenten heet datapunten en een reeks
datapunten is een datareeks. Een datareeks afkomstig van hetzelfde meetinstrument
wordt variabele genoemd.
Waar meetinstrumenten tot doel hebben om datapunten te verzamelen zonder het
betreffende construct te beïnvloeden is het doel van manipulaties om juist wel het
construct te beïnvloeden. Door manipuleren van variabelen in (quasi-) experimenteel
onderzoek kan onderzocht worden of er een causaal verband bestaat tussen twee
variabelen. Bij manipulatie worden stimuli aan deelnemers gepresenteerd (beelden,
geluiden, video). Binnen elk onderzoek (steekproef) is er dus een datareeks per variabele.
Een meetmodel visualiseert hoe een variabele via stimuli of items wordt
geoperationaliseerd.
Reflectief meetmodel:
Hierin lopen de lijnen van het construct (latente
variabele) naar de indicatoren. Dit model kan niet
worden gebruikt bij bijvoorbeeld indexvariabelen zoals
sociaal economische status, waarbij een aantal relevante
zaken zoals inkomen, postcode etc. bij elkaar moeten
worden opgeteld.
1
,Meetmodellen worden meestal alleen voor meetinstrumenten opgesteld en niet voor
manipulaties. De richting van de pijl bepaalt wat op wat invloed heeft.
De mate waarin een meting bij herhaling telkens hetzelfde resultaat oplevert heet de
betrouwbaarheid van die meting.
Niet-systematische meetfout (ruis) zijn toevallige invloeden op de testscore (zoals
veel stress bij een IQ test zorgt voor een hogere of lagere score dan ‘normaal’).
Minder toevallige verstorende invloeden/niet-systematische meetfout kleiner betekent
dat de meting betrouwbaarder is en vice versa.
Wanneer iemand lijdt aan insomnia en stelselmatig slecht slaapt, is de verstoring door
het slechte slapen geen niet-systematische meetfout, maar een systematische
meetfout, ook wel bias genoemd.
De mate waarin een meetinstrument meet wat het moet meten, heet validiteit. Binnen
de causale opvatting van validiteit is een test valide om een bepaald construct te
meten als (1) het construct bestaat en (2) de verschillen tussen (of binnen) mensen op
het construct tot verschillende uitkomsten op het meetinstrument leiden. Bij deze
opvatting van validiteit wordt ervan uit gegaan dat je pas goed kunt nagaan of het
meetinstrument valide is als je weet hoe een meetinstrument werkt (dus alle processen
kent).
Constructvaliditeit (of begripsvaliditeit) gaat over de vraag of de resultaten van een
onderzoek wel werkelijk een indicatie zijn voor het construct/begrip waarover je een
uitspraak wilt doen, dit kan bestaan uit het bepalen van de samenhang van items en
schalen onderling.
Indruksvaliditeit (of face validity) is de mate waarin het meetinstrument de indruk
geeft te meten wat het zou moeten na bestudering van het meetinstrument door een
leek of iemand uit het vakgebied.
Criterium validiteit (of criterion validity) de mate waarin de uitkomsten van een
meetinstrument als verwacht samenhangen met die op een ander meetinstrument of
uitkomstmaat (intelligentietest hangt samen met schoolcijfers).
Externe validiteit is de mate waarin de uitkomsten van een studie gegeneraliseerd
kunnen worden naar de doelpopulatie.
Inhoudsvaliditeit (of content validity) de mate waarin de items van het meetinstrument
het gehele construct omvatten.
Een meetinstrument met een lage betrouwbaarheid kan nooit valide zijn, een
meetinstrument met een hoge betrouwbaarheid kan wel, maar hoeft niet valide te zijn.
Kwantitatief onderzoek (getallen) is onderzoek waarmee aan de hand van
meetinstrumenten en manipulaties getallen worden toegekend aan variabelen. De
getallen vormen datareeksen die worden geanalyseerd met statistische software, nadeel:
het vereist operationalisaties van hoge kwaliteit (operationalisaties die betrouwbaar en
valide zijn).
2
, Kwalitatief onderzoek (woorden) heeft als doel het perspectief van deelnemers te
interpreteren en te begrijpen, de individuele zienswijze van de deelnemer staat centraal
en de interviewer kan bijvoorbeeld doorvragen, dit levert rijke en complexe
onderzoeksdata op.
Kwalitatief onderzoek kan dus ideeën geven over hoe de wereld in elkaar zou zitten en
kwantitatief onderzoek kan die ideeën vervolgens bevestigen of ontkrachten.
Een populatie of doelgroep is vaak te groot om te onderzoeken (Nederlandse bevolking,
middelbare scholieren) en/of de populatie is zodanig gedefinieerd dat deze mensen in het
verleden en in de toekomst bevat. Voor het verzamelen van houdbare data wordt de
populatie gedefinieerd als een oneindig grote groep mensen. Niet iedereen van een
populatie kan onderzocht worden, daarom wordt er een steekproef genomen, dit is een
selectie van de totale populatie.
Er zijn verschillende methoden voor steekproeftrekking:
- Probability samples: elk lid van de populatie heeft een bepaalde, bekende kans
om te worden opgenomen in de steekproef
- Non probability samples: hierbij weet je niet dat een bepaald lid van de
populatie wordt opgenomen in de steekproef
- 3 voorbeelden van probability samples:
- Aselecte steekproef (random/willekeurige steekproef): elke onderzoekseenheid
in de populatie heeft evenveel kans om in de steekproef te belanden
- Gestratificeerde aselecte steekproef: de populatie wordt eerst opgedeeld in
subpopulaties (man/vrouw), daarna wordt daaruit een aselecte steekproef
genomen
- Multilevel aselecte steekproef (cluster steekproef): als de
onderzoekseenheden in de populatie georganiseerd zijn in groepen (scholieren in
klassen en scholen), bijvoorbeeld eerst aselecte steekproef scholen, daarna per
school aselecte steekproef klassen en vervolgens leerlingen
Bij probability samples zijn de uitspraken op basis van de steekproeven
generaliseerbaar naar de populatie. Toeval kan een verstorende factor zijn bij
probability samples, hoe groter de steekproef, hoe kleiner de rol van de niet-
systematische meetfout.
Steekproeffout: puur door toeval kunnen een of meer uitzonderlijke mensen in een
steekproef belanden, hoe groter de steekproef, hoe kleiner de steekproeffout.
Resultaten op basis van non-probability samples zijn minder goed te generaliseren naar
de populatie. 4 voorbeelden van non-probability sampling:
- Convenience sampling: deelnemers worden gekozen op basis van praktische
criteria (geografische locatie)
- Snowball sampling: hierbij wordt wel nagedacht over de kenmerken van de
deelnemers en worden de eerste deelnemers weloverwogen gekozen, zij worden
vervolgens gevraagd om vrienden/familie uit te nodigen die voldoen aan bepaalde
eisen. Wordt bereikt bij moeilijk te bereiken doelgroepen (illegale sekswerkers)
- Purposive sampling: deelnemers worden weloverwogen gekozen, wordt vaak bij
kwalitatief onderzoek gebruikt
- Quota sampling: vergelijkbaar met gestratificeerde steekproeven, alleen worden
nu selecte steekproeven getrokken door bijvoorbeeld convenience sampling of
snowball sampling toe te passen op subpopulaties
Non probability samples zijn dus selecte steekproeven, lage externe validiteit.
3