SAMENVATTING
ONDERZOEKSPRACTICUM INLEIDING
ONDERZOEK (PB0212)
Open Universiteit Jaar 2022 – 2023
,Inhoud samenvatting:
T1 BASISCONCEPTEN 3
T2 MODELLEN, DESIGNS & ONDERZOEKSVRAGEN 8
T3 UNIVARIATE ANALYSES 11
T4 CORRELATIE 20
T5 REGRESSIE 27
T6 T-TOETSEN & COHENS’S D 34
T7 ANOVA 37
T8 ETHIEK 42
2
, 1 Basis Concepten
1.1 Wetenschappelijk onderzoek
Wetenschap
Voorbeeld: cacaobonen zijn superfood, je probeert het uit & je voelt je echt beter.
Is dit een echt effect of wil je gewoon dat de cacaobonen je beter laten voelen?
Zelfonderzoek kan gevaarlijk zijn, onze geest die zintuigelijke info verwerkt, is
gevoelig voor storingen in de informatieverwerking.
Wetenschap: zoektocht naar kennis, deze kennis wordt verkregen via
systematische methode om te leren over de werkelijkheid.
Onderzoekscyclus
Empirisch onderzoek: hier wordt data verzameld.
Empirische onderzoekscyclus: proces van wetenschappelijk onderzoek dat in
5 fasen kan worden onderscheiden:
1. Onderzoeksvraag formuleren: bepaalt het onderwerp v.d. studie.
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren: in een rapportage ontstaan vaak nieuwe onderzoeksvragen, de
onderzoekscyclus is dus een iteratief (herhalend) proces.
Verspreiding van uitkomsten van wetenschappelijk onderzoek
Wetenschappers communiceren via wetenschappelijke artikelen die via wetensch.
journals (tijdschriften) worden verspreid. Voordat artikelen geaccepteerd worden
voor publicatie worden ze beoordeeld door andere wetenschappers.
1ste wetensch. tijdschrift verscheen op 6 maart 1665 onder leiding van Oldenburg.
Open acces tijdschriften: tijdschriften die voor iedereen gratis beschikbaar
zijn. Dit komt meer en meer voor & hoef je dus niet verbonden te zijn aan uni.
Hernieuwde aandacht voor goed onderzoek
Stapel-affaire (2011): Stapel had gefraudeerd met onderzoeksdata.
Replicatiecrisis (+/- 2011): vaststelling dat veel onderzoek bij herhaling
andere uitkomsten oplevert:
Publication bias: makkelijker om alleen alleen studies te publiceren die effecten
laten zien. Dit omdat journals het interessanter vinden om studies te publiceren
die effecten aantonen. Onderzoekers weten dit waardoor ze de studies dat geen
effecten laat zien in de kast blijft liggen (file-drawer-probleem).
Dubieuze onderzoekspraktijken: dataverzameling is gebaseerd op het
verkrijgen van gewenste resultaten i.p.v. zuiver uitvoeren van onderzoeken.
Onderzoek mag absoluut niet worden beïnvloed door iemands vermoedens.
3
,Bestaat in verschillende soorten:
- Selectief rapporteren van variabelen/condities : alleen variabelen of condities die
het gewenste effect hebben laten zien.
- Flexibiliteit bij data-analyse: op basis v.d. uitkomst besluiten om wel of niet extra
variabele in de analyse te betrekken of bepaalde wel/niet te laten zien.
- Selectiviteit/flexibiliteit bij opstellen van hypotheses: op basis van resultaten v.h.
onderzoek bepaalde hypotheses achterwege laten of aanpassen.
Probleem doordat empirische onderzoekscyclus te flexibel wordt opgevat.
Om bovenstaande zaken te vermijden is preregistratie nodig: vastleggen van alle
empirische onderzoekscyclus stappen enkel dan zuivere resultaten.
Ook is full disclosure erg belangrijk: alle onderzoek moet mee gepubliceerd
worden om het onderzoek te kunnen repliceren (data, metadata etc.) openheid.
1.2 Operationalisaties
Variabelen
Beter voelen door cacaobonen? Dan moet men weten hoeveel cacaobonen met per
dag eet variabele (iets dat kan variëren) = aantal cacaobonen per dag.
Psychologische variabelen of constructen
Meten van psychologische variabelen (bv; extraversie) = ingewikkelder:
- Niet direct observeerbaar
- Extraversie heeft niet 1 definitie die eenduidig beschrijft wat het is
- Extraversie = geen algemeen gebruikte ‘eenheid’ zoals ‘aantal cacaobonen’
Construct = psychologische variabelen waarbij de definitie is afgeleid vanuit
theorie & waarbij de definitie specifieert wat wel & niet tot de variabele behoort.
Extraversie is hier een voorbeeld van.
Operationalisaties
Om psychologische constructen te meten worden operationalisaties gebruikt: ze
maken het construct concreet, tastbaar & het vormt de vertaling v.d. definitie v.h.
theoretische construct naar een meetinstrument of manipulatie.
2 soorten operationalisaties:
1. Meetinstrumenten: variabele meten zonder deze te beïnvloeden, doel:
variabelen kwantificeren, datapunten verzamelen. Wordt gemeten met
verschillende items ook wel stimuli genoemd, zij omvatten het construct.
Voorbeelden items:
- Vragen met antwoordschalen ‘In welke mate is geld belangrijk voor u?’
- Taken reactietijden bij computertaken
- Observaties hoe vaak maken deelnemers oogcontact met elkaar?
Variabelen kunnen verwijzen naar theoretische variabele of naar een datareeks!
4
,2. Manipulaties: beïnvloeding van variabele of construct door onderzoekers, zo
kunnen ze zien of de ene variabele een verandering in de andere variabele
veroorzaakt. Er worden stimuli aan de deelnemers gepresenteerd, denk aan
geluiden, beelden etc. Bv; deelnemers naar een droevig filmpje laten kijken.
Onderzoekers moeten op een consistente wijze getallen toekennen aan de versch.
condities. Bv; 0 deelnemers die manipulatie niet ontvingen & een 1 voor degene
die het wel ontvingen. Er kunnen ook versch. versies van manipulaties bestaan
deelnemers krijgen een grote (1), kleine (2) of geen beloning (3).
Meetmodel
Meetinstrumenten bestaan meestal uit meerdere stimuli (vragenlijst met meerdere
vragen). Meetmodel visualiseert hoe een variabele via stimuli/items wordt
geoperationaliseerd, ze worden weergegeven in ovalen. De stimuli/items (vragen
op de vragenlijst) vormen de indicatoren die in rechthoeken worden weergegeven.
Reflectief meetmodel (meerdere meetmodellen, deze cursus reflectief): lijnen
v.h. construct (latente variabele) indicatoren. Richting v.d. pijl veronderstelt
dat het construct bepaalt hoe een persoon scoort op de indicatoren. Bij
manipulatie: indicator (vierkant) construct (ovaal).
1.3 Betrouwbaarheid en validiteit
Operationalisaties moeten hieraan voldoen om representatief te zijn:
Betrouwbaarheid: mate waarin een meting bij herhaling telkens hetzelfde
resultaat oplevert oftewel; stabiliteit over herhaalde metingen. (Niet-systemat.)
- Niet-systematische meetfout of ruis of random measurement error: toevallige
verstoring v.h. meetresultaat. Bv; bij intelligentie zal iemand beter scoren als hij
goed geslapen heeft & andersom.
Validiteit: het is valide als de IQ test de versch. in intelligentie tussen personen
reflecteren in de scores van dat meetinstrument. (Systematische meetfout).
- Systematische meetfout of bias: niet toevallig. Bv; lijden aan insomnia
waardoor je vaak slecht slaapt, bij IQ test ook stelselmatig een lagere IQ-score.
2 benaderingen om erachter te komen of een meetinstrument valide is:
1. Causale opvatting van validiteit: als het construct bestaat (men moet weten
hoe het meetinstrument werkt, bv; thermometer weten te gebruiken) & als
versch. tussen mensen op het construct tot versch. uitkomsten op het
meetinstrument leiden, dan is de test valide om een construct te meten.
2. Constructvaliditeit: hier wordt gekeken naar in hoeverre interpretaties van
testscores ondersteund worden door theorie & empirisc bewijs (veelal gebaseerd
op de samenhang tussen variabelen en/of items) voor het gebruik v.d. test.
Andere soorten validiteit:
- Indruksvaliditeit of face validity: meetinstrument moet de indruk geven dat hij
zal meten wat gemeten moet worden, instrument enkel nauwkeurig bekijken.
- Criterium validiteit: mate waarin uitkomsten als verwacht samenhangen met die
op een ander meetinstrument/uitkomstmaat. Intelligentie wordt verwacht
samen te hangen met schoolcijfers.
5
,- Externe validiteit: kijkt naar in hoeverre de gevonden patronen ook buiten de
onderzochte context gelden, want wordt vaak uit gevoerd in een labo.
- Inhoudsvaliditeit: mate waarin de items het gehele construct omvatten.
Relatie tussen betrouwbaarheid en validiteit
Betrouwbaar als de uitkomsten dicht bij elkaar liggen & valide als ze gecentreerd
zijn rond het middelpunt.
Betrouwbaarheid en validiteit als operationalisaties
Wanneer dat een meetinstrument ontwikkeld is voor volwassenen & dan wordt
gebruikt bij jongeren, kan dit ineens minder betrouwbaar zijn. Betrouwbaarheid &
validiteit moet dus altijd opnieuw worden bepaald.
Kwalitatief onderzoek
Tot nu toe hebben we alleen kwantitatief onderzoek besproken: getallen worden
toegekend aan variabelen d.m.v. onderzoek…, ze vormen een datareeks die
geanalyseerd wordt door statistische software. Dit om relaties tussen variabelen te
onderzoeken. Vereist betrouwbaarheid & validiteit.
Kwalitatief onderzoek: perspectief v.d. deelnemers interpreteren & begrijpen.
Levert rijke & complexe data op opnames van interviews.
Kwalitatief onderzoek kan ideëen geven hoe de wereld in elkaar zit & kwantitatief
onderzoek kan dit bevestigen of ontkrachten.
1.4 Populaties en steekproeven
Populaties
Meestal kunnen we niet alle onderzoekseenheden (mensen, dieren etc.)
onderzoeken, want de doelgroep (subpopulatie) of populatie is te groot of deze is
zo gedefinieerd dat ze mensen in het verleden of de toekomst bevat oneindig
bezig met onderzoeken.
Daarom nemen we een steekproef: selectie van onderzoekseenheden uit een
populatie. Verschillende methoden van steekproeftrekking (sampling methods):
6
,- Probability samples: iedereen heeft een bekende kans om deel uit te maken
v.d. steekproef. 3 voorbeelden hiervan:
1. Aselecte steekproef (random/willekeurig): iedereen heeft evenveel kans.
2. Gestratificeerde aselecte steekproef (gelaagde steekproef): hierbij wordt de
populatie opgedeeld is in subpopulaties, daarna wordt uit elke subpopulatie een
aselecte steekproef genomen.
3. Multilevel aselecte steekproef (clustersteekproef): wnr onderzoekseenheden
in de populatie georganiseerd zijn in groepen (klassen, scholen etc.), hier wordt
eerst een aselecte steekproef v.d. school genomen & dan van klassen etc.
Toeval manifesteert zich op 2 manieren:
1. Niet-systematische meetfout: geen enkele meting = perfect, hoe groter de
steekproef, hoe kleiner de rol v.d. niet-systematische meetfout.
2. Steekproeffout: 1 of meer uitzonderlijke mensen kunnen in de steekproef
belanden door toeval, zo wordt de steekproef minder representatief.
- Non-probability samples: hierbij weet je niet wat de kans is, minder goed
generaliseerbaar naar de populatie & lagere externe validiteit. 4 vb. hiervan:
1. Convenience sampling: deelnemers worden gekozen op basis van praktische
criteria (benaderen van scholen in de buurt, zodat de leerlingen niet ver moeten
gaan), verkrijgen van data dat representatief is staat hier niet centraal.
2. Snowball sampling: begint met een klein aantal deelnemers (seeds), zij
worden gevraagd vrienden uit te nodigen die voldoen aan aantal eisen. Het
heeft een plan in tegenstelling tot 1. Moeilijke groepen bereiken zoals
sekswerkers etc.
3. Purposive sampling: deelnemers worden geselecteer op basis van specifieke
kenmerken zoals jonge vrouwen die kinderen combineren met een fulltime job.
4. Quota sampling: vergelijkbaar met gestratificeerde, er worden selecte
steeproeve getrokken door bv. snowball toe te passen op versch. subpopulaties.
Voor kwantitatief onderzoek zijn aselecte getrokken steekproeven belangrijk & dat
verschilt met kwalitatief onderzoek, want hier is de dataverzameling- en analyse zo
intensief dat het vaak maar kleine steekproeven kan onderzoeken daarom
selecte steekproeven, die strategisch worden samengesteld.
7
, 2 Modellen, designs & onderzoeksvragen
2.1 Structurele modellen
Het structurele model
Een structureel, ook wel conceptueel model genoemd, laat zien hoe de
onderzoeker verwacht dat de variabelen in een studie samenhangen. Bevat alleen
de constructen met hun verwachte samenhang & de operationalisaties worden
achterwegen gelaten. Ook bestaat het uit ovalen en/of rechthoeken & pijltjes.
Voorbeeld: representeert verwachting v.d. onderzoekers dat geslacht invloed heeft
op de lengte v.d. pinguïns.
Geslacht Pinguïns
2.2 Typen designs
Design of de opzet van een studie is de manier waarop data worden verzameld.
Cross-sectionele vs longitudinale designs
Cross-sectioneel design: er is maar 1 meetmomnt, alle data per onderzoeks-
eenheid (deelnemer) wordt dus min of meer gelijktijdig in 1 sessie verzameld.
Voorbeelden:
- Onderzoek naar een nieuw meetinstrument
- Prevalentiestudie doel: hoe vaak ziekte/aandoening voorkomt in populatie
- Onderzoek waarbij vermoeden bestaat dat populatie bestaat uit subpopulaties
Longitudinaal design: er zijn meerdere meetmomenten, bv; als de deelnemers
volgende maand een 2de vragenlijst invullen meestal de voorkeur.
Nadelen:
- Moeilijk te implementeren, omdat deelnemers vaker gemeten moeten worden
kostbare aangelegenheid & vraagt opl. om anonimiteit te blijven garanderen.
- Op elk meetmoment kunnen mensen uitvallen attritie, wordt moeilijk om
conclusies te trekken, omdat het onduidelijk is op welke kenmerken de
uiteindelijk overgebleven steekproef geselecteerd is, is ze nog wel
representatief? attritie kan een niet te onderschatten bron van bias zijn.
Observationele vs experimentele designs
Observationeel design: hier worden 2 of meer variabelen gemeten, maar er is
geen sprake van manipulatie, de deelnemers worden niet beïnvloed.
8
, Experimenteel design: bevat 1 of meer manipulaties, de deelnemers worden
dus beïnvloed vraag of variabelen elkaar beïnvloeden, causaal verband
ja/nee? Verband tussen 2 variabelen is causaal als:
- Variabele die invloed uitoefent (causale antecedent) moet eerder gemeten of
gemanipuleerd worden dan de andere variabele (causale consequent). Invloed
moet tijd hebben om plaats te vinden.
- Variabelen moeten samenhangen onderzocht worden door statistische toets.
- Verband kan niet verklaard worden door andere variabele/externe invloeden
confounders, kunnen niet worden uitgesloten dat ze verantwoordelijk zijn voor
de gevonden verbanden & meetwaarden in een studie.
Oplossing confounders: randomisatie, proces waarmee onderzoekseenheden
willekeurig worden verdeeld over 2 of meer condities. Als het aantal onderzoeks-
eenheden groot genoeg is, resulteert dit proces in equivalente groepen. Hoe meer
mogelijke confounders er zijn, hoe grotere groepen er nodig zijn.
Als 2 equivalente groepen een andere behandeling krijgen, is er sprake van
manipulatie. Voorbeeld: behandeling burn-out, de ene groep krijgt de oude
behandeling & de andere krijgt de nieuwe behandeling.
Manipulatie is dus een operationalisatie van een variabele, die bestaat uit een serie
versch. procedures waaraan de versch. groepen worden blootgesteld. Enige verschil
dat er mag zijn is de variabele dat er onderzocht wordt, niet de invloed. Voorbeeld:
onderzoek accepentuur, moet vergeleken worden met een behandeling die er zo
weinig mogelijk van verschilt anders kunnen er geen conclusies getrokken worden.
Matching: poging om manipulaties te ontwikkelen zodat ze hetzelfde zijn in alle
aspecten, behalve de te manipuleren variabele invloed confounders uitsluiten.
Controleconditie: vergelijkingsconditie als het effect van een beloning wordt
onderzocht, dan is het effect zonder beloning minder interessant.
Experimentele conditie: conditie waar de interesse naar uitgaat.
Blindering: afschermen van elementen voor deelnemers of onderzoekers, want
het kan een storende invloed hebben op de effecten v.d. manipulatie.
Dubbelblindheid: hier weten zowel de deelnemers, als de onderzoekers niet
welke condities worden onderzocht, ook om verwachtingen te vermijden.
Keuze voor een design en andere varianten
- Longitudinaal design: nodig als theorie wordt onderzocht die processen beschrijft
die binnen onderzoekseenheden plaatsvinden.
- Experimenteel design: nodig als theorie wordt onderzocht die invloed of
causaliteit veronderstelt
- Observationeel/cross-sectioneel design: vraag of 2 variabelen samenhangen.
‘Perfecte designs’ zijn moeilijk te implementeren, daarom varianten:
- Quasi-experiment: deelnemers worden ingedeeld in groepen op basis van
leeftijd, geslacht etc. geen randomisatie uitgevoerd.
- …
9
, 2.3 Onderzoeksvragen en hypothesen
Onderzoeksvraag: vraag waarop onderzoekers een antwoord willen weten,
meestal gaat het om de vraag naar het verband tussen variabelen.
Bv: leidt het toevoegen van verwerkingsopdrachten tot beter begrip bij studenten?
In sommige gevallen gaan onderzoekers een stap verder & formuleren ze een:
Hypothese: onderzoeksvraag die als stelling geformuleerd is met een
specifieke verwachting v.d. onderzoekers.
Onafhankelijke en afhankelijke variabelen
Onafhankelijke variabelen causale antecedenten, wordt ook wel
voorspellers of covariaten genoemd.
Afhankelijke variabelen causale consequenten, wordt ook wel criterium of
uitkomstmaat genoemd.
Formuleringen op theoretisch vs operationeel niveau
Theoretisch niveau: genoemde variabelen zijn de namen van constructen zoals
ze in wetensch. theorieën voorkomen. Kan op versch. manieren
geoperationaliseerd worden.
Operationeel niveau: benoemt de operationalisaties van elk construct.
Doelstellingen
Beantwoording van onderzoeksvragen dragen direct of indirect bij aan maatsch.
doelen zoals geluk, gezondheid, productiviteit & onderwijskwaliteit.
10