INHOUD
1. Introductie ................................................................................................. 8
1.1 Niet-wetenschappelijke methoden om kennis te vergaren .................................................... 8
1.1.1 Vasthoudendheid (tenacity) .............................................................................................................. 8
1.1.2 Intuïtie ............................................................................................................................................... 8
1.1.3 Autoriteit ........................................................................................................................................... 8
1.1.4 Rationalisme ...................................................................................................................................... 9
1.1.5 Empirie .............................................................................................................................................. 9
1.2 De wetenschappelijke methode ............................................................................................ 10
1.2.1 De wetenschappelijke methode: stap 1 .......................................................................................... 10
1.2.2 De wetenschappelijke methode: stap 2 .......................................................................................... 10
1.2.3 De wetenschappelijke methode: stap 3 .......................................................................................... 10
1.2.4 De wetenschappelijke methode: stap 4 .......................................................................................... 11
1.2.5 De wetenschappelijke methode: stap 5 .......................................................................................... 11
1.2.6 Drie belangrijke principes ................................................................................................................ 12
1.2.7 Wetenschap versus pseudowetenschap ......................................................................................... 12
1.3 De empirische cyclus ............................................................................................................. 13
2. Hypothesen formuleren ............................................................................14
2.1 Karakteristieken van een goede hypothese ................................................................................ 14
2.1.1 Logisch .................................................................................................................................................. 14
2.1.2 Toetsbaar ............................................................................................................................................. 15
2.1.3 Weerlegbaar ......................................................................................................................................... 15
2.1.4 Positief.................................................................................................................................................. 15
3. Variabelen definiëren en meten ................................................................15
3.1 Constructen en operationele definities ....................................................................................... 16
3.1.1 Theorieën en constructen .................................................................................................................... 16
3.2 Validiteit en betrouwbaarheid..................................................................................................... 17
3.2.1 Validiteit ............................................................................................................................................... 17
3.2.1.1 Indruksvaliditeit ............................................................................................................................. 17
3.2.1.2 Concurrente validiteit .................................................................................................................... 18
3.2.1.3 Predictieve validiteit ...................................................................................................................... 18
3.2.1.4 Construct validiteit ........................................................................................................................ 18
3.2.1.5 Convergente validiteit ................................................................................................................... 18
3.2.1.6 Divergente validiteit ...................................................................................................................... 18
3.2.2 Betrouwbaarheid ................................................................................................................................. 18
1
, 3.2.3 De relatie tussen validiteit en betrouwbaarheid ................................................................................. 19
3.3 Meetschalen ................................................................................................................................ 19
3.3.1 Kwalitatief: Nominaal ........................................................................................................................... 19
3.3.2 Kwalitatief: ordinaal ............................................................................................................................. 20
3.3.3 Kwantitatief: interval............................................................................................................................ 20
3.3.4 Kwantitatief: ratio ................................................................................................................................ 20
3.3.5 Interval versus ratio meetschaal .......................................................................................................... 20
3.4 Meetmodaliteiten ........................................................................................................................ 21
3.4.1 Zelfrapportage...................................................................................................................................... 21
3.4.2 Fysiologie .............................................................................................................................................. 21
3.4.2 Gedragsmaten ...................................................................................................................................... 21
3.5 Andere aspecten van meten ........................................................................................................ 22
3.5.1 Multipele metingen .............................................................................................................................. 22
3.5.2 Sensitiviteit ........................................................................................................................................... 22
3.5.3 Artefacten ............................................................................................................................................ 22
5. Selecteren van participanten .....................................................................23
5.1 Steekproeftrekking ...................................................................................................................... 23
5.1.1 Representatieve steekproef ................................................................................................................. 23
5.1.2 Steekproefgrootte ................................................................................................................................ 24
5.1.3 Steekproeftrekking .......................................................................................................................... 24
5.1.3.1 Probability sampling ...................................................................................................................... 24
5.1.3.2 Nonprobability sampling ............................................................................................................... 25
5.2 Probability sampling .................................................................................................................... 25
5.2.1 Simple random sampling ...................................................................................................................... 25
5.2.2 Systematische sampling ....................................................................................................................... 25
5.2.3 Gestratificeerde random sampling ...................................................................................................... 26
5.2.4 Proportionele gestratificeerde random sampling ................................................................................ 26
5.2.5 Cluster sampling ................................................................................................................................... 26
5.3 Nonprobability sampling.............................................................................................................. 27
5.3.1 Convenience sampling ......................................................................................................................... 27
5.3.1 Quota sampling .................................................................................................................................... 27
6. Onderzoeksstategieën en validiteit ...........................................................27
6.1 Onderzoeksstrategieën ................................................................................................................ 27
6.1.1 De beschrijvende onderzoeksstrategie ................................................................................................ 27
6.1.2 Correlationeel....................................................................................................................................... 28
6.1.3 Experimenteel ...................................................................................................................................... 28
2
, 6.1.4 Quasi-experimenteel ............................................................................................................................ 28
6.1.5 Non-experimenteel .............................................................................................................................. 29
6.1.5.1 Correlationeel vs non-experimenteel............................................................................................. 29
6.1.6 Samenvatting ....................................................................................................................................... 29
6.1.7 Onderzoeksstrategie, onderzoeksdesign en onderzoeksprocedure .................................................... 30
6.2 Externe en interne validiteit ........................................................................................................ 30
6.2.1 Externe validiteit .................................................................................................................................. 30
6.2.2 Interne validiteit ................................................................................................................................... 30
6.2.3 Bedreigingen van validiteit ................................................................................................................... 31
6.2.3.1 Bedreigingen van externe validiteit ............................................................................................... 31
6.2.3.2 Bedreigingen van de interne validiteit .......................................................................................... 32
6.2.4 Meer over interne en externe validiteit ............................................................................................... 33
6.2.4.1 Interne en externe validiteit balanceren ....................................................................................... 33
6.2.4.2 Artefacten: bedreiging voor interne én externe validiteit ............................................................. 33
6.2.4.3 Validiteit en individuele onderzoeksstrategieën ............................................................................ 33
7. De experimentele onderzoeksstrategie .....................................................34
7.1 Oorzaak-gevolg relaties ............................................................................................................... 34
7.1.1 Terminologie ........................................................................................................................................ 35
7.2 Elementen van een experiment................................................................................................... 35
7.2.1 Manipulatie .......................................................................................................................................... 35
7.2.2 Controle................................................................................................................................................ 36
7.2.2.1 Bijkomende variabelen controleren .............................................................................................. 36
7.3 Controleren van condities en manipulatie checks....................................................................... 37
7.3.1 Controleren van condities .................................................................................................................... 37
7.3.2 Manipulatie checks .............................................................................................................................. 38
7.4 Verhogen van de externe validiteit: simulatie en veldonderzoek ............................................... 38
7.4.1 Simulatie............................................................................................................................................... 38
7.4.2 Veldonderzoek ..................................................................................................................................... 39
7.4.3 Besluit ................................................................................................................................................... 39
8. Tussen-subject designs ..............................................................................39
8.1 Introductie tot tussen-subject designs ........................................................................................ 39
8.1.1 Karakteristieken van tussen-subject design ......................................................................................... 39
8.1.1.1 Voor- en nadelen ........................................................................................................................... 39
8.1.1.2 Individuele verschillen ................................................................................................................... 40
8.2 Individuele verschillen als confounding variabelen ..................................................................... 40
3
, 8.3 Verkleinen van confounding bij individuele verschillen .............................................................. 41
8.3.1 Randomiseren ...................................................................................................................................... 41
8.3.2 Matching .............................................................................................................................................. 41
8.3.3 Variabele constant houden .................................................................................................................. 41
8.4 Individuele verschillen en variabiliteit ......................................................................................... 42
8.5 Andere gevaren voor interne validiteit van tussen-subject designs ........................................... 43
8.5.1 Differential attrition ............................................................................................................................. 43
8.5.2 Communicatie tussen groepen ............................................................................................................ 43
9. Binnen-subject designs ..............................................................................44
9.1 Binnen-subject designs en interne validiteit ............................................................................... 44
9.1.1 Karakteristieken van binnen-subject designs ....................................................................................... 44
9.1.2 Bedreigingen voor interne validiteit .................................................................................................... 44
9.1.2.1 History ........................................................................................................................................... 44
9.1.2.2 Maturatie ...................................................................................................................................... 44
9.1.2.3 Instrumentatie ............................................................................................................................... 45
9.1.2.4 Statistische regressie ..................................................................................................................... 45
9.1.2.5 Orde effecten ................................................................................................................................. 45
9.2 Omgaan met tijdsgerelateerde bedreigingen.............................................................................. 46
9.2.1 Tijd controleren .................................................................................................................................... 46
9.2.2 Ga over op een tussen-subject design ................................................................................................. 46
9.2.3 Contrabalanceren ................................................................................................................................. 46
9.2.3.1 Contrabalanceren en order effecten ............................................................................................. 46
9.2.3.2 Beperkingen van contrabalanceren .............................................................................................. 47
9.3 Vergelijken van binnen-subject en tussen-subject designs ......................................................... 47
9.3.1 Voordelen van binnen-subject design .................................................................................................. 47
9.3.2 Nadelen van binnen-subject design ..................................................................................................... 47
9.3.3 Kiezen tussen binnen-subject of tussen-subject designs ..................................................................... 47
10. Non- en quasi- experimentele strategieën en designs..............................48
10.1 Non-experimentele en quasi-experimentele onderzoeksstrategieën....................................... 48
10.1.1 De structuur van non- en quasi-experimentele designs .................................................................... 48
10.2 Non-en quasi-experimentele tussen-subject designs: non-equivalente groepen..................... 49
10.2.1 Non-experimentele designs met non-equivalente groepen .............................................................. 49
10.2.1.1 Differentiële onderzoeksdesign ................................................................................................... 49
10.2.1.2 Posttest only niet-equivalente controle groep designs ............................................................... 50
10.2.2 Quasi-experimenteel design met non-equivalente groepen ............................................................. 50
4
, 10.2.1.3 Pretest-posttest niet-equivalente controle groep design ............................................................ 50
10.3 Non-en quasi-experimentele Binnen-subject designs: non-equivalente groepen: pre-post
designs ............................................................................................................................................... 51
10.3.1 Non-experimenteel: Pretest-posttest design ..................................................................................... 51
10.3.2 Quasi-experimenteel: Time-series design .......................................................................................... 51
10.3.2.1 Single-case applicaties van time-series design ............................................................................ 52
10.4 Designs voor ontwikkelingsonderzoek ...................................................................................... 52
10.4.1 Cross-sectioneel design ...................................................................................................................... 52
10.4.2 Longitudinaal design .......................................................................................................................... 52
10.5 Samenvatting ............................................................................................................................. 53
11. Factoriële designs ....................................................................................53
11.1 Introductie ................................................................................................................................. 53
11.2 Hoofdeffecten en interacties ..................................................................................................... 54
11.2.1 Interactie tussen factoren .................................................................................................................. 55
11.2.2 Interpreteren van hoofdeffecten en interacties ................................................................................ 56
11.2.3 Afhankelijkheid van hoofdeffecten en interacties ............................................................................. 56
11.3 Typen van factoriële designs en analyses .................................................................................. 57
11.3.1 Tussen-subject en binnen-subject designs ......................................................................................... 57
11.3.1.1 Mixed design ............................................................................................................................... 57
11.3.2 Experimenteel en non-experimenteel of Quasi-experimenteel ........................................................ 57
11.3.1.2 Gecombineerde strategie ............................................................................................................ 57
11.3.3 Pretest-posttest controle groep designs ............................................................................................ 57
11.3.3 Hogere orde factoriële designs .......................................................................................................... 58
11.4 Toepassingen van factoriële designs ......................................................................................... 58
11.4.1 Vergroten en repliceren van een vorige studie.................................................................................. 58
11.4.2 Verkleinen van variantie in tussen-subject designs ........................................................................... 58
11.4.3 Evalueren van orde-effecten in binnen-subject designs .................................................................... 58
12. De correlationele onderzoeksstrategie ....................................................59
12.1 Inleiding ..................................................................................................................................... 59
12.1.1 Vergelijking tussen correlationeel, experimenteel en differentieel onderzoek................................. 60
12.2 Toepassingen ............................................................................................................................. 60
12.2.1 Voorspellen ........................................................................................................................................ 60
12.2.2 Betrouwbaarheid en validiteit ........................................................................................................... 60
12.2.3 Theorieën evalueren .......................................................................................................................... 60
12.4 Voordelen en nadelen van de correlationele onderzoeksstrategie .......................................... 61
5
, 12.4.1 Relaties tussen meerdere variabelen ................................................................................................. 61
13. Beschrijvende onderzoeksstrategie .........................................................61
13.1 Introductie ................................................................................................................................. 61
13.2 Het observationeel design ......................................................................................................... 62
13.2.1 Gedragsobservatie ............................................................................................................................. 62
13.2.2.1 Observaties kwantificeren ........................................................................................................... 62
13.2.2.2 Observaties optekenen ................................................................................................................ 62
13.2.2 Inhoudsanalyse en archief onderzoek ............................................................................................... 63
13.2.3 Types van observaties ........................................................................................................................ 63
13.2.3.1 Niet-participerende observatie .................................................................................................... 63
13.2.3.2 Participerende observatie ........................................................................................................... 63
13.2.3.3 Gestructureerde observatie ......................................................................................................... 63
13.3 Survey design ............................................................................................................................. 64
13.3.1 Soorten vragen ................................................................................................................................... 64
13.3.2 Survey opstellen ................................................................................................................................. 65
13.3.3 Selecteer relevante en representatieve steekproef........................................................................... 65
13.3.4 Survey afnemen ................................................................................................................................. 65
13.4 Case study design....................................................................................................................... 66
13.4.1 Toepassingen...................................................................................................................................... 66
13.4.2 Voor- en nadelen ................................................................................................................................ 66
14. Open science ...........................................................................................67
14.1 Inleiding ..................................................................................................................................... 67
14.1.1 Publiceren .......................................................................................................................................... 67
14.1.1.1 P-waarde ..................................................................................................................................... 68
14.2 Waarom Open science? Wat gaat er mis?................................................................................. 68
14.2.1 Fraude ................................................................................................................................................ 68
14.2.2 Bias ..................................................................................................................................................... 68
14.2.3 Verborgen flexibiliteit ................................................................................................................. 68
14.2.4 Gebrek aan replicaties........................................................................................................................ 69
14.3 Open Science in de praktijk ....................................................................................................... 69
14.3.1 Welke delen van het onderzoek? ....................................................................................................... 69
14.3.2 Wanneer wat delen? .......................................................................................................................... 70
14.3.3 Registered reports .............................................................................................................................. 70
14.3.4 Voordelen van Open Science ............................................................................................................. 71
15. SIngle-case experimental design ..............................................................71
6
, 15.1 Introductie ................................................................................................................................. 71
15.1.1 Elementen .......................................................................................................................................... 71
15.1.2 Effecten nagaan ................................................................................................................................. 71
15.2 Fases en veranderingen in fases ................................................................................................ 72
15.2.1 Level, trend en stabiliteit ................................................................................................................... 73
15.2.2 Fase veranderingen ............................................................................................................................ 74
15.2.3 Visuele inspectie technieken ...................................................................................................... 74
15.3 Reversal designs......................................................................................................................... 75
15.3.1 Beperkingen van ABAB design ........................................................................................................... 75
15.3.2 Variaties ABAB design ........................................................................................................................ 75
15.4 Multiple-baseline designs .......................................................................................................... 75
15.4.1 Component analyse designs............................................................................................................... 76
15.4.2 Voor- en nadelen van multiple base designs ..................................................................................... 76
15.5 Voor- en nadelen single-case designs ........................................................................................ 77
16. Kwantitatieve en kwalitatieve methoden ................................................77
16.1 Case 1: kwantitatief → kwalitatief ............................................................................................ 77
16.2 cASE 2: kwalitatief → kwantitatief ............................................................................................ 78
7
, 1. INTRODUCTIE
1.1 NIET-WETENSCHAPPELIJKE METHODEN OM KENNIS TE VERGAREN
1.1.1 VASTHOUDENDHEID (TENACITY)
= het gaat over het vasthouden van ideeën en informatie als waar, simpelweg omdat het altijd al zo is geweest
(gewoonte) of door bijgeloof
• We geloven iets omdat we het altijd al geloofd hebben; “tegengestelden trekken elkaar aan”
• Of omdat bepaalde overtuigingen worden voorgesteld als feiten; “scherven brengen geluk”
• Maar: de gegeven informatie kan foutief zijn, het corrigeren van deze ideeën is heel moeilijk
1.1.2 INTUÏTIE
= we accepteren informatie als waar, omdat dit “juist aanvoelt”; de persoon vertrouwt op diens buikgevoel,
voorgevoel of instinct
• Voor vele vragen is dit de methode die het snelst een antwoord kan bieden, vaak gebruikt als we over
geen informatie beschikken en niet kunnen refereren naar juiste bronnen
• Vaak gebruikt voor ethische vraagstukken of morele dilemma’s
• “ik voel aan dat mijn vriend een slechte dag heeft”
• Maar: er is geen enkele manier om accurate en foutieve informatie van elkaar te onderscheiden
1.1.3 AUTORITEIT
= we accepteren informatie als waar, omdat het afkomstig is van een expert rond dat onderwerp
• Gebaseerd op vertrouwen in een autoriteit, expert
• Consulteren van een expert, het werk lezen van een expert, ‘Googlen’, boeken, TV, internet,..
• Vaak een OK standpunt om kennis te vergaren → snel en gemakkelijk
• Valkuil: methode van geloof, waarbij mensen blind vertrouwen in een autoriteitsfiguur waardoor we
de info accepteren zonder twijfel of toetsing
Gegeneraliseerd naar andere domeinen: celebrity’s die reclame maken, overzetting naar
mensen die geen expertise hebben maar waarbij het toch geloofwaardig lijkt
• Maar: levert niet altijd accurate informatie op: experts kunnen gebiast zijn, info kan een subjectieve
opinie reflecteren, expertise wordt gegeneraliseerd naar andere domeinen, expertise wordt niet in
vraag gesteld, expert ≠ expert
Tussentijdse conclusie: de vorige 3 methoden zijn handig voor het beantwoorden van sommige vragen,
voornamelijk wanneer je snel een antwoord nodig hebt en er geen ernstige gevolgen vasthangen aan het
accepteren van een foutief antwoord. De volgende 2 methoden (en de wet. Methode) zijn gemaakt
wanneer er meer vraag is naar de informatie en de gemaakte antwoorden. Deze stellen meer eisen aan de
info en antwoorden die ze produceren
8
1. Introductie ................................................................................................. 8
1.1 Niet-wetenschappelijke methoden om kennis te vergaren .................................................... 8
1.1.1 Vasthoudendheid (tenacity) .............................................................................................................. 8
1.1.2 Intuïtie ............................................................................................................................................... 8
1.1.3 Autoriteit ........................................................................................................................................... 8
1.1.4 Rationalisme ...................................................................................................................................... 9
1.1.5 Empirie .............................................................................................................................................. 9
1.2 De wetenschappelijke methode ............................................................................................ 10
1.2.1 De wetenschappelijke methode: stap 1 .......................................................................................... 10
1.2.2 De wetenschappelijke methode: stap 2 .......................................................................................... 10
1.2.3 De wetenschappelijke methode: stap 3 .......................................................................................... 10
1.2.4 De wetenschappelijke methode: stap 4 .......................................................................................... 11
1.2.5 De wetenschappelijke methode: stap 5 .......................................................................................... 11
1.2.6 Drie belangrijke principes ................................................................................................................ 12
1.2.7 Wetenschap versus pseudowetenschap ......................................................................................... 12
1.3 De empirische cyclus ............................................................................................................. 13
2. Hypothesen formuleren ............................................................................14
2.1 Karakteristieken van een goede hypothese ................................................................................ 14
2.1.1 Logisch .................................................................................................................................................. 14
2.1.2 Toetsbaar ............................................................................................................................................. 15
2.1.3 Weerlegbaar ......................................................................................................................................... 15
2.1.4 Positief.................................................................................................................................................. 15
3. Variabelen definiëren en meten ................................................................15
3.1 Constructen en operationele definities ....................................................................................... 16
3.1.1 Theorieën en constructen .................................................................................................................... 16
3.2 Validiteit en betrouwbaarheid..................................................................................................... 17
3.2.1 Validiteit ............................................................................................................................................... 17
3.2.1.1 Indruksvaliditeit ............................................................................................................................. 17
3.2.1.2 Concurrente validiteit .................................................................................................................... 18
3.2.1.3 Predictieve validiteit ...................................................................................................................... 18
3.2.1.4 Construct validiteit ........................................................................................................................ 18
3.2.1.5 Convergente validiteit ................................................................................................................... 18
3.2.1.6 Divergente validiteit ...................................................................................................................... 18
3.2.2 Betrouwbaarheid ................................................................................................................................. 18
1
, 3.2.3 De relatie tussen validiteit en betrouwbaarheid ................................................................................. 19
3.3 Meetschalen ................................................................................................................................ 19
3.3.1 Kwalitatief: Nominaal ........................................................................................................................... 19
3.3.2 Kwalitatief: ordinaal ............................................................................................................................. 20
3.3.3 Kwantitatief: interval............................................................................................................................ 20
3.3.4 Kwantitatief: ratio ................................................................................................................................ 20
3.3.5 Interval versus ratio meetschaal .......................................................................................................... 20
3.4 Meetmodaliteiten ........................................................................................................................ 21
3.4.1 Zelfrapportage...................................................................................................................................... 21
3.4.2 Fysiologie .............................................................................................................................................. 21
3.4.2 Gedragsmaten ...................................................................................................................................... 21
3.5 Andere aspecten van meten ........................................................................................................ 22
3.5.1 Multipele metingen .............................................................................................................................. 22
3.5.2 Sensitiviteit ........................................................................................................................................... 22
3.5.3 Artefacten ............................................................................................................................................ 22
5. Selecteren van participanten .....................................................................23
5.1 Steekproeftrekking ...................................................................................................................... 23
5.1.1 Representatieve steekproef ................................................................................................................. 23
5.1.2 Steekproefgrootte ................................................................................................................................ 24
5.1.3 Steekproeftrekking .......................................................................................................................... 24
5.1.3.1 Probability sampling ...................................................................................................................... 24
5.1.3.2 Nonprobability sampling ............................................................................................................... 25
5.2 Probability sampling .................................................................................................................... 25
5.2.1 Simple random sampling ...................................................................................................................... 25
5.2.2 Systematische sampling ....................................................................................................................... 25
5.2.3 Gestratificeerde random sampling ...................................................................................................... 26
5.2.4 Proportionele gestratificeerde random sampling ................................................................................ 26
5.2.5 Cluster sampling ................................................................................................................................... 26
5.3 Nonprobability sampling.............................................................................................................. 27
5.3.1 Convenience sampling ......................................................................................................................... 27
5.3.1 Quota sampling .................................................................................................................................... 27
6. Onderzoeksstategieën en validiteit ...........................................................27
6.1 Onderzoeksstrategieën ................................................................................................................ 27
6.1.1 De beschrijvende onderzoeksstrategie ................................................................................................ 27
6.1.2 Correlationeel....................................................................................................................................... 28
6.1.3 Experimenteel ...................................................................................................................................... 28
2
, 6.1.4 Quasi-experimenteel ............................................................................................................................ 28
6.1.5 Non-experimenteel .............................................................................................................................. 29
6.1.5.1 Correlationeel vs non-experimenteel............................................................................................. 29
6.1.6 Samenvatting ....................................................................................................................................... 29
6.1.7 Onderzoeksstrategie, onderzoeksdesign en onderzoeksprocedure .................................................... 30
6.2 Externe en interne validiteit ........................................................................................................ 30
6.2.1 Externe validiteit .................................................................................................................................. 30
6.2.2 Interne validiteit ................................................................................................................................... 30
6.2.3 Bedreigingen van validiteit ................................................................................................................... 31
6.2.3.1 Bedreigingen van externe validiteit ............................................................................................... 31
6.2.3.2 Bedreigingen van de interne validiteit .......................................................................................... 32
6.2.4 Meer over interne en externe validiteit ............................................................................................... 33
6.2.4.1 Interne en externe validiteit balanceren ....................................................................................... 33
6.2.4.2 Artefacten: bedreiging voor interne én externe validiteit ............................................................. 33
6.2.4.3 Validiteit en individuele onderzoeksstrategieën ............................................................................ 33
7. De experimentele onderzoeksstrategie .....................................................34
7.1 Oorzaak-gevolg relaties ............................................................................................................... 34
7.1.1 Terminologie ........................................................................................................................................ 35
7.2 Elementen van een experiment................................................................................................... 35
7.2.1 Manipulatie .......................................................................................................................................... 35
7.2.2 Controle................................................................................................................................................ 36
7.2.2.1 Bijkomende variabelen controleren .............................................................................................. 36
7.3 Controleren van condities en manipulatie checks....................................................................... 37
7.3.1 Controleren van condities .................................................................................................................... 37
7.3.2 Manipulatie checks .............................................................................................................................. 38
7.4 Verhogen van de externe validiteit: simulatie en veldonderzoek ............................................... 38
7.4.1 Simulatie............................................................................................................................................... 38
7.4.2 Veldonderzoek ..................................................................................................................................... 39
7.4.3 Besluit ................................................................................................................................................... 39
8. Tussen-subject designs ..............................................................................39
8.1 Introductie tot tussen-subject designs ........................................................................................ 39
8.1.1 Karakteristieken van tussen-subject design ......................................................................................... 39
8.1.1.1 Voor- en nadelen ........................................................................................................................... 39
8.1.1.2 Individuele verschillen ................................................................................................................... 40
8.2 Individuele verschillen als confounding variabelen ..................................................................... 40
3
, 8.3 Verkleinen van confounding bij individuele verschillen .............................................................. 41
8.3.1 Randomiseren ...................................................................................................................................... 41
8.3.2 Matching .............................................................................................................................................. 41
8.3.3 Variabele constant houden .................................................................................................................. 41
8.4 Individuele verschillen en variabiliteit ......................................................................................... 42
8.5 Andere gevaren voor interne validiteit van tussen-subject designs ........................................... 43
8.5.1 Differential attrition ............................................................................................................................. 43
8.5.2 Communicatie tussen groepen ............................................................................................................ 43
9. Binnen-subject designs ..............................................................................44
9.1 Binnen-subject designs en interne validiteit ............................................................................... 44
9.1.1 Karakteristieken van binnen-subject designs ....................................................................................... 44
9.1.2 Bedreigingen voor interne validiteit .................................................................................................... 44
9.1.2.1 History ........................................................................................................................................... 44
9.1.2.2 Maturatie ...................................................................................................................................... 44
9.1.2.3 Instrumentatie ............................................................................................................................... 45
9.1.2.4 Statistische regressie ..................................................................................................................... 45
9.1.2.5 Orde effecten ................................................................................................................................. 45
9.2 Omgaan met tijdsgerelateerde bedreigingen.............................................................................. 46
9.2.1 Tijd controleren .................................................................................................................................... 46
9.2.2 Ga over op een tussen-subject design ................................................................................................. 46
9.2.3 Contrabalanceren ................................................................................................................................. 46
9.2.3.1 Contrabalanceren en order effecten ............................................................................................. 46
9.2.3.2 Beperkingen van contrabalanceren .............................................................................................. 47
9.3 Vergelijken van binnen-subject en tussen-subject designs ......................................................... 47
9.3.1 Voordelen van binnen-subject design .................................................................................................. 47
9.3.2 Nadelen van binnen-subject design ..................................................................................................... 47
9.3.3 Kiezen tussen binnen-subject of tussen-subject designs ..................................................................... 47
10. Non- en quasi- experimentele strategieën en designs..............................48
10.1 Non-experimentele en quasi-experimentele onderzoeksstrategieën....................................... 48
10.1.1 De structuur van non- en quasi-experimentele designs .................................................................... 48
10.2 Non-en quasi-experimentele tussen-subject designs: non-equivalente groepen..................... 49
10.2.1 Non-experimentele designs met non-equivalente groepen .............................................................. 49
10.2.1.1 Differentiële onderzoeksdesign ................................................................................................... 49
10.2.1.2 Posttest only niet-equivalente controle groep designs ............................................................... 50
10.2.2 Quasi-experimenteel design met non-equivalente groepen ............................................................. 50
4
, 10.2.1.3 Pretest-posttest niet-equivalente controle groep design ............................................................ 50
10.3 Non-en quasi-experimentele Binnen-subject designs: non-equivalente groepen: pre-post
designs ............................................................................................................................................... 51
10.3.1 Non-experimenteel: Pretest-posttest design ..................................................................................... 51
10.3.2 Quasi-experimenteel: Time-series design .......................................................................................... 51
10.3.2.1 Single-case applicaties van time-series design ............................................................................ 52
10.4 Designs voor ontwikkelingsonderzoek ...................................................................................... 52
10.4.1 Cross-sectioneel design ...................................................................................................................... 52
10.4.2 Longitudinaal design .......................................................................................................................... 52
10.5 Samenvatting ............................................................................................................................. 53
11. Factoriële designs ....................................................................................53
11.1 Introductie ................................................................................................................................. 53
11.2 Hoofdeffecten en interacties ..................................................................................................... 54
11.2.1 Interactie tussen factoren .................................................................................................................. 55
11.2.2 Interpreteren van hoofdeffecten en interacties ................................................................................ 56
11.2.3 Afhankelijkheid van hoofdeffecten en interacties ............................................................................. 56
11.3 Typen van factoriële designs en analyses .................................................................................. 57
11.3.1 Tussen-subject en binnen-subject designs ......................................................................................... 57
11.3.1.1 Mixed design ............................................................................................................................... 57
11.3.2 Experimenteel en non-experimenteel of Quasi-experimenteel ........................................................ 57
11.3.1.2 Gecombineerde strategie ............................................................................................................ 57
11.3.3 Pretest-posttest controle groep designs ............................................................................................ 57
11.3.3 Hogere orde factoriële designs .......................................................................................................... 58
11.4 Toepassingen van factoriële designs ......................................................................................... 58
11.4.1 Vergroten en repliceren van een vorige studie.................................................................................. 58
11.4.2 Verkleinen van variantie in tussen-subject designs ........................................................................... 58
11.4.3 Evalueren van orde-effecten in binnen-subject designs .................................................................... 58
12. De correlationele onderzoeksstrategie ....................................................59
12.1 Inleiding ..................................................................................................................................... 59
12.1.1 Vergelijking tussen correlationeel, experimenteel en differentieel onderzoek................................. 60
12.2 Toepassingen ............................................................................................................................. 60
12.2.1 Voorspellen ........................................................................................................................................ 60
12.2.2 Betrouwbaarheid en validiteit ........................................................................................................... 60
12.2.3 Theorieën evalueren .......................................................................................................................... 60
12.4 Voordelen en nadelen van de correlationele onderzoeksstrategie .......................................... 61
5
, 12.4.1 Relaties tussen meerdere variabelen ................................................................................................. 61
13. Beschrijvende onderzoeksstrategie .........................................................61
13.1 Introductie ................................................................................................................................. 61
13.2 Het observationeel design ......................................................................................................... 62
13.2.1 Gedragsobservatie ............................................................................................................................. 62
13.2.2.1 Observaties kwantificeren ........................................................................................................... 62
13.2.2.2 Observaties optekenen ................................................................................................................ 62
13.2.2 Inhoudsanalyse en archief onderzoek ............................................................................................... 63
13.2.3 Types van observaties ........................................................................................................................ 63
13.2.3.1 Niet-participerende observatie .................................................................................................... 63
13.2.3.2 Participerende observatie ........................................................................................................... 63
13.2.3.3 Gestructureerde observatie ......................................................................................................... 63
13.3 Survey design ............................................................................................................................. 64
13.3.1 Soorten vragen ................................................................................................................................... 64
13.3.2 Survey opstellen ................................................................................................................................. 65
13.3.3 Selecteer relevante en representatieve steekproef........................................................................... 65
13.3.4 Survey afnemen ................................................................................................................................. 65
13.4 Case study design....................................................................................................................... 66
13.4.1 Toepassingen...................................................................................................................................... 66
13.4.2 Voor- en nadelen ................................................................................................................................ 66
14. Open science ...........................................................................................67
14.1 Inleiding ..................................................................................................................................... 67
14.1.1 Publiceren .......................................................................................................................................... 67
14.1.1.1 P-waarde ..................................................................................................................................... 68
14.2 Waarom Open science? Wat gaat er mis?................................................................................. 68
14.2.1 Fraude ................................................................................................................................................ 68
14.2.2 Bias ..................................................................................................................................................... 68
14.2.3 Verborgen flexibiliteit ................................................................................................................. 68
14.2.4 Gebrek aan replicaties........................................................................................................................ 69
14.3 Open Science in de praktijk ....................................................................................................... 69
14.3.1 Welke delen van het onderzoek? ....................................................................................................... 69
14.3.2 Wanneer wat delen? .......................................................................................................................... 70
14.3.3 Registered reports .............................................................................................................................. 70
14.3.4 Voordelen van Open Science ............................................................................................................. 71
15. SIngle-case experimental design ..............................................................71
6
, 15.1 Introductie ................................................................................................................................. 71
15.1.1 Elementen .......................................................................................................................................... 71
15.1.2 Effecten nagaan ................................................................................................................................. 71
15.2 Fases en veranderingen in fases ................................................................................................ 72
15.2.1 Level, trend en stabiliteit ................................................................................................................... 73
15.2.2 Fase veranderingen ............................................................................................................................ 74
15.2.3 Visuele inspectie technieken ...................................................................................................... 74
15.3 Reversal designs......................................................................................................................... 75
15.3.1 Beperkingen van ABAB design ........................................................................................................... 75
15.3.2 Variaties ABAB design ........................................................................................................................ 75
15.4 Multiple-baseline designs .......................................................................................................... 75
15.4.1 Component analyse designs............................................................................................................... 76
15.4.2 Voor- en nadelen van multiple base designs ..................................................................................... 76
15.5 Voor- en nadelen single-case designs ........................................................................................ 77
16. Kwantitatieve en kwalitatieve methoden ................................................77
16.1 Case 1: kwantitatief → kwalitatief ............................................................................................ 77
16.2 cASE 2: kwalitatief → kwantitatief ............................................................................................ 78
7
, 1. INTRODUCTIE
1.1 NIET-WETENSCHAPPELIJKE METHODEN OM KENNIS TE VERGAREN
1.1.1 VASTHOUDENDHEID (TENACITY)
= het gaat over het vasthouden van ideeën en informatie als waar, simpelweg omdat het altijd al zo is geweest
(gewoonte) of door bijgeloof
• We geloven iets omdat we het altijd al geloofd hebben; “tegengestelden trekken elkaar aan”
• Of omdat bepaalde overtuigingen worden voorgesteld als feiten; “scherven brengen geluk”
• Maar: de gegeven informatie kan foutief zijn, het corrigeren van deze ideeën is heel moeilijk
1.1.2 INTUÏTIE
= we accepteren informatie als waar, omdat dit “juist aanvoelt”; de persoon vertrouwt op diens buikgevoel,
voorgevoel of instinct
• Voor vele vragen is dit de methode die het snelst een antwoord kan bieden, vaak gebruikt als we over
geen informatie beschikken en niet kunnen refereren naar juiste bronnen
• Vaak gebruikt voor ethische vraagstukken of morele dilemma’s
• “ik voel aan dat mijn vriend een slechte dag heeft”
• Maar: er is geen enkele manier om accurate en foutieve informatie van elkaar te onderscheiden
1.1.3 AUTORITEIT
= we accepteren informatie als waar, omdat het afkomstig is van een expert rond dat onderwerp
• Gebaseerd op vertrouwen in een autoriteit, expert
• Consulteren van een expert, het werk lezen van een expert, ‘Googlen’, boeken, TV, internet,..
• Vaak een OK standpunt om kennis te vergaren → snel en gemakkelijk
• Valkuil: methode van geloof, waarbij mensen blind vertrouwen in een autoriteitsfiguur waardoor we
de info accepteren zonder twijfel of toetsing
Gegeneraliseerd naar andere domeinen: celebrity’s die reclame maken, overzetting naar
mensen die geen expertise hebben maar waarbij het toch geloofwaardig lijkt
• Maar: levert niet altijd accurate informatie op: experts kunnen gebiast zijn, info kan een subjectieve
opinie reflecteren, expertise wordt gegeneraliseerd naar andere domeinen, expertise wordt niet in
vraag gesteld, expert ≠ expert
Tussentijdse conclusie: de vorige 3 methoden zijn handig voor het beantwoorden van sommige vragen,
voornamelijk wanneer je snel een antwoord nodig hebt en er geen ernstige gevolgen vasthangen aan het
accepteren van een foutief antwoord. De volgende 2 methoden (en de wet. Methode) zijn gemaakt
wanneer er meer vraag is naar de informatie en de gemaakte antwoorden. Deze stellen meer eisen aan de
info en antwoorden die ze produceren
8
