TOE – toepassing van
onderzoeksmethoden en statistiek
Inhoudsopgave
KWALITATIEF - HOORCOLLEGE 1 ...................................................................................................................... 4
DATA-VERZAMELING .......................................................................................................................................... 4
Kwalitatieve interviews ................................................................................................................................. 4
Focusgroepen ................................................................................................................................................ 5
Eliciteren en de topic list ............................................................................................................................... 7
Observaties .................................................................................................................................................... 8
Bestaande Data ............................................................................................................................................. 9
Data-Triangulatie ......................................................................................................................................... 10
Etnografisch Onderzoek .............................................................................................................................. 10
KWALITATIEF - HOORCOLLEGE 2 .................................................................................................................... 11
DATA-ANALYSE ................................................................................................................................................. 11
INDUCTIEVE ANALYSE ....................................................................................................................................... 13
Grounded Theory benadering ..................................................................................................................... 14
Sensitizing concepts..................................................................................................................................... 14
Open coderen (fase 1) ................................................................................................................................. 16
Axiaal coderen (fase 2) ................................................................................................................................ 17
Selectief coderen (fase 3) ............................................................................................................................ 17
DEDUCTIEVE ANALYSE ...................................................................................................................................... 18
WERKCOLLEGE 1............................................................................................................................................. 20
Kwalitatief/kwantitatief? ................................................................................................................................. 20
De kwalitatieve onderzoeksvraag .................................................................................................................... 20
KWALITATIEF – HOORCOLLEGE 3 .................................................................................................................... 21
RIGOR/TRUSTWORTHINESS.............................................................................................................................. 21
REFLEXIVITEIT ................................................................................................................................................... 24
PERSPECTIEVEN OP ETHIEK .............................................................................................................................. 25
KWALITATIEF – HOORCOLLEGE 4 .................................................................................................................... 27
MIXED METHODS ONDERZOEK ........................................................................................................................ 27
WERKCOLLEGE 2............................................................................................................................................. 31
Oefenvragen stof .............................................................................................................................................. 31
CORRELATIONEEL – HOORCOLLEGE 1 ............................................................................................................. 32
TOE overview .................................................................................................................................................... 32
CORRELATIONAL DATA ..................................................................................................................................... 34
Correlational Data (designed) ...................................................................................................................... 34
SURVEY MODES ................................................................................................................................................ 36
, Survey Modes in NL ..................................................................................................................................... 36
Cross-sectional and panel surveys ............................................................................................................... 37
Operational process ......................................................................................................................................... 37
ITEM SCORE/SCALE SCORE ............................................................................................................................... 38
Sum of item scores ...................................................................................................................................... 39
Average all item scores ................................................................................................................................ 39
CORRELATIONEEL – HOORCOLLEGE 2 ............................................................................................................. 42
RELIABILITY & VALIDITY .................................................................................................................................... 43
Measurement validity.................................................................................................................................. 44
Measuring strength ..................................................................................................................................... 44
Reliability ..................................................................................................................................................... 44
RELIABILITY ANALYSIS ....................................................................................................................................... 46
FROM CORRELATION TO REGRESSION ............................................................................................................. 48
Predictions ................................................................................................................................................... 48
Regression line............................................................................................................................................. 48
Residuals ...................................................................................................................................................... 49
Regression equation .................................................................................................................................... 49
SPSS Output – 4 tables................................................................................................................................. 51
WERKCOLLEGE 3............................................................................................................................................. 53
CORRELATIONEEL – HOORCOLLEGE 3 ............................................................................................................. 54
SLR .................................................................................................................................................................... 55
Significance .................................................................................................................................................. 55
CORRELATIONEEL – HOORCOLLEGE 4 ............................................................................................................. 66
Problems with measurement ........................................................................................................................... 69
The response process........................................................................................................................................ 70
Total Survey Error Framework .......................................................................................................................... 71
Measurement error .......................................................................................................................................... 73
Question bias ............................................................................................................................................... 73
Response bias .............................................................................................................................................. 74
EXPERIMENTEEL – COLLEGE 1 ......................................................................................................................... 76
EMPIRISCHE CIRKEL .......................................................................................................................................... 76
REPLICATIE CRISIS ............................................................................................................................................. 79
BAYESIAANSE HYPOTHESE EVALUATIE ............................................................................................................. 81
EXPERIMENTELE DESIGNS ................................................................................................................................ 83
WERKCOLLEGE 5............................................................................................................................................. 86
EXPERIMENTEEL – COLLEGE 2 ......................................................................................................................... 87
EENWEG ANOVA VIA NHST .............................................................................................................................. 87
EENWEG ANOVA VIA BAYES ............................................................................................................................. 92
EXPERIMENTELE DESIGNS 2 ............................................................................................................................. 94
EXPERIMENTEEL – COLLEGE 3 ....................................................................................................................... 100
, QUASI EXPERIMENTEN ................................................................................................................................... 100
TWEE WEG ANOVA VIA NHST ........................................................................................................................ 102
TWEE WEG ANOVA BAYESIAANS.................................................................................................................... 106
WERKCOLLEGE 6........................................................................................................................................... 109
Causaliteit: het experiment ............................................................................................................................ 109
EXPERIMENTEEL – COLLEGE 4 ....................................................................................................................... 112
WAAR STAAN WE ........................................................................................................................................... 112
ANOVA AANNAMES ........................................................................................................................................ 113
PREREGISTRATIE ............................................................................................................................................. 119
EXPERIMENTEEL – COLLEGE 5 ....................................................................................................................... 120
RESPONSIECOLLEGE ....................................................................................................................................... 120
,KWALITATIEF - HOORCOLLEGE 1
DATA-VERZAMELING
Kwalitatieve interviews
Vormen van interviews
• Face to face
o Tijdrovend, maar grote opbrengst
• Telefonisch
o Kleine tijdsinvestering, je mist informatie
• Online
• Go-along (met iemand meegaan bijv. naar het werk)
o Dynamische, informatief op meerdere wijzen, lastig te managen
• Etnografisch
,Doorknob effect: wanneer iemand na afloop van een gesprek nog met nieuwe informatie
komt. Dat iets pas na het interview te binnen schiet (moet voorkomen worden).
Wanneer interviews?
Grotere context:
• Onderzoek in armere wijken naar geloof
Onderzoeksdoel:
• Begrijpen ervaringen met kerkgemeenschappen
Waarom interviews?
• Onderzoek naar ervaringen
• Onderzoek naar individuele visies
Focusgroepen
Focusgroepen: meerdere mensen bij elkaar zetten en gaan discussiëren over het onderwerp,
de interactie maakt het juist interessant.
,“A focus group study is a carefully planned series of discussions designed to obtain
perceptions on a defined area of interest in a permissive, nonthreatening environment”.
• Data wordt gegenereerd door interactie
• Laat participanten luisteren, reflecteren, en over hun standpunt nadenken
• Niet een groepsinterview
Groepssamenstelling en grootte
• Heterogeen vs. Homogeen, ze moeten overeenkomende vlakken hebben om over te
vragen, maar er moeten wel verschillende perspectieven mogelijk zijn.
• Vreemden, bekenden of bestaande groepen
• Groepsgrootte
o Onderwerp
o Sensitiviteit en complexiteit
o Breedte en diepte discussie
o Populatie betrokken bij onderzoek
Fasen van een focus groep
1. Introductie en basisregels vaststellen
2. Individuele introducties
3. Openingstopic
4. Discussie
5. Afronding discussie
Vormen van focus groepen
• Two-way → er zijn 2 groepen bij elkaar en die moeten om de beurt verder gaan met
de discussie en dus stil zijn als de andere discussiëren.
• Dual moderator → 2 moderators met verschillende taken, 1 voor inhoudelijk en 1
voor praktische bijv.
• Dueling moderator → 2 moderators met andere standpunten en die doen actief mee
in de discussie.
• Respondent moderator → 1 van de respondenten speelt moderator.
• Online focus groups
o Videobellen (Chat room focus groups) of discussionboard (bulletin board
focus groups)
, Wanneer focus groepen?
Grotere context:
• Onderzoek in armere wijken naar geloof
Onderzoeksdoel:
• Rol van kerkgemeenschappen in het leven
Waarom focus groepen?
• Potentieel veel stakeholders
• Discussie mogelijk over rol en invloed
• Leren van gesprekken/discussies
Eliciteren en de topic list
Eliciterende responses, een reactie/antwoord uitlokken is het doel bij een interview.
Probes = manieren om de respondent door te laten praten (over hetzelfde onderwerp).
• Stilte
• Ongerichte aanmoediging
o Eheuh, yes, ok, and so on
• Vraag naar uitweiding
o Kun je mij hier meer over vertellen?
• Vraag naar uitleg
o Wat is/betekent X?
• Reflectie, interpretatie, samenvatten
o Klopt het als ik zeg, dat…
Prompts = manieren om door te gaan naar een nieuw onderwerp.
• Introductie van een nieuw onderwerp
o Als het oké voor jou is, wil ik graag praten over Y.
Eliciterende materialen
• Vignetten
• Bestaande data
• Gemaakte data
• Foto-elicitatie
Topic list
Outline van hoofdvragen, subonderwerpen, en prompts (en probes)
• Ontwerpen
o Mate van consistentie in data-verzameling
o Flexibiliteit om in te gaan op individuele details
o Consultatie en discussie met stakeholders
• Inhoud, structuur, lengte
o Baseer je op onderzoeksdoel, literatuur, etc.
onderzoeksmethoden en statistiek
Inhoudsopgave
KWALITATIEF - HOORCOLLEGE 1 ...................................................................................................................... 4
DATA-VERZAMELING .......................................................................................................................................... 4
Kwalitatieve interviews ................................................................................................................................. 4
Focusgroepen ................................................................................................................................................ 5
Eliciteren en de topic list ............................................................................................................................... 7
Observaties .................................................................................................................................................... 8
Bestaande Data ............................................................................................................................................. 9
Data-Triangulatie ......................................................................................................................................... 10
Etnografisch Onderzoek .............................................................................................................................. 10
KWALITATIEF - HOORCOLLEGE 2 .................................................................................................................... 11
DATA-ANALYSE ................................................................................................................................................. 11
INDUCTIEVE ANALYSE ....................................................................................................................................... 13
Grounded Theory benadering ..................................................................................................................... 14
Sensitizing concepts..................................................................................................................................... 14
Open coderen (fase 1) ................................................................................................................................. 16
Axiaal coderen (fase 2) ................................................................................................................................ 17
Selectief coderen (fase 3) ............................................................................................................................ 17
DEDUCTIEVE ANALYSE ...................................................................................................................................... 18
WERKCOLLEGE 1............................................................................................................................................. 20
Kwalitatief/kwantitatief? ................................................................................................................................. 20
De kwalitatieve onderzoeksvraag .................................................................................................................... 20
KWALITATIEF – HOORCOLLEGE 3 .................................................................................................................... 21
RIGOR/TRUSTWORTHINESS.............................................................................................................................. 21
REFLEXIVITEIT ................................................................................................................................................... 24
PERSPECTIEVEN OP ETHIEK .............................................................................................................................. 25
KWALITATIEF – HOORCOLLEGE 4 .................................................................................................................... 27
MIXED METHODS ONDERZOEK ........................................................................................................................ 27
WERKCOLLEGE 2............................................................................................................................................. 31
Oefenvragen stof .............................................................................................................................................. 31
CORRELATIONEEL – HOORCOLLEGE 1 ............................................................................................................. 32
TOE overview .................................................................................................................................................... 32
CORRELATIONAL DATA ..................................................................................................................................... 34
Correlational Data (designed) ...................................................................................................................... 34
SURVEY MODES ................................................................................................................................................ 36
, Survey Modes in NL ..................................................................................................................................... 36
Cross-sectional and panel surveys ............................................................................................................... 37
Operational process ......................................................................................................................................... 37
ITEM SCORE/SCALE SCORE ............................................................................................................................... 38
Sum of item scores ...................................................................................................................................... 39
Average all item scores ................................................................................................................................ 39
CORRELATIONEEL – HOORCOLLEGE 2 ............................................................................................................. 42
RELIABILITY & VALIDITY .................................................................................................................................... 43
Measurement validity.................................................................................................................................. 44
Measuring strength ..................................................................................................................................... 44
Reliability ..................................................................................................................................................... 44
RELIABILITY ANALYSIS ....................................................................................................................................... 46
FROM CORRELATION TO REGRESSION ............................................................................................................. 48
Predictions ................................................................................................................................................... 48
Regression line............................................................................................................................................. 48
Residuals ...................................................................................................................................................... 49
Regression equation .................................................................................................................................... 49
SPSS Output – 4 tables................................................................................................................................. 51
WERKCOLLEGE 3............................................................................................................................................. 53
CORRELATIONEEL – HOORCOLLEGE 3 ............................................................................................................. 54
SLR .................................................................................................................................................................... 55
Significance .................................................................................................................................................. 55
CORRELATIONEEL – HOORCOLLEGE 4 ............................................................................................................. 66
Problems with measurement ........................................................................................................................... 69
The response process........................................................................................................................................ 70
Total Survey Error Framework .......................................................................................................................... 71
Measurement error .......................................................................................................................................... 73
Question bias ............................................................................................................................................... 73
Response bias .............................................................................................................................................. 74
EXPERIMENTEEL – COLLEGE 1 ......................................................................................................................... 76
EMPIRISCHE CIRKEL .......................................................................................................................................... 76
REPLICATIE CRISIS ............................................................................................................................................. 79
BAYESIAANSE HYPOTHESE EVALUATIE ............................................................................................................. 81
EXPERIMENTELE DESIGNS ................................................................................................................................ 83
WERKCOLLEGE 5............................................................................................................................................. 86
EXPERIMENTEEL – COLLEGE 2 ......................................................................................................................... 87
EENWEG ANOVA VIA NHST .............................................................................................................................. 87
EENWEG ANOVA VIA BAYES ............................................................................................................................. 92
EXPERIMENTELE DESIGNS 2 ............................................................................................................................. 94
EXPERIMENTEEL – COLLEGE 3 ....................................................................................................................... 100
, QUASI EXPERIMENTEN ................................................................................................................................... 100
TWEE WEG ANOVA VIA NHST ........................................................................................................................ 102
TWEE WEG ANOVA BAYESIAANS.................................................................................................................... 106
WERKCOLLEGE 6........................................................................................................................................... 109
Causaliteit: het experiment ............................................................................................................................ 109
EXPERIMENTEEL – COLLEGE 4 ....................................................................................................................... 112
WAAR STAAN WE ........................................................................................................................................... 112
ANOVA AANNAMES ........................................................................................................................................ 113
PREREGISTRATIE ............................................................................................................................................. 119
EXPERIMENTEEL – COLLEGE 5 ....................................................................................................................... 120
RESPONSIECOLLEGE ....................................................................................................................................... 120
,KWALITATIEF - HOORCOLLEGE 1
DATA-VERZAMELING
Kwalitatieve interviews
Vormen van interviews
• Face to face
o Tijdrovend, maar grote opbrengst
• Telefonisch
o Kleine tijdsinvestering, je mist informatie
• Online
• Go-along (met iemand meegaan bijv. naar het werk)
o Dynamische, informatief op meerdere wijzen, lastig te managen
• Etnografisch
,Doorknob effect: wanneer iemand na afloop van een gesprek nog met nieuwe informatie
komt. Dat iets pas na het interview te binnen schiet (moet voorkomen worden).
Wanneer interviews?
Grotere context:
• Onderzoek in armere wijken naar geloof
Onderzoeksdoel:
• Begrijpen ervaringen met kerkgemeenschappen
Waarom interviews?
• Onderzoek naar ervaringen
• Onderzoek naar individuele visies
Focusgroepen
Focusgroepen: meerdere mensen bij elkaar zetten en gaan discussiëren over het onderwerp,
de interactie maakt het juist interessant.
,“A focus group study is a carefully planned series of discussions designed to obtain
perceptions on a defined area of interest in a permissive, nonthreatening environment”.
• Data wordt gegenereerd door interactie
• Laat participanten luisteren, reflecteren, en over hun standpunt nadenken
• Niet een groepsinterview
Groepssamenstelling en grootte
• Heterogeen vs. Homogeen, ze moeten overeenkomende vlakken hebben om over te
vragen, maar er moeten wel verschillende perspectieven mogelijk zijn.
• Vreemden, bekenden of bestaande groepen
• Groepsgrootte
o Onderwerp
o Sensitiviteit en complexiteit
o Breedte en diepte discussie
o Populatie betrokken bij onderzoek
Fasen van een focus groep
1. Introductie en basisregels vaststellen
2. Individuele introducties
3. Openingstopic
4. Discussie
5. Afronding discussie
Vormen van focus groepen
• Two-way → er zijn 2 groepen bij elkaar en die moeten om de beurt verder gaan met
de discussie en dus stil zijn als de andere discussiëren.
• Dual moderator → 2 moderators met verschillende taken, 1 voor inhoudelijk en 1
voor praktische bijv.
• Dueling moderator → 2 moderators met andere standpunten en die doen actief mee
in de discussie.
• Respondent moderator → 1 van de respondenten speelt moderator.
• Online focus groups
o Videobellen (Chat room focus groups) of discussionboard (bulletin board
focus groups)
, Wanneer focus groepen?
Grotere context:
• Onderzoek in armere wijken naar geloof
Onderzoeksdoel:
• Rol van kerkgemeenschappen in het leven
Waarom focus groepen?
• Potentieel veel stakeholders
• Discussie mogelijk over rol en invloed
• Leren van gesprekken/discussies
Eliciteren en de topic list
Eliciterende responses, een reactie/antwoord uitlokken is het doel bij een interview.
Probes = manieren om de respondent door te laten praten (over hetzelfde onderwerp).
• Stilte
• Ongerichte aanmoediging
o Eheuh, yes, ok, and so on
• Vraag naar uitweiding
o Kun je mij hier meer over vertellen?
• Vraag naar uitleg
o Wat is/betekent X?
• Reflectie, interpretatie, samenvatten
o Klopt het als ik zeg, dat…
Prompts = manieren om door te gaan naar een nieuw onderwerp.
• Introductie van een nieuw onderwerp
o Als het oké voor jou is, wil ik graag praten over Y.
Eliciterende materialen
• Vignetten
• Bestaande data
• Gemaakte data
• Foto-elicitatie
Topic list
Outline van hoofdvragen, subonderwerpen, en prompts (en probes)
• Ontwerpen
o Mate van consistentie in data-verzameling
o Flexibiliteit om in te gaan op individuele details
o Consultatie en discussie met stakeholders
• Inhoud, structuur, lengte
o Baseer je op onderzoeksdoel, literatuur, etc.
