Samenvatting week 14 – Kwalitatief onderzoek – Kwaliteit beoordelen
Leerdoelen
Na het bestuderen van de taken in deze week kunt u
• maatregelen benoemen die kunnen worden genomen om de methodologische kwaliteit van
kwalitatief case study onderzoek te waarborgen
• kritisch reflecteren op de kwaliteit van kwalitatief case study onderzoek met behulp van
bekende methodologische criteria
• gegeven een onderzoeksvraag op hoofdlijnen een passende kwalitatieve case study ontwerpen
Inleiding
In week 13 heeft u een beeld gevormd van het gebruik van kwalitatief onderzoek. Daarbij hebt u o.a.
gezien dat we kwalitatief onderzoek inzetten voor andere doeleinden dan kwantitatief onderzoek en
dat er überhaupt grote verschillen zijn tussen deze twee vormen van onderzoek. Bijna als vanzelf
dringt de vraag zich op: Hoe beoordelen we dan de kwaliteit van de methodologie van kwalitatief
onderzoek? Gebruiken we daarbij dezelfde criteria van validiteit en betrouwbaarheid? In week 14
beantwoorden we deze vraag.
Kwaliteit in kwalitatief onderzoek is een lastig onderwerp, vanwege de persoonlijke inbreng van de
onderzoeker en de aard van de te verzamelen data. Een gebrek aan objectiviteit wordt ook wel
gezien als de achilleshiel van kwalitatief onderzoek. Reden te meer om juist bij kwalitatief onderzoek
veel aandacht te schenken aan kwaliteit en de maatregelen om die kwaliteit te waarborgen en te
verbeteren.
Samenvatting artikel 4.5 The What and How of Case Study Rigor: Three Strategies Based on
Published Work van Gibbert & Ruigrok (2010) – blz 116/121 reader
De nauwkeurigheid van kwantitatief onderzoek is onderworpen aan gestandaardiseerde procedures
en kunnen worden beoordeeld in het gepubliceerde manuscript, dankzij een hoge mate van
codificatie in de rapportageconventies. Kwalitatief werk is veel minder gestandaardiseerd. Auteurs,
recensenten en lezers hebben daarom geen gemakkelijke toegang tot gecodificeerde manieren om
te rapporteren en te beoordelen hoe striktheid wordt gewaarborgd. Het gebrek aan duidelijkheid en
de manier waarop er wordt gecategoriseerd is daardoor al jarenlang een discussie tussen positivisten
en interpretivisten.
Positivisme: beveelt aan om wetenschappelijke methoden te gebruiken om menselijk gedrag en de
samenleving te analyseren. De positivistische onderzoeksfilosofie gaat uit van het standpunt dat
alleen feitelijke kennis opgedaan via observatie (de zintuigen) leidt tot betrouwbare kennis. De rol
van een onderzoeker is beperkt tot datacollectie en interpretatie van de gegevens volgens objectieve
methoden. De onderzoeksresultaten zijn dan ook observeerbaar en kwantificeerbaar.
Positivisme berust op kwantificeerbare observaties die via statistische methoden kunnen worden
geanalyseerd. De onderzoeker maakt geen onderdeel uit van de studie, er is geen plaats voor
menselijke interpretatie. Veelal wordt een deductieve aanpak gevolgd.
Interpretivisme (subjectivisme of sociaal constructivisme): beveelt aan om niet-wetenschappelijke,
kwalitatieve methoden te gebruiken om menselijk gedrag te analyseren. Volgens de
interpretivistische filosofie is het noodzakelijk voor de onderzoeker om verschillen te begrijpen
tussen mensen in onze rol als sociale actoren. Zodoende wordt onderscheid gemaakt tussen objecten
en mensen, waarbij wij mensen sociale actoren zijn die de wereld om zich heen interpreteren. Op
basis van deze interpretaties passen we onze betekenissen over de wereld om ons heen en ons
1
,gedrag aan. Voor de onderzoeker betekent dit dat deze een empathische houding aanneemt om de
betekenis die sociale actoren vormen te kunnen begrijpen.
Kritisch realisme: De kritisch realisme onderzoeksfilosofie gaat uit van een realiteit met
onderliggende mechanismen (ontologisch uitgangspunt), maar tegelijkertijd wordt erkend dat
mensen duiding geven aan de realiteit (epistomologisch uitgangspunt). Het kritisch realisme wil de
balans herstellen tussen beschouwingen van het objectieve (wetenschappelijke, enige waarheid) en
over het subjectieve (de verhalen). De positivistische benadering stelt dat alleen observeerbare
gebeurtenissen mogen worden meegenomen in kennisontwikkeling. Het bestaan van
onobserveerbare gebeurtenissen wordt ontkend. Dit is in tegenspraak met kritisch realisme waar
juist naar onderliggende mechanismen wordt gezocht die de observeerbare gebeurtenissen mede
kunnen verklaren.
Met het innemen van een realistisch standpunt wordt eveneens ingegaan tegen een
interpretivistische benadering waarin gesteld wordt dat de mens zijn eigen wereld schept. In het
extreme doorgevoerd betekent dit dat iedereen zijn eigen waarheid heeft en dat wetenschap ook
slechts een opinie is. Door de verbinding te leggen met de realiteit wordt met het kritisch realisme de
weg geopend om waarheden te toetsen aan de realiteit.
Positivisme en interpretivisme zijn twee belangrijke theoretische standpunten in de sociologie.
Beide theorieën helpen bij sociaal onderzoek dat het gedrag van mensen in de samenleving
analyseert. Terwijl het positivisme sociale normen beschouwt als de basis van menselijk gedrag,
beschouwt interpretivisme mensen als complexe wezens wiens gedrag niet kan worden
verklaard door sociale normen.
Yin, positivistisch standpunt, bevat expliciet data-analysestrategieën die voortkomen uit meer
interpretatieve overtuigingen, zoals gefundeerde theorie.
Constante vergelijking en theoretische steekproeven zijn sleutelwoorden die aan de grondslag liggen
van een gefundeerde theorie zijn van onschatbare waarde voor de bepaling van kwaliteit in
kwalitatief onderzoek. Deze gefundeerde theorie past meer bij de interpretatieve en
constructivistische benadering.
Om de striktheid te beoordelen wordt er gebruik gemaakt van een evidence based benadering, we
vergelijken praktijken die worden gerapporteerd in de gepubliceerde artikelen die strengheid
uitgebreid en minder uitgebreid behandelen.
Hoe kunnen case study onderzoekers striktheid garanderen in termen van primaire en secundaire
rapporten met betrekking tot de brede criteria; constructvaliditeit, interne validiteit, externe
validiteit en betrouwbaarheid. Er zijn drie strategieën om artikelen te vergelijken:
1. Wat auteurs rapporteren om striktheid te garanderen, auteurs die strengheid aanpakken,
richten zich uitgebreid op concrete onderzoeksacties in plaats van abstracte criteria die worden
voorgesteld door methodologen van verschillende overtuigingen.
2en 3; laten zien hoe auteurs deze concrete acties rapporteren.
2 De auteurs die striktheid aanpakken uitgebreid zorgvuldig prioriteit geven aan de meer
fundamentele soorten strengheid (interne validiteit en constructvaliditeit).
3 Rapporteren auteurs die strengheid aanpakken uitgebreid de opkomende strategieën die ze in
het veld gebruikten om de validiteit te verzekeren.
Constructvaliditeit
Constructvaliditeit van een procedure verwijst naar de mate waarin een onderzoek onderzoekt wat
2
, het beweert te onderzoeken de mate waarin een procedure leidt tot een nauwkeurige
waarneming van de werkelijkheid. Hierbij is het belangrijk in casestudy’s is het ontwikkelen van een
reeks weloverwogen acties, in plaats van subjectieve oordelen. Silverman (interpretivist) ziet dit als
geloofwaardigheid van een onderzoek.
De validiteit van het construct moet worden gegarandeerd, hiervoor zijn twee strategieën:
1. Onderzoekers dienen te trianguleren, dat wil zeggen verschillende invalshoeken aannemen om
naar hetzelfde fenomeen te kijken door verschillende strategieën voor gegevensverzameling en
bronnen te gebruiken. Je maakt dus gebruik van meerdere methoden voor
gegevensverzameling, geeft een sterkere onderbouwing van constructen en hypothesen.
2. Onderzoekers worden aangemoedigd om een duidelijke bewijsketen vast te stellen zodat de
lezer kan reconstrueren hoe de onderzoeker van de eerste onderzoeksvragen uiteindelijk bij de
conclusie is gekomen.
Interne (logische) validiteit
Ook wel logische validiteit genoemd, verwijst naar de aanwezigheid van causale verbanden tussen
variabelen en resultaten. Hier is het de vraag of de onderzoeker erin is geslaagd een plausibel causaal
argument te construeren dat steekhoudend genoeg is om de onderzoeksconclusies te verdedigen.
Bij interpretivisten is het belangrijk anekdotalisme te vermijden.
Bij kwantitatieve gegevens is het belangrijk om pogingen tot falsificatie of weerlegging zorgvuldig uit
te sluiten.
Bij kwalitatieve methoden kunnen de onderzoekers het weerleggingsprincipe aanpakken met behulp
van de constante vergelijkende methode, uitgebreide gegevensverwerking en analyse van afwijkende
gevallen.
1. Constante vergelijkende methode; de kwalitatieve onderzoeker moet altijd proberen een ander
geval te vinden om een voorlopige hypothese te stellen.
2. Uitgebreide gegevensverwerking; vereist dat in kwalitatief onderzoek alle gevallen van
gegevens in de analyse worden opgenomen.
3. Deviant-case analyse; onderzoekers ook gevallen in de analyse opnemen die niet passen in het
theoretische kader of het ontwikkelen van hypothesen.
Anekdotalisme = verwijst naar 2 problemen die vaak gecombineerd worden. 1. Verwijst naar de
neiging van de onderzoekers om zowel tijdens het onderzoek als in de rapportering vooral oog te
hebben voor sprekende voorbeelden (vb: uit interview transcripties of uit observatieverslagen), 2.
Verwijst het naar de neiging van onderzoekers om vooral te zoeken naar informatie die hypothese
bevestigd, eerder dan het aandacht te hebben voor het empirisch materiaal dat een hypothese zou
kunnen weerleggen of verfijnen.
Anekdotalisme vermijden: anekdotalisme is een bijzonder problematische bedreiging van de
kwaliteit (in bijzonder van interne validiteit) van wetenschappelijk onderzoek. Door vooral op zoek te
gaan naar illustratieve en dus bevestigende voorbeelden, loopt men een reëel risico op foute of te
simplistische conclusies. Oplossing: systematische behandeling van data. Systematisch kijken of de
generaliseringen die men wil formuleren op basis van het onderzoek ook werkelijk van toepassing
zijn op alle aspecten van de data. Elk fragment bekijken: men wil dus elk datafragmentje bekijken en
telkens nagaan of generalisering er ook daadwerkelijk van toepassing is.
Om de aanwezigheid van causale verbanden te kunnen waarborgen bij interne validiteit, moet
voldaan worden aan 3 punten:
Drie strategieën om interne validiteit te waarborgen:
1. Er moet een duidelijk onderzoekskader worden geformuleerd dat variabele x leidt tot uitkomst y
en dat y niet oneigenlijk werd veroorzaakt door een derde variabele z.
3
Leerdoelen
Na het bestuderen van de taken in deze week kunt u
• maatregelen benoemen die kunnen worden genomen om de methodologische kwaliteit van
kwalitatief case study onderzoek te waarborgen
• kritisch reflecteren op de kwaliteit van kwalitatief case study onderzoek met behulp van
bekende methodologische criteria
• gegeven een onderzoeksvraag op hoofdlijnen een passende kwalitatieve case study ontwerpen
Inleiding
In week 13 heeft u een beeld gevormd van het gebruik van kwalitatief onderzoek. Daarbij hebt u o.a.
gezien dat we kwalitatief onderzoek inzetten voor andere doeleinden dan kwantitatief onderzoek en
dat er überhaupt grote verschillen zijn tussen deze twee vormen van onderzoek. Bijna als vanzelf
dringt de vraag zich op: Hoe beoordelen we dan de kwaliteit van de methodologie van kwalitatief
onderzoek? Gebruiken we daarbij dezelfde criteria van validiteit en betrouwbaarheid? In week 14
beantwoorden we deze vraag.
Kwaliteit in kwalitatief onderzoek is een lastig onderwerp, vanwege de persoonlijke inbreng van de
onderzoeker en de aard van de te verzamelen data. Een gebrek aan objectiviteit wordt ook wel
gezien als de achilleshiel van kwalitatief onderzoek. Reden te meer om juist bij kwalitatief onderzoek
veel aandacht te schenken aan kwaliteit en de maatregelen om die kwaliteit te waarborgen en te
verbeteren.
Samenvatting artikel 4.5 The What and How of Case Study Rigor: Three Strategies Based on
Published Work van Gibbert & Ruigrok (2010) – blz 116/121 reader
De nauwkeurigheid van kwantitatief onderzoek is onderworpen aan gestandaardiseerde procedures
en kunnen worden beoordeeld in het gepubliceerde manuscript, dankzij een hoge mate van
codificatie in de rapportageconventies. Kwalitatief werk is veel minder gestandaardiseerd. Auteurs,
recensenten en lezers hebben daarom geen gemakkelijke toegang tot gecodificeerde manieren om
te rapporteren en te beoordelen hoe striktheid wordt gewaarborgd. Het gebrek aan duidelijkheid en
de manier waarop er wordt gecategoriseerd is daardoor al jarenlang een discussie tussen positivisten
en interpretivisten.
Positivisme: beveelt aan om wetenschappelijke methoden te gebruiken om menselijk gedrag en de
samenleving te analyseren. De positivistische onderzoeksfilosofie gaat uit van het standpunt dat
alleen feitelijke kennis opgedaan via observatie (de zintuigen) leidt tot betrouwbare kennis. De rol
van een onderzoeker is beperkt tot datacollectie en interpretatie van de gegevens volgens objectieve
methoden. De onderzoeksresultaten zijn dan ook observeerbaar en kwantificeerbaar.
Positivisme berust op kwantificeerbare observaties die via statistische methoden kunnen worden
geanalyseerd. De onderzoeker maakt geen onderdeel uit van de studie, er is geen plaats voor
menselijke interpretatie. Veelal wordt een deductieve aanpak gevolgd.
Interpretivisme (subjectivisme of sociaal constructivisme): beveelt aan om niet-wetenschappelijke,
kwalitatieve methoden te gebruiken om menselijk gedrag te analyseren. Volgens de
interpretivistische filosofie is het noodzakelijk voor de onderzoeker om verschillen te begrijpen
tussen mensen in onze rol als sociale actoren. Zodoende wordt onderscheid gemaakt tussen objecten
en mensen, waarbij wij mensen sociale actoren zijn die de wereld om zich heen interpreteren. Op
basis van deze interpretaties passen we onze betekenissen over de wereld om ons heen en ons
1
,gedrag aan. Voor de onderzoeker betekent dit dat deze een empathische houding aanneemt om de
betekenis die sociale actoren vormen te kunnen begrijpen.
Kritisch realisme: De kritisch realisme onderzoeksfilosofie gaat uit van een realiteit met
onderliggende mechanismen (ontologisch uitgangspunt), maar tegelijkertijd wordt erkend dat
mensen duiding geven aan de realiteit (epistomologisch uitgangspunt). Het kritisch realisme wil de
balans herstellen tussen beschouwingen van het objectieve (wetenschappelijke, enige waarheid) en
over het subjectieve (de verhalen). De positivistische benadering stelt dat alleen observeerbare
gebeurtenissen mogen worden meegenomen in kennisontwikkeling. Het bestaan van
onobserveerbare gebeurtenissen wordt ontkend. Dit is in tegenspraak met kritisch realisme waar
juist naar onderliggende mechanismen wordt gezocht die de observeerbare gebeurtenissen mede
kunnen verklaren.
Met het innemen van een realistisch standpunt wordt eveneens ingegaan tegen een
interpretivistische benadering waarin gesteld wordt dat de mens zijn eigen wereld schept. In het
extreme doorgevoerd betekent dit dat iedereen zijn eigen waarheid heeft en dat wetenschap ook
slechts een opinie is. Door de verbinding te leggen met de realiteit wordt met het kritisch realisme de
weg geopend om waarheden te toetsen aan de realiteit.
Positivisme en interpretivisme zijn twee belangrijke theoretische standpunten in de sociologie.
Beide theorieën helpen bij sociaal onderzoek dat het gedrag van mensen in de samenleving
analyseert. Terwijl het positivisme sociale normen beschouwt als de basis van menselijk gedrag,
beschouwt interpretivisme mensen als complexe wezens wiens gedrag niet kan worden
verklaard door sociale normen.
Yin, positivistisch standpunt, bevat expliciet data-analysestrategieën die voortkomen uit meer
interpretatieve overtuigingen, zoals gefundeerde theorie.
Constante vergelijking en theoretische steekproeven zijn sleutelwoorden die aan de grondslag liggen
van een gefundeerde theorie zijn van onschatbare waarde voor de bepaling van kwaliteit in
kwalitatief onderzoek. Deze gefundeerde theorie past meer bij de interpretatieve en
constructivistische benadering.
Om de striktheid te beoordelen wordt er gebruik gemaakt van een evidence based benadering, we
vergelijken praktijken die worden gerapporteerd in de gepubliceerde artikelen die strengheid
uitgebreid en minder uitgebreid behandelen.
Hoe kunnen case study onderzoekers striktheid garanderen in termen van primaire en secundaire
rapporten met betrekking tot de brede criteria; constructvaliditeit, interne validiteit, externe
validiteit en betrouwbaarheid. Er zijn drie strategieën om artikelen te vergelijken:
1. Wat auteurs rapporteren om striktheid te garanderen, auteurs die strengheid aanpakken,
richten zich uitgebreid op concrete onderzoeksacties in plaats van abstracte criteria die worden
voorgesteld door methodologen van verschillende overtuigingen.
2en 3; laten zien hoe auteurs deze concrete acties rapporteren.
2 De auteurs die striktheid aanpakken uitgebreid zorgvuldig prioriteit geven aan de meer
fundamentele soorten strengheid (interne validiteit en constructvaliditeit).
3 Rapporteren auteurs die strengheid aanpakken uitgebreid de opkomende strategieën die ze in
het veld gebruikten om de validiteit te verzekeren.
Constructvaliditeit
Constructvaliditeit van een procedure verwijst naar de mate waarin een onderzoek onderzoekt wat
2
, het beweert te onderzoeken de mate waarin een procedure leidt tot een nauwkeurige
waarneming van de werkelijkheid. Hierbij is het belangrijk in casestudy’s is het ontwikkelen van een
reeks weloverwogen acties, in plaats van subjectieve oordelen. Silverman (interpretivist) ziet dit als
geloofwaardigheid van een onderzoek.
De validiteit van het construct moet worden gegarandeerd, hiervoor zijn twee strategieën:
1. Onderzoekers dienen te trianguleren, dat wil zeggen verschillende invalshoeken aannemen om
naar hetzelfde fenomeen te kijken door verschillende strategieën voor gegevensverzameling en
bronnen te gebruiken. Je maakt dus gebruik van meerdere methoden voor
gegevensverzameling, geeft een sterkere onderbouwing van constructen en hypothesen.
2. Onderzoekers worden aangemoedigd om een duidelijke bewijsketen vast te stellen zodat de
lezer kan reconstrueren hoe de onderzoeker van de eerste onderzoeksvragen uiteindelijk bij de
conclusie is gekomen.
Interne (logische) validiteit
Ook wel logische validiteit genoemd, verwijst naar de aanwezigheid van causale verbanden tussen
variabelen en resultaten. Hier is het de vraag of de onderzoeker erin is geslaagd een plausibel causaal
argument te construeren dat steekhoudend genoeg is om de onderzoeksconclusies te verdedigen.
Bij interpretivisten is het belangrijk anekdotalisme te vermijden.
Bij kwantitatieve gegevens is het belangrijk om pogingen tot falsificatie of weerlegging zorgvuldig uit
te sluiten.
Bij kwalitatieve methoden kunnen de onderzoekers het weerleggingsprincipe aanpakken met behulp
van de constante vergelijkende methode, uitgebreide gegevensverwerking en analyse van afwijkende
gevallen.
1. Constante vergelijkende methode; de kwalitatieve onderzoeker moet altijd proberen een ander
geval te vinden om een voorlopige hypothese te stellen.
2. Uitgebreide gegevensverwerking; vereist dat in kwalitatief onderzoek alle gevallen van
gegevens in de analyse worden opgenomen.
3. Deviant-case analyse; onderzoekers ook gevallen in de analyse opnemen die niet passen in het
theoretische kader of het ontwikkelen van hypothesen.
Anekdotalisme = verwijst naar 2 problemen die vaak gecombineerd worden. 1. Verwijst naar de
neiging van de onderzoekers om zowel tijdens het onderzoek als in de rapportering vooral oog te
hebben voor sprekende voorbeelden (vb: uit interview transcripties of uit observatieverslagen), 2.
Verwijst het naar de neiging van onderzoekers om vooral te zoeken naar informatie die hypothese
bevestigd, eerder dan het aandacht te hebben voor het empirisch materiaal dat een hypothese zou
kunnen weerleggen of verfijnen.
Anekdotalisme vermijden: anekdotalisme is een bijzonder problematische bedreiging van de
kwaliteit (in bijzonder van interne validiteit) van wetenschappelijk onderzoek. Door vooral op zoek te
gaan naar illustratieve en dus bevestigende voorbeelden, loopt men een reëel risico op foute of te
simplistische conclusies. Oplossing: systematische behandeling van data. Systematisch kijken of de
generaliseringen die men wil formuleren op basis van het onderzoek ook werkelijk van toepassing
zijn op alle aspecten van de data. Elk fragment bekijken: men wil dus elk datafragmentje bekijken en
telkens nagaan of generalisering er ook daadwerkelijk van toepassing is.
Om de aanwezigheid van causale verbanden te kunnen waarborgen bij interne validiteit, moet
voldaan worden aan 3 punten:
Drie strategieën om interne validiteit te waarborgen:
1. Er moet een duidelijk onderzoekskader worden geformuleerd dat variabele x leidt tot uitkomst y
en dat y niet oneigenlijk werd veroorzaakt door een derde variabele z.
3
