Samenvatting Kwalitatief onderzoek
College 1
❖ H.9 – Onderzoekskwaliteit
Onderzoeksresultaten moeten een bepaalde kwaliteit bezitten. Maar voordat je van deze kwaliteit
overtuigd kunt zijn, moet je eerst op een meer systematische manier naar het onderzoek kijken. Om
aan te kunnen tonen dat jouw onderzoek tot kwalitatief goede conclusies leidt bestaan er de volgende
criteria:
• Betrouwbaar, valide:
- Bij de betrouwbaarheid van resultaten ga je na in welke mate in een onderzoek toevallige
fouten voorkomen. Dit zijn fouten door onverwachte en onberekende factoren in het
onderzoek. Hoe minder toevallige fouten, hoe betrouwbaarder het onderzoek.
- Bij het beoordelen van de validiteit kijk je naar de geldigheid of zuiverheid van onderzoek
(naar de mate waarin systematische fouten worden gemaakt). Van systematische fouten
spreek je als de onderzoeker voortdurend een (constante) andere waarde meet dan verwacht.
Hoe minder systematische fouten, hoe meer valide het onderzoek is.
• Bruikbaar:
- Mate waarin onderzoeksresultaten waardevol zijn voor de opdrachtgever.
Wanneer is kwaliteit belangrijk?
- Bij het ontwerp en operationalisatie, bij het samenstellen van de steekproef(omvang), bij de
respons en bij de analyse van je resultaten.
- Wanneer je schematisch naar je onderzoek kijkt, zul je merken dat kritiekpunten de waarde
(kwaliteit) van je onderzoek ondermijnen. Door op tijd in te grijpen, kun je de kwaliteit van het
onderzoek alsnog waarborgen. Als dit niet lukt is het belangrijk dat je een goede
verantwoording in het onderzoeksverslag schrijft.
Kwalitatief en kwantitatief onderzoek
- Bij kwantitatief onderzoek zijn er algemene criteria waaraan onderzoek moet voldoen. Deze
criteria zijn vaak goed meetbaar.
- Kwalitatief onderzoek kan net zo betrouwbaar en valide zijn, maar daar liggen de criteria niet
zo voor de hand.
H.9.1 – Betrouwbaarheid
- Om de betrouwbaarheid voldoende te kunnen testen moet een onderzoek herhaalbaar zijn.
Leidt dit tot dezelfde resultaten, dan is je onderzoek betrouwbaar
(herhaalbaarheidscriterium).
Vooral bij kwantitatief onderzoek:
1. Steekproefomvang: hoe groter je steekproef is, des te nauwkeuriger kun je uitspraak doen. Op
basis van een steekproef kun je een SCHATTING maken over de mogelijke uitkomsten van je
onderzoek.
, 2. Test-hertest: door herhaling van methoden kun je bepalen of je onderzoek betrouwbaar is. Je
kunt bijvoorbeeld een waarderingsschaal in een vragenlijst 2 keer voorleggen aan
respondenten. Is de samenhang tussen de 2 scores erg hoog, dan is de schaal betrouwbaar.
Bij kwantitatief en kwalitatief onderzoek:
1. Standaardisatie: bij kwantitatief onderzoek kun je een standaardvragenlijst maken of een
Likertschaal gebruiken. Bij kwalitatief onderzoek kun je een systeem in de analyse aanbrengen
2. Proefinterview (pilot): bij interviews en surveys kan een proefinterview de betrouwbaarheid
van je topiclijst verhogen.
3. Vier-ogenprincipe (peer feedback): een collega-onderzoeker kijk mee met het onderzoek en de
verslaglegging. Deze geeft ook feedback.
4. Rapportage en verantwoording: Hou al je onderzoekshandelingen nauwkeurig bij in je
onderzoeklogboek. Daarin noteer je niet alleen de keuzes die je maakt in de vorderingen,
maar ook de leermomenten, veranderingen die je aanbrengt, omstandigheden die problemen
oproepen en dingen die fout lopen. Bij herhaling van je onderzoeken kun je deze fouten
vermijden, waardoor je de betrouwbaarheid van de resultaten verder verhoogd.
Vooral bij kwalitatief onderzoek:
1. Interbeoordelaarsbetrouwbaarheid of intersubjectiviteit: Verschillende onderzoekers
observeren een situatie. De mate van overeenstemming over de resultaten tussen de
onderzoekers bepaalt de interbeoordelaarsbetrouwbaarheid. De onderzoekers moeten het
dus zoveel mogelijk met elkaar eens zijn.
2. Triangulatie: Door verschillende methodes te gebruiken, verhoog je de betrouwbaarheid. Je
controleert of een verkregen resultaat klopt als je gebruik maakt van een andere methode.
3. Iteratie: Door het herhalen van dataverzameling en analyse voldoe je eigenlijk aan de
voorwaarden van herhaalbaarheid. Je neemt waar, analyseert en interpreteert, en herhaalt
daarna deze stappen, totdat je concludeert dat je de probleemstelling kunt beantwoorden.
H.9.2 – Validiteit
- Met de validiteit bepaal je in welke mate het onderzoek vrij is van systematische fouten. Je
kijkt naar de echtheid, het waarheidsgehalte van je onderzoek.
- Sociaal wenselijk antwoord: een antwoord dat beter past bij een bepaald
verwachtingspatroon.
- Bij kwantitatief onderzoek is betrouwbaarheid een voorwaarde voor het bepalen van de
validiteit.
- Bij kwalitatief onderzoek vinden onderzoekers validiteit belangrijker dan betrouwbaarheid. Zij
leggen liever de nadruk op validiteit van resultaten, de mate waarin deze toegepast kunnen
worden op andere situaties, plaatsen en personen, en op de mate waarin de onderzoeksopzet
geschikt is om de probleemstelling te beantwoorden.
H.9.2.1 – Interne validiteit (trek ik de juiste conclusies?)
Resultaten zijn intern valide als je er de juiste conclusies mee kunt trekken. Juiste conclusies zijn
conclusies die stand houden en de kritiek van collega-onderzoekers kunnen overleven. Ook bij het
analyseren van effecten speelt de interne validiteit een belangrijke rol, want je wilt de juiste conclusies
kunnen trekken: dat er een effect is.
In een aantal situaties kan de interne validiteit in gevaar komen:
- Selectie van proefpersonen: Door het gebruik van proefpersonen onderzoek je alleen de
mening van deze selecte groep.
- Groei (maturation): Als onderzoek lang duurt kan een verandering automatisch plaatsvinden.
- Extern voorval (history): Verkiezingspolls kunnen bijvoorbeeld een plotselinge verschuiving
laten zien na het plaatsvinden van een aanslag.
, - Instrumentatie: Stel dat je de vragenlijst bijstelt tijdens het onderzoek. Dan gebruik je dus niet
precies dezelfde vragenlijst. Dat levert de vertekening van de resultaten op.
- Mortaliteit (uitval): Stel dat je een experiment organiseert met de voormetingen en een
nameting. Als er tussentijds mensen uitvallen (ze willen of kunnen niet meer meedoen) is er
sprake van uitval.
- Testeffect: Een testeffect kan optreden als mensen anders reageren op bepaalde condities
omdat ze weten dat ze aan een onderzoek mee doen.
Bij experimenten nemen onderzoekers maatregelen om de validiteit zo hoog mogelijk te maken: ze
wijzen testpersonen willekeurig toe aan de experimentele en controlegroep (randomisatie),
organiseren voor- en nametingen en zet de experimenten op binnen de muren van een laboratorium.
H.9.2.2 – Externe validiteit (kan ik de resultaten generaliseren?)
Bij een goede externe validiteit lijkt de steekproef op een bepaald aantal relevante kenmerken op de
populatie. Is dat het geval, dan is deze steekproef representatief en mag je de onderzoeksresultaten
generaliseren (populatievaliditeit).
Is je steekproef niet representatief, dan zijn er wel oplossingen mogelijk. Als je nu een valide
steekproef voortrekt voor een panelstudie, dan blijft de oververtegenwoordiging van deze (eerdere
zelfselectie door bijv. hoogopgeleide vrouwen) zichtbaar. Door een weging toe te passen, kun je toch
resultaten te krijgen waar je iets mee kunt doen.
- Interne validiteit: onderzoekers wijzen het liefst willekeurig proefpersonen aan de
verschillende onderzoeksgroepen (condities) toe. Lukt dit niet, dan kan er een vertekening in
de selectie (selection bias) optreden. De groepen zijn niet gelijkwaardig op bepaalde
kenmerken; dit heeft invloed op de interne validiteit.
- Externe validiteit: bij enquêtes bepaalt de representativiteit van de steekproef de externe
validiteit. Is de steekproef geen goede afspiegeling van de populatie, dan heeft dit invloed op
de externe validiteit.
H.9.2.3 – Begripsvaliditeit (meet ik wat ik meten wil?)
Begripsvaliditeit heeft betrekking op de meetinstrumenten die een enquêtes en experimenten wordt
gebruikt. Je bekijkt of je meet wat je wilt meten. De meeteenheid is overal hetzelfde.
Het meten van abstracte begrip is veel lastiger als het gaat om begrippen die subjectief of niet
duidelijk zijn. Deze begrippen moet je eerst goed omschrijven en dan omzetten in een vraag (een
meetinstrument) die deze begrippen ook echt meet. Het kan zijn dat je verschillende vragen nodig
hebt om een abstract begrip te meten. Begripsvaliditeit speelt zeker ook een rol bij open interviews.
H.9.3 – Betrouwbaarheid als voorwaarde voor validiteit
- Betrouwbaarheid is de belangrijkste voorwaarden voor valide onderzoek. Is je onderzoek niet
betrouwbaar, dan is de validiteit ook een probleem.
- Er zijn validiteitsargumenten te noemen, zoals de representativiteit van de steekproef. Maar
omdat de betrouwbaarheid van de onderzoeken onder druk staat, wordt daarmee ook de
validiteit aangetast.
- Andersom kun je wel betrouwbaar onderzoek hebben, maar problemen met de validiteit. Zo
kun je onderzoek hebben met een voldoende grote steekproef, met een gedegen
onderzoeksverantwoording en betrouwbare meetinstrumenten, maar problemen
ondervinden met de generaliseerbaarheid.
, H.9.4 – Bruikbaarheid
Afhankelijk van keuzes voor het onderwerp kan het resultaat van verschillende onderzoeken naar
hetzelfde onderwerp heel anders uitpakken. Er kunnen toevallige, maar ook systematisch
omstandigheden zijn waardoor de betrouwbaarheid en daarmee de validiteit in het geding komen.
Validiteit, betrouwbaarheid en bruikbaarheid voor me samen de criteria voor onderzoekskwaliteit.
- Instrumentele bruikbaarheid: het onderzoeksresultaat heeft een hoge valorisatie/waarde. De
kennisbenutting (het opvolgen van de aanbevelingen) is goed.
- Conceptueel: het onderzoeksresultaat zwengelt een (maatschappelijke) discussie aan. De
disseminatiewaarde is goed.
Om de bereikbaarheid van praktijkonderzoek zo groot mogelijk te maken, is het belangrijk om de
opdrachtgevers nauw bij het onderzoek te betrekken. Dit heeft niet alleen een positief effect op de
bruikbaarheid, maar ook op de betrouwbaarheid van de resultaten.
❖ H.10 – Steekproeven trekken
Wanneer je ontwerp klaar is, ga je data verzamelen. Dat kun je doen bij een kleine groep vooraf
geselecteerde personen, bij een grote groep mensen die je niet kent, door voorbijgangers te bevragen
of door gedrag te observeren van mensen specifieke setting. Uit de aanleiding van je onderzoek kan
een specifieke doelgroep naar voren komen. Je gaat na wat de beperkingen en de mogelijkheden zijn
en dan selecteer je de deelnemers aan je onderzoek.
H.10.1.1 – Wat is een populatie?
Een populatie bestaat uit alle eenheden (personen, zaken, organisaties) waarover je in je onderzoek
uitspraken wil doen. Zij zijn het domein waarbinnen je onderzoek zich afspeelt.
- Operationele populatie: een deelverzameling (afbakening) van je populatie, een bepaald
segment.
H.10.1.2 – Wat is een steekproef?
Een al dan niet willekeurige selectie uit een populatie, die de mogelijkheid krijgt in het onderzoek mee
te doen.
- Elke eenheid heeft een berekenbare kans om tot de steekproef te behoren.
- Aselecte steekproef: Toetsen boven gevonden verband tussen twee kenmerken (variabelen)
ook geldig is voor jouw populatie.
- Steekproefkader: lijst waaruit de steekproef getrokken wordt.
- Aselecte steekproeven worden meestal bij kwantitatief onderzoek ingezet, omdat statistische
generaliseerbaarheid (De mate waarin de resultaten op een hele populatie toegepast kunnen
worden) daarin een belangrijke rol speelt. De eenheden in deze steekproef moeten gelijk zijn
aan de populatie (representativiteit).
- Inhoudelijke generaliseerbaarheid: kwalitatief onderzoek maakt veel gebruik van experts, van
personen die de onderzoekers speciaal voor onderzoek selecteert, en van mensen die bereid
zijn om over gevoelige onderwerpen te praten.
- Personen die deelnemen aan een vragenlijstonderzoek noem je respondenten. Respondenten
voor me daar mee dat deel van de steekproef dat ook echt aan het onderzoek meedoet.
Deelnemers aan andere onderzoekstypen noem je proefpersonen.
H.10.2 – Aselecte steekproeven
- Het is aan te raden om een steekproef zoveel mogelijk willekeurig samen te stellen. Iedere
persoon uit de populatie heeft een berekenbare kans om mee te doen.