Hoofdstuk 9 onderzoekskwaliteit
Aantonen of jouw onderzoek tot kwalitatief goede conclusies leidt:
- Betrouwbaar: in welke mate in een onderzoek toevallige fouten (fouten door onverwachte
en onberekenbare factoren) voorkomen.
- Valide: geldigheid of zuiverheid van het onderzoek. Mate waarin systematische fouten (als de
onderzoeker voortdurend een andere waarde meet dan verwacht) worden gemaakt.
- Bruikbaarheid: een onderzoek moet waardevol en bruikbaar zijn.
Wanneer is kwaliteit belangrijk?
Bij het ontwerp en de operationalisatie, bij het samenstellen van de steekproef, bij de respons, bij de
analyse. Kritiekpunten kunnen de waarde van je onderzoek ondermijnen, je moet op tijd ingrijpen en
anders een verantwoording schrijven in je onderzoeksverslag.
Kwalitatief en kwantitatief onderzoek.
Bij kwantitatief onderzoek zijn de criteria voor een goede kwaliteit van resultaten goed meetbaar.
9.1 betrouwbaarheid
Betrouwbaarheid: in hoeverre je onderzoek vrij is van toevallige fouten. Je onderzoek moet
herhaalbaar zijn, bij dezelfde resultaten is je onderzoek betrouwbaar.
Herhaalbaarheidseis: onderzoek moet op een ander tijdstip, door een andere onderzoeker, met
andere proefpersonen en onder andere omstandigheden herhaalbaar zijn.
Betrouwbaarheid nagaan.
Bij kwantitatief onderzoek:
- Steekproefomvang: hoe groter de steekproef, hoe nauwkeuriger de uitspraak. Bij een
steekproef is er sprake van een foutenmarge, doordat er een schatting wordt gemaakt.
Foutenmarge: omvang van de fout die je toelaat.
- Test-hertest: door herhaling van methoden bepalen of je onderzoek betrouwbaar is.
Bij kwantitatief en kwalitatief onderzoek:
- Standaardisatie: door standaardvragenlijsten of door een Likertschaal
- Proefinterview, pilot: bij interviews en surveys
- Vier-ogenprincipe: een collega-onderzoeker kijkt mee met het onderzoek en de
verslaglegging en geeft feedback.
- Rapportage en verantwoording: je moet een juiste verantwoording geven van al je
onderzoekshandelingen. Dus goed bijhouden in je onderzoeklogboek. Hierin noteer je:
keuzes, vorderingen, leermomenten, omstandigheden die problemen veroorzaken, dingen
die fout lopen. Bij herhaling kan je dit dan gebruiken en fouten vermijden. Ook vaak
overleggen met de opdrachtgever, licht keuzes toe en beantwoord vragen.
9.2 validiteit
Validiteit: mate waarin het onderzoek vrij is van systematische fouten. Je kijkt naar de echtheid, het
waarheidsgehalte van een onderzoek.
Benaderingen in kwantitatief en kwalitatief onderzoek
Betrouwbaarheid is bij kwantitatief onderzoek een voorwaarde voor het bepalen van de validiteit. Bij
,kwalitatief onderzoek is validiteit belangrijker dan betrouwbaarheid. Belangrijkste vormen van
validiteit zijn de geldigheid van je meetinstrument en die van de onderzoeksgroep.
9.2.1 interne validiteit
= als je er de juiste conclusies mee kunt trekken. Juiste conclusies: conclusies die standhouden en de
kritiek van collega’s overleven. Vaak bij oorzaak-gevolgrelaties die in experimenten worden
onderzocht en bij het analyseren van effecten.
Situaties die interne validiteit in kunnen gevaar brengen:
- Selectie van proefpersonen: je onderzoekt alleen de mening van de selecte groep
- Groei (maturation): als je onderzoek lang duurt, kan een verandering automatisch plaats
vinden
- Extern voorval (history): bv bij verkiezingen na een aanslag
- Instrumentatie: bij de verandering van bijv. een vragenlijst, dit levert een vertekening van de
resultaten op.
- Mortaliteit (uitval): bij bijv. een voor en na meting en mensen vallen uit.
- Testeffect: als mensen anders reageren op bepaalde condities omdat ze weten dat ze aan
een onderzoek meedoen.
Om de validiteit zo hoog mogelijk te maken, wijzen ze testpersonen willekeurig toe aan de
experimentele en controlegroep (randomisatie), organiseren voor- en nametingen en zetten
experimenten op binnen een laboratorium.
9.2.2 externe validiteit
Hoe groter de steekproef, hoe groter de reikwijdte of hoe groter de statische generaliseerbaarheid
(de toepassing van de resultaten op een hele grote groep). Goede externe validiteit: steekproef lijkt
op de hele populatie representatief, dus generaliseerbaar = populatievaliditeit.
2 manieren voor het gebruiken van externe validiteit:
- Reikwijdte van resultaten, met oog op steekproeftrekking (statische generaliseerbaarheid)
(vooral bij kwantitatief onderzoek)
- Inhoudelijke generaliseerbaarheid = generaliseerbaarheid naar andere situaties die niet
onderzocht zijn. (Vooral bij kwalitatief onderzoek)
Weging
Oplossingen als je steekproef niet representatief is: bij panelstudies een valide steekproef houden,
dan blijft de oververtegenwoordiging zichtbaar. Door weging kan je toch bruikbare resultaten krijgen.
9.2.3 begripsvaliditeit
= constructvaliditeit.
Heeft betrekking op de meetinstrumenten die in enquêtes en experimenten worden gebruikt. Kijken
of je meet wat je wilt meten.
Abstracte begrippen meten
Als het gaat om begrippen die niet direct duidelijk zijn. Je moet eerst de begrippen goed uitleggen en
daarna omzetten in een vraag. Vaak heb je meerdere vragen nodig om een abstract begrip te meten.
9.3 betrouwbaarheid als voorwaarde voor validiteit
, Betrouwbaarheid is de belangrijkste voorwaarde voor validiteit. Is je onderzoek betrouwbaar, dan
kan je validiteit meten. Is je onderzoek niet betrouwbaar, is de validiteit een probleem. Maar je kan
wel een betrouwbaar onderzoek hebben en toch problemen met de validiteit krijgen. Bijvoorbeeld
met de generaliseerbaarheid van de steekproef, terwijl de onderzoeksverantwoording en
meetinstrumenten wel betrouwbaar zijn.
9.4 bruikbaarheid
Een onderzoek hoeft niet valide of betrouwbaar te zijn, om bruikbaar te zijn. De resultaten worden
bijv. door de opdrachtgever gebruikt in eigen bedrijf.
Instrumenteel en conceptueel
Instrumentele bruikbaarheid: bruikbaarheid van onderzoeksresultaten bij het oplossen van
problemen in de samenleving. Dit is de valorisatiewaarde/kennisbenutting van het onderzoek.
Conceptuele bruikbaarheid: als de resultaten worden gebruikt om een discussie over een bepaald
onderwerp te starten.
Bruikbaarheid verhogen
Je moet opdrachtgevers goed betrekken bij het doen van je onderzoek. Zo kan je de goede vragen
stellen. Ook heeft de opdrachtgever vaak deskundigen in dienst die je kunnen helpen, of een vast
contactpersoon aanwijzen die meedenkt en aan wie je informatie kunt vragen. Dit verbetert ook de
betrouwbaarheid van de resultaten.