LEZEN EN BEOORDELEN VAN ONDERZOEKSPUBLICATIES
HOOFDSTUK 7 WAT IS ONDERZOEK?
Wetenschappelijk onderzoek is het op een systematische wijze verzamelen en analyseren van gegevens,
teneinde een van tevoren opgesteld onderzoeksprobleem op te kunnen lossen.
Onderzoek is het vereenvoudigen van de werkelijkheid tot een aantal variabelen en onderzoekseenheden,
welke een zodanige voorstelling van de werkelijkheid geven dat deze onderzoekbaar, dat wil zeggen
analyseerbaar is.
Het begrip variabele maakt deel uit van het ‘echte onderzoeksjargon’. Het duidt op een verschijnsel, een
kenmerk, dat deel uitmaakt van een onderzoek. De term variabele wijst er dan weer op dat het gaat om een
kenmerk dat niet constant is. Hierop bestaat één uitzondering, de constante variabele.
Voorbeelden van concrete variabelen zijn: lengte, bloeddruk en inkomen. Voorbeelden van meer abstracte
variabelen zijn: zelfzorg, gezondheid of kwaliteit van leven.
Afhankelijke variabele: deze variabele staat centraal in het onderzoek. Dit wordt ook wel de te verklaren
variabele genoemd. Bij oorzaak-gevolgonderzoek is het gevolg de afhankelijke variabele. In de epidemiologie is
de afhankelijke variabele veelal uitgedrukt in een of andere gezondheidsmaat, ziekte of dood. De mogelijke
oorzaken hiervan worden determinanten genoemd.
Onafhankelijke variabele: De (mogelijke) oorzaken. Deze variabele wordt ook wel de verklarende variabele
genoemd. Deze variabele is aansprakelijk voor dat de afhankelijke variabele een bepaalde waarde aanneemt.
Of een variabele afhankelijk of onafhankelijk is hangt af van het onderzoeksprobleem en van de theorie die
wordt gebruikt in het onderzoek.
Het verband tussen de afhankelijke en onafhankelijke variabele is niet altijd rechtstreeks. Het kan ook indirect
lopen. In dat geval is sprake van een variabele die op een of andere wijze de relatie tussen de afhankelijke en
de onafhankelijke beïnvloedt. Dit verband kan verstoord worden door de aanwezigheid van andere variabelen,
die de afhankelijke en de onafhankelijke variabelen samenhangen. In zo’n geval is er sprake van verstorende
variabelen. Hiervoor wordt in de epidemiologie de term confounder gebruikelijk.
Een variabele is opgebouwd uit meeteenheden (waarden/scores). Bij de variabele lichaamslengte is de
meeteenheid bijvoorbeeld centimeter. Het verschil in meeteenheid wordt aangeduid als het meetniveau van
een variabele.
Onderzoekseenheden zijn de bronnen waaraan de variabelen gemeten zijn. Bijvoorbeeld documenten,
rapporten, mensen of dieren. Oftewel, de populatie van het onderzoek. In jargon heet dit vaak de steekproef of
de respondenten: de mensen die aan het onderzoek deelnamen.
Een datamatrix is de weergave van het onderzoek in de vorm van variabelen en onderzoekseenheden.
Bij wetenschappelijk onderzoek gaat het erom het onderzoeksprobleem te vertalen naar variabelen en
onderzoekseenheden. Hierom kan het onderzoek ook beschouwd worden als het omzetten van het
onderzoeksprobleem in een datamatrix, om vervolgens met behulp van de datamatrix het antwoord op het
onderzoeksprobleem te formuleren. Zonder datamatrix is het niet mogelijk een onderzoeksprobleem op te
lossen. Om inzicht te krijgen in bepaald onderzoek is het daarom van belang om na te gaan uit welke variabelen
en onderzoekseenheden het onderzoek bestaat.
HOOFDSTUK 9 OM WAT VOOR GEGEVENS GAAT HET?
9.1 HOE ZIJN DE GEGEVENS VASTGESTELD?
De wijze waarop gegevens bepaal worden is afhankelijk van het soort gegevens dat de onderzoeker wil
verzamelen. In het geval van zaken zoals gewicht en lengte is de bepaling ‘relatief eenvoudig’ omdat er al
langer meetinstrumenten voor bestaan. Maar wanneer een onderzoeker bijvoorbeeld pijn of angst wil
onderzoeken zijn er geen standaard afstandsmaten vastgelegd, het probleem is groter. Gelukkig zijn er
inmiddels wel meetschalen om deze problemen op te meten zoals de ZorgAfhankelijkheids Schaal (ZAS), de
Activiteiten Dagelijks Leven schaal (ADL), de Beoordelingsschaal voor Oudere Patiënten (BOP), de Dutch Fatigue
Scale (DFS), het Nottingham Health Profile (NHP) en het Sickness Impact Profile (SIP).
Het wordt moeilijker wanneer de onderzoeker iets wil meten wat nog maar weinig of niet gemeten is, of wat
zeer specifiek is. In dat geval is de onderzoeker genoodzaakt zelf een procedure te ontwikkelen om het
gewenste te meten. Over het algemeen ligt de voorkeur bij het gebruiken van al bestaande meetinstrumenten.
Dit geeft namelijk de mogelijkheid om de onderzoeksresultaten te vergelijken met andere onderzoeken.
,9.2 HOE ZIJN DE GEGEVENS VERZAMELD?
De wijze waarop gegevens verzameld worden, hangt samen met de wijze waarop de gegevens bepaald zijn. Een
keuze voor de bepaling van de gegevens is ook een keuze voor de wijze waarop de gegevens verzameld moeten
worden.
Het woord enquête wordt het meest gebruikt in de betekenis van een schriftelijke vragenlijst. Het is een
systematische ondervraging van personen op een groot aantal punten. Het is een vorm van survey-onderzoek
(een onderzoek waarbij gegevens via methoden van ondervraging worden verkregen). Een algemeen van de
schriftelijke enquête is de (non-)respons. Dat wil zeggen dat het aantal deelnemers dat de enquête invult
moeilijk te beïnvloeden is. Bij een te geringe respons komt de juistheid van de conclusies die de onderzoeker
wil trekken in gedrang.
Een van de voordelen van de schriftelijke enquête is dat met relatief weinig inspanning veel gegevens
verzameld kunnen worden. De samenstelling en de zorgvuldige uitvoering van een schriftelijke enquête vergt
natuurlijk wel de volle aandacht van de onderzoeker. Een ander voordeel is dat de onderzoeker tijdens de
gegevensverzameling geen invloed kan uitoefenen. Daar staat wel tegenover dat deze geen toelichting kan
geven. Bij het beoordelen van de schriftelijke enquête is vooral de respons een punt van aandacht.
Bij een interview is er sprake van een gesprek tussen onderzoeker en respondent. In feite is er sprake van een
mondelinge enquête. Een interview kan zowel persoonlijk als in groepsverband plaatsvinden. Het voordeel van
een interview is dat de onderzoeker zo nodig op dingen kan doorvragen en vragen kan toelichten. Dit is tevens
ook een van de nadelen omdat het de objectiviteit van de gegevens kan beïnvloeden. De deelnemers aan het
interview kunnen op elkaar reageren. Het vragen om opheldering, het verschaffen van toelichting, versterken
van de motivatie en het al doende aanpassen van het vragenschema behoren tot de mogelijkheden. Ook de
rijkdom aan uitingsmogelijkheden behoort tot de pluspunten van het mondelinge interview. Er is immers
sprake van verbale en non-verbale communicatie.
Interviews worden gebruikt wanneer de respondent zelf de vragen niet zou kunnen lezen of als de onderzoeker
open antwoorden wil verkrijgen of vragen toelichting behoeven.
Een nadeel van interviews is de tijdsinvestering. Dit is vooral bij zogenaamde open interviews, waarbij de
respondent vrij kan antwoorden. De structurering van de antwoorden gebeurd dan achteraf. Dit kost al gauw
meer dan een dag werk per afgenomen interview. Hierom moet het aantal respondenten bij mondelinge
interviews in veel gevallen beperkt blijven. Bij de beoordeling van het onderzoek wordt er vooral gekeken naar
in welke mate het interview is gestructureerd en hoe de onderzoeker de nadelen van het interview heeft
ondervangen (de beïnvloeding van de respondent door de onderzoeker).
Soms is het nodig om gegevens via observatie te verkrijgen. Observatie kan verschillende vormen aannemen.
De onderzoeker kan de gebeurtenissen direct observeren door zelf aanwezig te zijn en deel uit te maken van de
sociale situatie. In dit geval is er sprake van participerende observatie. In de klassieke zin houdt dat in dat
iemand het leven van een groep gedurende langere tijd zo goed mogelijk meeleeft en beleeft. De mate waarin
de onderzoeker participeert kan daarbij verschillen. Het is mogelijk dat de onderzoeker observeert zonder dat
de geobserveerden daarvan op de hoogte zijn. Het voordeel van observatie is dat feiten vastgelegd kunnen
worden, terwijl het bij vragenlijsten veelal gaat om meningen of opgave van feiten, waarbij aangenomen wordt
dat ze in overeenstemming zijn met de werkelijkheid. Een nadeel van observaties is dat de interpretatie ervan
door de onderzoeker een rol speelt. Met name bij de participerende observatie is de onderzoeker een
belangrijke factor. Hij is als het ware zelf het meetinstrument. Dit is zowel de kracht als de zwakte van deze
vorm van gegevensverzameling. Wanneer de situatie in beeld en geluid wordt vastgelegd, is het mogelijk om
meerdere beoordelaars in te schakelen. Dit is een vorm van systematische observatie.
Bij een inhoudsanalyse gaat het de onderzoeker om de structurering van ongestructureerde gegevens, zoals
kranten, tijdschriften, verslagen of patiëntendossiers maar ook om de gegevens uit de open vragen van
interviews. In feite wordt er gebruikgemaakt van ‘databanken’ waarbij de gegevens voor het doel van het
onderzoek gestructureerd moeten worden. Deze structurering gebeurt dan volgens een vastgesteld schema. Zo
moet onder meer vastgesteld worden wat de onderzoekseenheden zijn en welke categorieën gehanteerd
worden oftewel, hoe de datamatrix eruit komt te zien.
Een mogelijke fouten bron bij de inhoudsanalyse is de codering van de gegevens, daarbij kan namelijk van alles
misgaan wanneer er geen goede afspraken gemaakt worden en er geen controle plaatsvindt. Let bij de
inhoudsanalyse vooral op de wijze waarop de onderzoeker zich hiertegen gewapend heeft. Dit kan bijvoorbeeld
door het inschakelen van meer codeurs en het zelfde materiaal door deze mensen laten beoordelen en/of
vergelijken.
9.3 WAT ZIJN DE GEGEVENS WAARD?
,Iedere manier van gegevensverzameling heeft sterke en zwakke kanten. Het is niet alleen het
onderzoeksprobleem, maar ook de praktische uitvoerbaarheid van een onderzoek (ethische aspecten en
financiële middelen), dat bepaalt hoe de gegevens verzameld worden. Uiteindelijk gaat het erom wat het
materiaal waard is.
Hoe de gegevens ook verzameld zijn, in alle gevallen is het van belang om na te gaan hoe betrouwbaar de
gegevens zijn. Hiermee wordt bedoeld dat de gegevens, wanneer deze door iemand anders verzameld zouden
zijn, of op een ander moment onder identieke omstandigheden, precies gelijk zouden zijn. Oftewel, er mogen
geen toevallige omstandigheden van invloed zijn op de meting. Bij metingen worden er echter fouten gemaakt.
Deze fouten kunnen systematisch zijn maar ook niet systematisch (random errors of toevalsfouten). Vooral de
niet-systematische fouten leiden tot onbetrouwbaarheid. Deze toevalsfouten zorgen ervoor dat het
meetinstrument geen juist meetresultaat oplevert, zodat de onderzoeker nooit zeker is over de juiste waarde
van een respondent voor een bepaalde variabele. Hierom wordt betrouwbaarheid ook wel beschreven als de
mate waarin een meetinstrument vrij is van zulke toevalsfouten.
Het vaststellen van de betrouwbaarheid van een meetinstrument gebeurt veelal door het vaststellen van de
interne consistentie ervan, of door het bepalen van de test-hertest (het twee keer afnemen van dezelfde test)
betrouwbaarheid. Een van de oudste methoden om de betrouwbaarheid vast te stellen is de split-half techniek.
Daarbij worden de vragen uit een schaal opgesplitst in twee groepen. Vervolgens wordt de correlatie berekend
tussen beide groepen. Ook wordt de schaal vergeleken met overeenkomstige schalen. Dit noemt men de
parallelbetrouwbaarheid of de equivalentbetrouwbaarheid. Betrouwbaarheid wordt vastgesteld in de vorm van
een getal. Een veelgebruikte methode bij het vaststellen van de interne consistentie van een meetinstrument is
die volgens Cronbach’s alfa. De waarde ligt tussen 0 en 1, hoe lager het getal, hoe minder betrouwbaar de
gegevens zijn. Voor test-hertest geldt min of meer hetzelfde, alleen kan het getal theoretisch nu tussen -1 en
+1 liggen, hoe dichter bij de 0, hoe slechter de betrouwbaarheid.
De validiteit (of geldigheid) van de gegevens is nauw verweven met de betrouwbaarheid. Bij kwantitatief
onderzoek worden betrouwbaarheid en validiteit onderscheiden als twee afzonderlijke aspecten van
meetschalen. Validiteit wil zeggen dat datgene wat gemeten is ook datgene is wat bedoeld werd. Het spreek
daarom voor zich dat het van belang is om aan te geven in welke mate de meting voldoet aan de eisen van
validiteit. Om na te gaan of een meting valide is, is het nodig om terug te gaan naar de bron en de stappen die
geleid hebben tot de wijze van meting opnieuw te bezien.
Een technisch probleem dat kan optreden bij meetinstrumenten is de zogenaamde antwoordtendentie. Dat is
de neiging van de respondenten om een voorkeur voor bepaalde antwoordmogelijkheden te hebben. Zo blijkt
men ja, tevreden en waar te prefereren boven neen, ontevreden en onwaar. Goede meetinstrumenten zijn
daarop getest en aangepast. Een bijzondere vorm van antwoordtendentie is de sociale wenselijkheid. Daarmee
wordt bedoeld dat respondenten antwoorden geven waarvan ze denken dat deze verwacht worden door de
onderzoeker, omdat dat zo hoort. Meetinstrumenten moeten daar dus tegen bestand zijn omdat het anders de
validiteit aantast.
Als een meting niet betrouwbaar is, zijn de bevindingen niet bruikbaar en is er per definitie geen sprake van
validiteit. Zijn de metingen wel betrouwbaar maar niet valide, dan kampt de onderzoeker met eenzelfde
probleem. Ook nu is het doel niet bereikt.
De belangrijkste vormen van validiteit zijn inhoudsvaliditeit, de criteriumvaliditeit en de constructvaliditeit.
Bij inhoudsvaliditeit gaat het om de vraag of de indicatoren inderdaad het begrip representeren. Het
instrument wordt daarbij voorgelegd aan deskundigen. Deze vorm wordt soms facevaliditeit genoemd
(geldigheid op het eerste gezicht).
Bij criteriumvaliditeit wordt het instrument vergeleken met een extern criterium, namelijk soortgelijke
instrumenten of er wordt gekeken of voorspellingen, die op basis van de meting gedaan zijn, ook uitkomen. Het
probleem hierbij is dat er niet altijd een geschikt criterium is.
Bij construct- of begripsvaliditeit wordt uitgegaan van de theoretische samenhang van het verschijnsel met
andere verschijnselen. Het komt erop neer dat de theorie die ten grondslag ligt aan de test gecontroleerd
wordt.
De begrippen betrouwbaarheid en validiteit worden vooral gebruikt bij kwantitatief onderzoek. Bij
participerende observatie en bij ander kwalitatief onderzoek zijn andere technieken nodig dan het gebruiken
van meetschalen. Ook bij kwalitatief onderzoek zal aan de eisen van betrouwbaarheid en validiteit voldaan
moeten worden. In dit verband wordt gesproken over de objectiviteit van het onderzoek. Hieronder verstaan
we het streven naar zoveel mogelijk recht doen aan het object van de studie. Dat wil zeggen om enerzijds het
object van de studie te ‘laten spreken’ en anderzijds het niet te vertekenen. Het is een regulatief principe,
omdat men nooit volledig objectief kan zijn. De vraag of voldoende recht gedaan is aan het object van het
onderzoek blijft dus altijd spelen. Deze vraag probeert de onderzoeker onder meer te beantwoorden door het
,toepassen van triangulatie. De principes van triangulatie komen neer op het verzamelen en analyseren van de
gegevens door verschillende onderzoekers, het gebruik maken van verschillende bronnen en het herhalen van
het onderzoek in verschillende situaties. Belangrijk hierbij is vooral het betrekken van verscheidene
onderzoekers bij het proces van dataverzameling en -analyse. In dat geval gaat het onder andere om de
interbeoordelaarbetrouwbaarheid. Ditzelfde probleem speelt ook bij systematische observaties. Afhankelijk
van het soort meting wordt hierbij gebruik gemaakt van correlatiecoëfficiënten of van de methode volgens
Cohen.
HOOFDSTUK 10 WAAROP HEBBEN DE GEGEVENS BETREKKING?
10.1 HOE ZIJN DE ONDERZOEKSEENHEDEN GESELECTEERD?
Bij het selecteren van de onderzoekseenheden staat wederom het onderzoeksprobleem centraal. Afhankelijk
van wat met het onderzoek beoogd wordt, zal de onderzoeker de onderzoekseenheden vaststellen. Het gaat
hier om de keuze van de steekproef. Het type steekproef dat gekozen is bepaalt de reikwijdte van de conclusie
die uiteindelijk getrokken kan worden.
De representatieve steekproef is een steekproef uit de totale populatie waarvan aangenomen wordt dat de
gegevens die eraan ontleend worden, geschikt zijn om uitspraken te doen over die populatie. Het bepalen van
de representatieve steekproef kan op verschillende wijzen plaatsvinden, bijvoorbeeld door een systematische
steekproef te doen. Bij een dergelijke steekpoef wordt een deel uit het hele materiaal genomen door telkens
via een vast systeem onderzoekseenheden te kiezen. Ongewenste selectie is hierbij niet uitgesloten. Het is
daarom beter om een gerandomiseerde steekproef te nemen. Hierbij wordt er bij toeval bepaald wie wel en
niet meedoen aan het onderzoek, waardoor iedereen evenveel kans heeft op deelname. De beste manier om
een representatieve steekproef te verkrijgen is dus om deze aselect samen te stellen. In de praktijk blijkt dit
alleen niet altijd mogelijk te zijn, omdat de omstandigheden dit niet toelaten. Dit geldt bijvoorbeeld voor de
gelegenheidssteekproef (convenience sample) ook wel accidentale sampling genoemd. Hierbij worden
bijvoorbeeld patiënten gevraagd die op het moment van onderzoek in het ziekenhuis liggen. In zekere zin is ook
hier sprake van een toevalsfactor bij de selectie, maar niet in de betekenis van een echt gerandomiseerde
opzet waarbij iedereen uit de doelpopulatie veneveel kans heeft op deelname.
Bij de gestratificeerde steekproef worden eerst subpopulaties onderscheiden en dan per deel een aantal
onderzoekseenheden at random geselecteerd. Die subpopulaties zijn dan de strata. Via één of meer strata
‘bereikt’ de onderzoeker de respondenten. Het vaststellen van strata wordt stratificeren genoemd.
We zien regelmatig dat de onderzoekers nagaan of bepaalde kenmerken zoals geslacht, leeftijd en opleiding in
de uiteindelijke steekproef net zo vertegenwoordigd zijn als in de totale populatie waarop het onderzoek
betrekking heeft. Dat is echter alleen zinvol als die kenmerken ook inderdaad samenhangen met datgene wat
onderzocht wordt. Achteraf nagaan of een steekproef representatief is, blijft dus een arbitraire zaak.
Belangrijker is dat de onderzoeker bij het trekken van de conclusies rekening houdt met het type steekproef.
Wil een onderzoeker een uitspraak doen over een populatie, dan zal hij/zij een representatieve steekproef uit
die populatie moeten trekken. Wil de onderzoeker alleen het verband aantonen tussen twee variabelen hoeft
er geen representatieve steekproef gehouden te worden. Bij het beoordelen van een onderzoekspublicatie is
het van belang om na te gaan of de steekproef geschikt is om het onderzoeksprobleem op te lossen.
Representativiteit kan daar een rol bij spelen maar dit hoeft niet altijd.
Het bepalen van de steekproef gebeurt aan de hand van een door de onderzoeker vastgestelde procedure.
Daarin wordt nauwkeurig vastgelegd wie wel en niet deelnemen aan het onderzoek. In dit verband wordt
gesproken over de inclusie- en exclusiecriteria. De inclusiecriteria geven aan wie deel uitmaken van de
onderzoekspopulatie. De exclusiecriteria geven aan welke uitzondering daarop gelden.
De omvang van de steekproef is met name van belang in verband met het uitvoeren van statistische toetsen.
Deze stellen namelijk eisen aan het aantal. Als vuistregel wordt soms gehanteerd dat het kwadraat van de
variabelen minimaal nodig is om geen problemen met de statistische analyse te krijgen. Uiteraard wil dit niet
zeggen dat bij twee variabelen vier respondenten voldoende is. Ook gaat deze vuistregel niet altijd op. Bij de
toepassing van multivariate analyses moet de steekproef namelijk tien keer het aantal variabelen + 50 zijn. Is
het aantal respondenten te klein, dan is van tevoren veelal vast te stellen dat statistisch significante verschillen
niet kunnen optreden. Soms wordt er daarom gebruik gemaakt van poweranalyse om de grootte van de
steekproef t bepalen. Dit is een statistische techniek waarmee vastgesteld kan worden hoe groot de groepen
moeten zijn om enige garantie te hebben dat de verschillen tussen de groepen ook statistisch significant
, kunnen worden. Voor het doen van uitspraken over populaties is de omvang van de steekproef afhankelijk van
de grootte van de totale populatie.
Bij kwalitatief onderzoek wordt de omvang van de steekproef soms bepaald aan de hand van de informatie die
een interview oplevert. De onderzoeker sluit de gegevensverzameling af als verzadiging opgetreden is. Een
bijzondere omvang heeft het n=1 onderzoek. Hierbij heeft alle materiaal betrekking op één respondent.
Een misverstand is de opvatting dat hoe groter de steekproef is, hoe meer waarde aan de conclusies gehecht
kan worden. Uitgaande van de eisen van doelmatigheid dient een steekproef zelfs zo klein mogelijk te zijn. De
conclusies worden bij een te grote steekproef niet (of nauwelijks) harder, maar het onderzoek wordt wel
duurder.
10.2 RESPONS EN NON-RESPONS
De steekproef bestaat in feite uit twee aantallen. De omvang ervan die de onderzoeker voor ogen heeft en het
aantal respondenten dat uiteindelijk meewerkt aan het onderzoek. Het verschil tussen beide is de zogenaamde
non-respons. Dit geeft het aantal benaderde onderzoekseenheden aan dat niet deelneemt aan het onderzoek.
De respons wordt meestal uitgedrukt in een percentage.
Bij het beoordelen van onderzoek is het belangrijk om na te gaan hoe de respons is en of eventueel bekend is
of de non-respons selectief is. Dat wil zeggen of degenen die niet aan het onderzoek deelnemen op het aantal
(relevante) kenmerken verschillen van degenen die wel aan het onderzoek deelnemen. Het vergelijken van
bepaalde kenmerken zoals geslacht of leeftijd van de deelnemers met de totale populatie om na te gaan of de
steekproef representatief is voor die populatie, heeft uiteraard alleen dan zin, wanneer die kenmerken ook
samenhangen met datgene wat onderzocht wordt.
Een andere vorm van non-respons is de zogenaamde item-non-respons of partiële non-respons. Dit wil zeggen
dat van degenen die aan het onderzoek deelnemen niet alle gegevens bekend zijn. In zo’n geval kan het
voorkomen dat het aantal respondenten in de tabellen niet overeenkomt met het totale aantal respondenten.
De onderzoeker geeft dat aan als missing values.
HOOFDSTUK 11 WELKE CONCLUSIES LATEN DE GEGEVENS TOE?
11.1 HOEVEEL CONCESSIES HEEFT DE ONDERZOEKER GEDAAN?
Onderzoek begint met een onderzoeksprobleem. Vervolgens wordt er een onderzoeksplan opgesteld om het
probleem op te lossen. Het onderzoeksdesign geeft in zekere mate een ideaalbeeld weer. De onderzoeker
hoopt het onderzoek volgens plan uit te voeren. In de praktijk blijkt dat dit niet altijd helemaal lukt. Het
beoogde aantal respondenten blijkt minder, de betrouwbaarheid van een meetinstrument laat te wensen over,
of iets anders blijkt achteraf niet gegaan zoals bedoeld was. Het design wordt daarom wel het onderzoek (of de
datamatrix) zoals bedoeld genoemd. Na operationalisering gaat het dan om het design zoals bepaald. De
uiteindelijke gegevens zijn het onderzoek (of de datamatrix) zoals bereikt. Het spreekt voor zich dat de
conclusies volgen uit de bevindingen van het onderzoek zoals bereikt. Dit kan in het ongunstige geval
betekenen dat de onderzoeker niet in staat is het onderzoeksprobleem te beantwoorden. Bij het beoordelen
van onderzoekspublicaties zal men dit niet gauw aantreffen, omdat in dat geval veelal van publicatie afgezien
wordt. In de discussie van het onderzoek worden meestal opmerkingen geplaatst over de beperkingen van het
onderzoek. De onderzoeker geeft daar in feite aan of er verschil is in het onderzoek zoals bedoeld, bepaald en
bereikt en wat de consequenties daarvan zijn voor de conclusie.
11.2 ZIT HET ONDERZOEK DEGELIJK IN ELKAAR?
De vraag of de onderzoeker terecht conclusies trekt wordt in vaktaal aangeduid met de interne validiteit. De
vraag is dan of de conclusie, bijvoorbeeld de samenhang tussen twee variabelen, inderdaad terecht
aangetoond is. Mogelijk is sprake van schijnsamenhang.
Over het algemeen is de interne validiteit de grootste zorg van de onderzoeker. Hoe beter de interne validiteit
is, hoe minder kritiek op het onderzoek mogelijk is. De interne validiteit kan door veel factoren bedreigd
worden. In grote lijnen zijn deze onder te verdelen in drie groepen: selectiebias, informatiebias en
confounding.
