Inhoud
Hoofdstuk 4: Onderzoeksethiek ............................................................................................................. 3
Hoofdstuk 6: Steekproeftrekkingen ....................................................................................................... 4
Hoofdstuk 7: Instrumentatie .................................................................................................................. 7
Hoofdstuk 8: Validiteit en Betrouwbaarheid ........................................................................................ 10
Hoofdstuk 9: Interne validiteit ............................................................................................................. 13
Hoofdstuk 13: Experimenteel onderzoek ............................................................................................. 16
Hoofdstuk 14: Single subject onderzoek .............................................................................................. 22
Hoofdstuk 15: Correlationeel onderzoek ............................................................................................. 27
Hoofdstuk 16: Causaal-vergelijkend onderzoek ................................................................................... 33
Hoofdstuk 17: Survey onderzoek ......................................................................................................... 36
Hoofdstuk 18: Kwalitatief onderzoek ................................................................................................... 40
Hoofdstuk 21: Etnografisch onderzoek ................................................................................................ 44
Hoofdstuk 22: Historisch onderzoek .................................................................................................... 48
Hoofdstuk 23: Gemengde methoden onderzoek ................................................................................. 51
1
, 1 Opfrissen basiskennis methodologie en onderzoeksethiek
‘HOW TO DESIGN AND EVALUATE RESEARCH IN EDUCATION’ - HOOFDSTUKKEN 4, 6, 7 EN 8
Korte terugblik (zie ook samenvatting van de bekend veronderstelde stof)
Waarom methodologie?
1. Doorprikken van prietpraat, valse intuïtie en zogenaamde autoriteit
2. Wetenschappelijk geschoolde levenslang lerende professional: zin en onzin kunnen scheiden.
3. Zelfstandig uitvoeren van onderzoek, want dan ken je de ins en outs.
De empirische cylclus
A.D. (Adriaan) de Groot: oprichter van het Cito, hield zich bezig met schaakdenken. Schreef het boek
‘methodologie’ waarin hij kwam met de empirische cyclus:
1. Ik doe een observatie.
2. Ik ontwerp een theorie.
3. Ik doe een voorspelling.
4. Ik toets dit in een experiment.
5. Ik evalueer of mijn voorspelling klopt.
Van stap 1 naar 2, daar is geen wetenschappelijke
methode voor. Van stap 3 naar 4 wel, dat is de
wetenschappelijke methode: een propositie/bewering
wordt aan een empirische toets onderworpen. Het
basisprincipe van de wetenschappelijke methode is dat
je beweringen moet kunnen weerleggen. Kennis is pas
kennis als het aan de wetenschappelijke methode is
blootgelegd (hypothese toetsing, empirisch onderzoek).
Soorten wetenschappelijk ‘bewijs’
− Praktijkkennis (bv. actieonderzoek).
− Kennis o.b.v. case studies, let op: alleen waardevol bij 2 cases (want je wilt vergelijken!).
− Kennis o.b.v. correlationele studies (verbanden tussen variabelen ontdekken).
− Kennis o.b.v. quasi-experimentele studies: niet echt een experimentele studie, men mag zich
zelf toewijzen aan de experimentele of controle groep.
− Kennis o.b.v. experimentele studies (bv. randomized control trials).
− Kennis o.b.v. reviews en statistische meta-analyses: top van de halve piramide (zie
hieronder).
− Accumulatie van wetenschappelijke kennis
2
,Hoofdstuk 4: Onderzoeksethiek
De term ethiek verwijst naar vragen van goed en kwaad. Wanneer onderzoekers nadenken over
ethiek, moeten ze zich afvragen of het 'juist' is om een bepaald onderzoek uit te voeren of
bepaalde procedures uit te voeren. Het is een fundamentele verantwoordelijkheid van elke
onderzoeker om alles in het werk te stellen om ervoor te zorgen dat deelnemers aan een
onderzoek worden beschermd tegen fysieke of psychologische schade, ongemak of gevaar dat
kan ontstaan als gevolg van onderzoeksprocedures.
Ethische commissie
− Schade aan participanten? → Zorgen dat de controlegroep de standaardsituatie krijgt of
beter, zodat niemand schade oploopt door bijvoorbeeld een slechte methode.
− Actieve/passieve toestemming ouders/kinderen?
− Vertrouwelijke gegevens (o.a. anonieme verwerking van data, resultaten niet herleidbaar tot
individuen).
− Protocol dataverzameling en dataopslag.
De regulering die het meest van invloed is op onderzoekers is de National Research Act van 1974.
Het vereist dat alle onderzoeksinstellingen die federale fondsen ontvangen, zogenaamde
institutionele beoordelingsraden (IRB's) instellen om onderzoeksprojecten te beoordelen en goed
te keuren. Het federale agentschap dat de hoofdverantwoordelijkheid heeft voor het opstellen
van de richtlijnen voor onderzoek waarbij mensen betrokken zijn, is het Department of Health and
Human Services (HHS). Bij instellingen die federale financiering ontvangen, zijn onderzoekers
verplicht om een online onderzoekstraining te volgen die wordt beheerd door de National
Institutes of Health (NIH) of de Collaborative Institutional Training Initiative (CITI).
Nog meer ethische vragen:
− Wanneer mag je participanten misleiden? Kunst van het onderzoek is dubbelblind werken,
maar.. dan ga je dus mensen misleiden.
− In hoeverre kun je experimenteren in het onderwijs of in de jeugdzorg? Zorgen dat kinderen
niet slechter af zijn! Zie ook ‘schade aan participanten’.
Drie belangrijke ethische vragen over schade in een onderzoek zijn:
1. Kunnen mensen tijdens het onderzoek (fysiek of psychisch) worden geschaad?
2. Zo ja, zou het onderzoek op een andere manier kunnen worden uitgevoerd om erachter
te komen wat de onderzoeker wil weten?
3. Is de informatie die uit deze studie kan worden verkregen zo belangrijk dat deze
mogelijke schade voor de deelnemers rechtvaardigt?
Studies met kinderen als deelnemers bieden een aantal speciale problemen voor onderzoekers.
Daarom moeten de volgende specifieke richtlijnen worden overwogen:
1. Toestemming van de ouders of verzorgers is vereist voor minderjarige deelnemers.
2. Onderzoekers presenteren zich niet als diagnostici bij het rapporteren van resultaten aan
ouders, noch rapporteren zij informatie die door een kind in vertrouwen is gegeven.
3. Kinderen mogen nooit worden gedwongen tot deelname aan een onderzoek.
4. Elke vorm van vergoeding heeft geen invloed op de toepassing van ethische principes.
Plagiaat en fraude:
− Kopiëren van teksten van anderen of jezelf zonder correcte bronvermelding
− Manipuleren van onderzoeksgegevens
3
, Stanley Milgram: experiment waarbij sprake is van dubbelblindheid en misleiding.
In de beroemde Milgram-studie van gehoorzaamheid kregen proefpersonen de opdracht om
steeds zwaardere elektrische schokken te geven aan een ander (die ze niet konden zien zitten).
Wat ze niet wisten, was dat de persoon aan wie ze dachten dat ze de schokken toedienden, een
confederaat was van de experimentator en dat er eigenlijk geen schokken werden toegediend. De
afhankelijke variabele was het niveau van de shockpersonen die werden toegediend voordat ze
weigerden meer te toedienen. Veel mensen vonden de studie onethisch.
De huidige professionele richtlijnen zijn als volgt:
− Waar mogelijk moet een onderzoeker het onderzoek uitvoeren met methoden die geen
bedrog vereisen.
− Als er geen alternatieve methoden kunnen worden bedacht, moet de onderzoeker
bepalen of het gebruik van misleiding wordt gerechtvaardigd door de wetenschappelijke,
educatieve of toegepaste waarde van het toekomstige onderzoek.
− Als de deelnemers worden misleid, moet de onderzoeker ervoor zorgen dat ze zo snel
mogelijk voldoende uitleg krijgen.
Hoofdstuk 6: Steekproeftrekkingen
Een populatie refereert aan alle leden van een bepaalde groep. De eerste stap bij steekproeftrekking
is het helder definiëren van de populatie waarin men geïnteresseerd is. Bij (ortho)pedagogisch en
onderwijskundig onderzoek gaat het dan meestal om een groep van personen die bepaalde
eigenschappen heeft.
Doelpopulatie: bv. leerlingen die met tablets werken op de basisschool.
Toegankelijke populatie: bv. leerlingen die met tablets werken op basisscholen in Groningen.
Een steekproef in een onderzoek is de groep waarover informatie wordt verkregen. De grotere
groep waarop men hoopt de resultaten toe te passen, wordt de populatie genoemd. Een populatie
kan elke grootte kan hebben en zal ten minste één (en soms meerdere) eigenschap(pen) hebben
die hem van een andere populatie onderscheidt. Een groep kan zowel een steekproef in de ene
context als een populatie in een andere context zijn.
Helaas is de werkelijke populatie (de doelpopulatie genoemd) waarnaar een onderzoeker echt wil
generaliseren zelden beschikbaar. De populatie waartoe een onderzoeker in staat is te
generaliseren, is daarom de toegankelijke populatie. Hoe nauwer onderzoekers de populatie
definiëren, hoe meer ze besparen op tijd, moeite en (waarschijnlijk) geld, maar hoe meer ze de
generaliseerbaarheid beperken.
Het is belangrijk op te merken dat de werkelijke steekproef kan verschillen van de oorspronkelijk
geselecteerde steekproef, omdat sommige proefpersonen weigeren deel te nemen, sommige
proefpersonen uitvallen, gegevens verloren kunnen gaan en dergelijke.
Bij random sampling (aselecte steekproef) heeft een ieder vermoedelijk een gelijke kans om te
worden geselecteerd. De bedoeling is een representatieve steekproef uit de populatie selecteren.
Het basisidee is dat de geselecteerde groep individuen erg lijkt op de hele populatie.
Bij nonrandom sampling (selecte steekproef) heeft een ieder geen gelijke kans om te worden
geselecteerd, sommigen hebben zelfs geen enkele kans (bijvoorbeeld omdat ze niet aan alle
criteria om geselecteerd te worden voldoen). Een selecte steekproef wordt ook wel een
doelgerichte steekproef genoemd.
4
Hoofdstuk 4: Onderzoeksethiek ............................................................................................................. 3
Hoofdstuk 6: Steekproeftrekkingen ....................................................................................................... 4
Hoofdstuk 7: Instrumentatie .................................................................................................................. 7
Hoofdstuk 8: Validiteit en Betrouwbaarheid ........................................................................................ 10
Hoofdstuk 9: Interne validiteit ............................................................................................................. 13
Hoofdstuk 13: Experimenteel onderzoek ............................................................................................. 16
Hoofdstuk 14: Single subject onderzoek .............................................................................................. 22
Hoofdstuk 15: Correlationeel onderzoek ............................................................................................. 27
Hoofdstuk 16: Causaal-vergelijkend onderzoek ................................................................................... 33
Hoofdstuk 17: Survey onderzoek ......................................................................................................... 36
Hoofdstuk 18: Kwalitatief onderzoek ................................................................................................... 40
Hoofdstuk 21: Etnografisch onderzoek ................................................................................................ 44
Hoofdstuk 22: Historisch onderzoek .................................................................................................... 48
Hoofdstuk 23: Gemengde methoden onderzoek ................................................................................. 51
1
, 1 Opfrissen basiskennis methodologie en onderzoeksethiek
‘HOW TO DESIGN AND EVALUATE RESEARCH IN EDUCATION’ - HOOFDSTUKKEN 4, 6, 7 EN 8
Korte terugblik (zie ook samenvatting van de bekend veronderstelde stof)
Waarom methodologie?
1. Doorprikken van prietpraat, valse intuïtie en zogenaamde autoriteit
2. Wetenschappelijk geschoolde levenslang lerende professional: zin en onzin kunnen scheiden.
3. Zelfstandig uitvoeren van onderzoek, want dan ken je de ins en outs.
De empirische cylclus
A.D. (Adriaan) de Groot: oprichter van het Cito, hield zich bezig met schaakdenken. Schreef het boek
‘methodologie’ waarin hij kwam met de empirische cyclus:
1. Ik doe een observatie.
2. Ik ontwerp een theorie.
3. Ik doe een voorspelling.
4. Ik toets dit in een experiment.
5. Ik evalueer of mijn voorspelling klopt.
Van stap 1 naar 2, daar is geen wetenschappelijke
methode voor. Van stap 3 naar 4 wel, dat is de
wetenschappelijke methode: een propositie/bewering
wordt aan een empirische toets onderworpen. Het
basisprincipe van de wetenschappelijke methode is dat
je beweringen moet kunnen weerleggen. Kennis is pas
kennis als het aan de wetenschappelijke methode is
blootgelegd (hypothese toetsing, empirisch onderzoek).
Soorten wetenschappelijk ‘bewijs’
− Praktijkkennis (bv. actieonderzoek).
− Kennis o.b.v. case studies, let op: alleen waardevol bij 2 cases (want je wilt vergelijken!).
− Kennis o.b.v. correlationele studies (verbanden tussen variabelen ontdekken).
− Kennis o.b.v. quasi-experimentele studies: niet echt een experimentele studie, men mag zich
zelf toewijzen aan de experimentele of controle groep.
− Kennis o.b.v. experimentele studies (bv. randomized control trials).
− Kennis o.b.v. reviews en statistische meta-analyses: top van de halve piramide (zie
hieronder).
− Accumulatie van wetenschappelijke kennis
2
,Hoofdstuk 4: Onderzoeksethiek
De term ethiek verwijst naar vragen van goed en kwaad. Wanneer onderzoekers nadenken over
ethiek, moeten ze zich afvragen of het 'juist' is om een bepaald onderzoek uit te voeren of
bepaalde procedures uit te voeren. Het is een fundamentele verantwoordelijkheid van elke
onderzoeker om alles in het werk te stellen om ervoor te zorgen dat deelnemers aan een
onderzoek worden beschermd tegen fysieke of psychologische schade, ongemak of gevaar dat
kan ontstaan als gevolg van onderzoeksprocedures.
Ethische commissie
− Schade aan participanten? → Zorgen dat de controlegroep de standaardsituatie krijgt of
beter, zodat niemand schade oploopt door bijvoorbeeld een slechte methode.
− Actieve/passieve toestemming ouders/kinderen?
− Vertrouwelijke gegevens (o.a. anonieme verwerking van data, resultaten niet herleidbaar tot
individuen).
− Protocol dataverzameling en dataopslag.
De regulering die het meest van invloed is op onderzoekers is de National Research Act van 1974.
Het vereist dat alle onderzoeksinstellingen die federale fondsen ontvangen, zogenaamde
institutionele beoordelingsraden (IRB's) instellen om onderzoeksprojecten te beoordelen en goed
te keuren. Het federale agentschap dat de hoofdverantwoordelijkheid heeft voor het opstellen
van de richtlijnen voor onderzoek waarbij mensen betrokken zijn, is het Department of Health and
Human Services (HHS). Bij instellingen die federale financiering ontvangen, zijn onderzoekers
verplicht om een online onderzoekstraining te volgen die wordt beheerd door de National
Institutes of Health (NIH) of de Collaborative Institutional Training Initiative (CITI).
Nog meer ethische vragen:
− Wanneer mag je participanten misleiden? Kunst van het onderzoek is dubbelblind werken,
maar.. dan ga je dus mensen misleiden.
− In hoeverre kun je experimenteren in het onderwijs of in de jeugdzorg? Zorgen dat kinderen
niet slechter af zijn! Zie ook ‘schade aan participanten’.
Drie belangrijke ethische vragen over schade in een onderzoek zijn:
1. Kunnen mensen tijdens het onderzoek (fysiek of psychisch) worden geschaad?
2. Zo ja, zou het onderzoek op een andere manier kunnen worden uitgevoerd om erachter
te komen wat de onderzoeker wil weten?
3. Is de informatie die uit deze studie kan worden verkregen zo belangrijk dat deze
mogelijke schade voor de deelnemers rechtvaardigt?
Studies met kinderen als deelnemers bieden een aantal speciale problemen voor onderzoekers.
Daarom moeten de volgende specifieke richtlijnen worden overwogen:
1. Toestemming van de ouders of verzorgers is vereist voor minderjarige deelnemers.
2. Onderzoekers presenteren zich niet als diagnostici bij het rapporteren van resultaten aan
ouders, noch rapporteren zij informatie die door een kind in vertrouwen is gegeven.
3. Kinderen mogen nooit worden gedwongen tot deelname aan een onderzoek.
4. Elke vorm van vergoeding heeft geen invloed op de toepassing van ethische principes.
Plagiaat en fraude:
− Kopiëren van teksten van anderen of jezelf zonder correcte bronvermelding
− Manipuleren van onderzoeksgegevens
3
, Stanley Milgram: experiment waarbij sprake is van dubbelblindheid en misleiding.
In de beroemde Milgram-studie van gehoorzaamheid kregen proefpersonen de opdracht om
steeds zwaardere elektrische schokken te geven aan een ander (die ze niet konden zien zitten).
Wat ze niet wisten, was dat de persoon aan wie ze dachten dat ze de schokken toedienden, een
confederaat was van de experimentator en dat er eigenlijk geen schokken werden toegediend. De
afhankelijke variabele was het niveau van de shockpersonen die werden toegediend voordat ze
weigerden meer te toedienen. Veel mensen vonden de studie onethisch.
De huidige professionele richtlijnen zijn als volgt:
− Waar mogelijk moet een onderzoeker het onderzoek uitvoeren met methoden die geen
bedrog vereisen.
− Als er geen alternatieve methoden kunnen worden bedacht, moet de onderzoeker
bepalen of het gebruik van misleiding wordt gerechtvaardigd door de wetenschappelijke,
educatieve of toegepaste waarde van het toekomstige onderzoek.
− Als de deelnemers worden misleid, moet de onderzoeker ervoor zorgen dat ze zo snel
mogelijk voldoende uitleg krijgen.
Hoofdstuk 6: Steekproeftrekkingen
Een populatie refereert aan alle leden van een bepaalde groep. De eerste stap bij steekproeftrekking
is het helder definiëren van de populatie waarin men geïnteresseerd is. Bij (ortho)pedagogisch en
onderwijskundig onderzoek gaat het dan meestal om een groep van personen die bepaalde
eigenschappen heeft.
Doelpopulatie: bv. leerlingen die met tablets werken op de basisschool.
Toegankelijke populatie: bv. leerlingen die met tablets werken op basisscholen in Groningen.
Een steekproef in een onderzoek is de groep waarover informatie wordt verkregen. De grotere
groep waarop men hoopt de resultaten toe te passen, wordt de populatie genoemd. Een populatie
kan elke grootte kan hebben en zal ten minste één (en soms meerdere) eigenschap(pen) hebben
die hem van een andere populatie onderscheidt. Een groep kan zowel een steekproef in de ene
context als een populatie in een andere context zijn.
Helaas is de werkelijke populatie (de doelpopulatie genoemd) waarnaar een onderzoeker echt wil
generaliseren zelden beschikbaar. De populatie waartoe een onderzoeker in staat is te
generaliseren, is daarom de toegankelijke populatie. Hoe nauwer onderzoekers de populatie
definiëren, hoe meer ze besparen op tijd, moeite en (waarschijnlijk) geld, maar hoe meer ze de
generaliseerbaarheid beperken.
Het is belangrijk op te merken dat de werkelijke steekproef kan verschillen van de oorspronkelijk
geselecteerde steekproef, omdat sommige proefpersonen weigeren deel te nemen, sommige
proefpersonen uitvallen, gegevens verloren kunnen gaan en dergelijke.
Bij random sampling (aselecte steekproef) heeft een ieder vermoedelijk een gelijke kans om te
worden geselecteerd. De bedoeling is een representatieve steekproef uit de populatie selecteren.
Het basisidee is dat de geselecteerde groep individuen erg lijkt op de hele populatie.
Bij nonrandom sampling (selecte steekproef) heeft een ieder geen gelijke kans om te worden
geselecteerd, sommigen hebben zelfs geen enkele kans (bijvoorbeeld omdat ze niet aan alle
criteria om geselecteerd te worden voldoen). Een selecte steekproef wordt ook wel een
doelgerichte steekproef genoemd.
4
