ONDERZOEKSPRACTICUM (DESIGNS)
Literatuur:
- How to design and evaluate research in education - Fraenkel, Wallen & Hyun
Hoorcollege 1: Basiskennis methodologie en onderzoeksethiek
- Hoofdstuk 4: ethiek
- Hoofdstuk 6: steekproeftrekken
- Hoofdstuk 7: instrumentatie
- Hoofdstuk 8: validiteit en betrouwbaarheid
Hoorcollege 2: Kwantitatieve onderzoeksdesigns
- Hoofdstuk 9: interne validiteit
- Hoofdstuk 15: correlationeel onderzoek
- Hoofdstuk 16: quasi-experimenteel onderzoek
Hoorcollege 3: Kwantitatieve onderzoeksdesigns
- Hoofdstuk 17: survey onderzoek
- Hoofdstuk 13: experimenteel onderzoek
- Hoofdstuk 14: single-subject onderzoek
Hoorcollege 4: Kwalitatieve onderzoeksdesigns, gemengde methoden onderzoek en casestudies
- Hoofdstuk 18: kwalitatief onderzoek
- Hoofdstuk 21: etnografisch onderzoek
- Hoofdstuk 22: historisch onderzoek
- Hoofdstuk 23: gemengde methoden onderzoek
+ Hoofdstuk 1, 2, 5 en 19
COLLEGE 1 - Ethiek, steekproeftrekken, instrumentatie en betrouwbaarheid
De onderzoeksvraag
De onderzoeksvraag is het startpunt van ieder onderzoek. Deze gaat vaak over een relatie tussen twee
dingen.
Waar moet een goede onderzoeksvraag aan voldoen?
- Open en helder geformuleerd > zo specifiek mogelijk, weinig verschillende interpretaties per
vraag, zonder vooroordeel, geen gesloten vragen, maar een vraag met meer nuance
- Haalbaar om te onderzoeken > dat betekent soms versmallen
- Zinvol om te onderzoeken > belangrijk bekend te zijn met het onderzoeksthema en weten wat
er al onderzocht is (soms komt het wel voor en dat is niet erg), voor wetenschap en praktijk
- Ethisch verantwoord
> Voorbeeld van onderzoeksvraag
Zorgt meer eigenaarschap voor betere leerprestaties?
> Gesloten vraag, beter: in hoeverre
> Specifiek maken over wie het gaat
> Helder formuleren: wat is eigenaarschap?
Alternatief:
In hoeverre is er een verschil in begrijpend leesprestaties tussen klas A (waar de leerkracht BL-
opdrachten uitkiest) en klas B (waar leerlingen BL-opdrachten uitkiezen)?
De empirische cyclus
,In dit vak is het deel van deductie naar toetsing het belangrijkst.
Soorten wetenschappelijk ‘bewijs’
- Praktijkkennis (bijv. actieonderzoek): Eén casus die onderzocht wordt en wat niet (of
weinig) toepasbaar is op andere praktijksituaties
- Kennis o.b.v. casestudies: Diepgaand onderzoek op bijvoorbeeld één kind of één school
- Kennis o.b.v. enquêtes/interviews: CBS, beschrijving van de situatie, vaak weinig causale
verbanden
- Kennis o.b.v. correlationele studies: Samenhang van twee dingen; twee data's leg je naast
elkaar en je probeert een link te vinden. Vaak is dit ook toeval.
- Kennis o.b.v. quasi-experimentele studies: Hierbij wordt gebruikt gemaakt van bestaande
groepen (i.v.m. ethiek)
- Kennis o.b.v. experimentele studies, zoals randomized control trials. Hierbij is een
controlegroep. Dit is niet altijd ethisch aanvaardbaar, daarom kiest men voor quasi-
experimentele studies met bestaande groepen.
- Kennis o.b.v. reviews en statistisch meta-analyses: De data die al bekend is wordt op een
rijtje gezet: wat is de stand van zaken van dit moment?
Accumulatie van wetenschappelijke kennis
Je begint ‘rustig’ bij een nieuw onderwerp.
Het is afhankelijk van de vraag die je stelt welk experiment erbij hoort: ‘zacht’ of ‘hard’.
Wanneer het gaat over heel specifieke doelgroepen, zul je bijvoorbeeld nooit een grote studie doen
met veel proefpersonen, omdat ze er simpelweg niet zijn. Dat betekent niet dat het niet nuttig is.
Onderzoeksethiek (hoofdstuk 4)
Nadenken over mogelijke schade aan participanten (‘do no harm’):
- Wanneer mag je participanten misleiden?
> Soms mag dat wel, als je goed vertelt waarom en zorgt voor de nazorg.
, - In hoeverre kun je experimenteren in het onderwijs of in de jeugdzorg?
> Dat hangt ervan af: hoe effectief is het onderwijs dat we nu krijgen? Als het niet goed gaat,
kun je iets vernieuwends aanbieden, maar wanneer ze het goed doen, is het nergens voor
nodig. Ook moet je vroegtijdig moeten kunnen afbreken wanneer kinderen er last van krijgen.
- In hoeverre kun je experimenteren met kleine en/of grote klassen?
> Je kunt niet zomaar kinderen verplaatsen tussen klassen van 10 en 30.
- In hoeverre kun je experimenteren met inclusie van leerlingen met beperkingen?
> Je kunt voor het onderzoek niet een kind op een andere school zetten; dat kan
veranderingen geven voor het leven.
Belangrijk bij dataverzameling: AVG/GDPR
- Geïnformeerde toestemming participanten/wettelijk vertegenwoordigers nodig. Je moet dus
eerst een duidelijke brief opstellen wat, wanneer en hoe ze gaan doen en die moet
ondertekend worden.
- Zorgvuldig omgaan met vertrouwelijke data:
o Data anonimiseren: namen vervangen door nummers in databestand
o Bij het rapporteren: resultaten zo opschrijven dat ze niet herleidbaar zijn tot
individuen
o Niet meer data verzamelen dan nodig. Het is verleidelijk om van alles ‘voor de
zekerheid’ toe te voegen, maar je moet alles kunnen verantwoorden wat je wilt weten.
o Data opslaan in beveiligde omgeving
Plagiaat en fraude
- Het kopiëren van teksten van anderen of jezelf
- Geen correcte bron vermelden
- Manipuleren van onderzoeksgegevens
Steekproeftrekken (hoofdstuk 6)
Een populatie refereert aan alle leden van een bepaalde groepen, zoals alle leerlingen in het
basisonderwijs, alle studenten PW in Nederland.
De eerste stap bij steekproeftrekking is het helder definiëren van de populatie waarin men
geïnteresseerd is. Bij pedagogisch en onderwijskundig onderzoek gaat het dan meestal om een groep
van personen die bepaalde eigenschappen heeft.
De doelpopulatie gaat bijvoorbeeld over alle leerlingen die met tablets werken op basisscholen. Maar
die populatie is zelden beschikbaar, dus dan kom je bij de toegankelijke populatie. Dat is
bijvoorbeeld alle leerlingen die met tablets werken op basisscholen in Groningen.
Drie selecte steekproeftrekkingen
Select = willekeurig
, - Convenience: Gemaksteekproef. Als je een vragenlijst opstelt, vraag je je familie/vrienden.
Uit wetenschappelijk oogpunt is dit niet de meest ideale vorm van steekproeftrekkingen.
- Purposive: Je benadert specifieke personen voor je onderzoek, omdat ze bijvoorbeeld expert
zijn.
- Systematic: Van elke 10 mensen op een rij, pak je telkens de eerste. Een systematische manier
waarbij je mensen niet kiest op basis van eigenschappen.
Vier aselecte steekproeftrekkingen
Aselect: niet willekeurig
- Simple random: Je hebt een grote groep en daarbij laat je de computer de groep trekken.
- Stratified random: Je weet dat je populatie bestaat uit 50% vrouwen en 50% mannen en je wil
dat dat bij je steekproef ook het geval is. Steekproef moet uit dezelfde verhouding als
populatie bestaan.
- Cluster random: Een hele groep scholen worden benaderd voor onderzoek. Dat is praktischer
dan binnen de school bepaalde kinderen wel en bepaalde kinderen niet mee te laten doen.
Two-stage random: random sample of clusters + random sample of individuals: Je kunt ook
eerst scholen kiezen en dan binnen bepaalde klassen kinderen kiezen.
Representatief?
Steekproefgrootte: hoe meer, hoe beter?
Vuistregels:
- 100 voor beschrijvend onderzoek
- 50 voor correlationeel onderzoek
- 30 per groep voor (quasi-)experimenteel onderzoek
,> Externe validiteit/generaliseerbaarheid: Het is belangrijk om in de steekproef na te gaan of de
proefpersonen een weerspiegeling zijn van de populatie. Zo probeer je te verantwoorden dat je
steekproef bestaat uit het type kinderen waarover je iets wilt vertellen.
Instrumentatie (hoofdstuk 7)
Instrumentatie gaat over het gehele proces ter voorbereiding op het verzamelen van data:
- Keuze meetinstrument
- Specificatie afnamecondities:
o Waar?
o Wanneer? > Welke periode van het jaar? / Welk tijdstip van de dag?
o Hoe vaak? > Eenmalig of vaker
o Door wie? > Getrainde testleider/leerkracht
Prestatietoetsen
= vorm van instrumentatie die veel gebruikt worden in ons vakgebied.
- Normgericht: score vergeleken met een normpopulatie. Iedere paar jaar wordt deze norm
weer bijgesteld. Bijvoorbeeld 75% van de groep 8-leerlingen in NL scoort beter.
- Criteriumgericht: score vergeleken met een gewenst beheersingsniveau. Bijvoorbeeld 80%
van de vragen goed beantwoord.
Gedragschecklist
Een leerkracht, groepsleider of ouder wordt geobserveerd, waarbij een checklist wordt ingevuld. Deze
geeft een goede eerste indruk, maar is wel erg subjectief.
Observatieschema
Aan het einde kan per categorie een percentage uitgerekend worden hoeveel het voorkomt. Het kost
wel veel tijd, maar geeft veel interessante informatie over gedrag. Hierbij speelt ook de voorkennis en
de normen over gewenst gedrag van de observator een rol.
,Attitudeschaal
= een vragenlijst waarbij naar meningen worden gevraagd.
Voorbeeld: Likertschaal
Het is wel een snelle manier om van veel mensen veel data te ontvangen.
Praktijktoets (‘performance test’)
Mensen moeten bepaalde vaardigheid in bepaalde tijd doen. Komt veel voor, maar in onze
onderzoeken minder.
Overig
- Vragenlijst
- Aanlegtest, zoals IQ-test
- Persoonlijkheidstest
- Sociogram: kinderen beschrijven elkaar
- Gedragsbeoordeling
- Productbeoordeling
- Interviewschema
- Naturalistische observatie: met een leeg blad beginnen met observeren
- Frequentiestaten: turven
- Anekdotische informatie
Validiteit en betrouwbaarheid (hoofdstuk 8 )
Twee centrale vragen:
- Is het instrument een juist argument?
- Is het instrument een goed argument?
Validiteit
Conclusies trekken die passend, zinvol, correct en bruikbaar zijn.
Geeft het instrument dat je kiest bruikbare informatie over datgene dat je wilt meten, gegeven je
onderzoeksvraag? Dus: Meet je wat je wilt meten?
Soorten validiteit
- Inhouds-gerelateerd: Wordt het domein voldoende gedekt (volgens experts)? Verschillende
experts wil je eigenlijk mee laten kijken bij je experiment.
- Criterium-gerelateerd: Komt de uitkomst overeen met die van andere instrumenten die
hetzelfde beogen te meten? > In vergelijking met andere instrumenten die hetzelfde beogen te
meten.
o Predictieve validiteit. Heeft het instrument een voorspellende waarde? Als je
taakgerichtheid zal meten in de klas, zal die een voorspellende waarde hebben voor
prestaties?
, o Concurrente validiteit. Hierbij gaat het wel om instrumenten die hetzelfde meten.
Bijvoorbeeld leerkracht en ouders willen een vragenlijst over zelfde onderwerp in. Je
hoopt dat er een samenhang tussen is.
- Construct-gerelateerd: Is dit instrument het meest passend in deze context?
Betrouwbaarheid
Een goed instrument geeft consistente resultaten. Maar imperfect meten leidt tot meetfouten.
De betrouwbaarheidscoëfficiënt is altijd tussen de 0 en 1. Er zijn verschillende methoden mogelijk die
betrouwbaarheid meten.
Betrouwbaarheid en validiteit
> Een test kan wel betrouwbaar zijn maar niet valide.
> Een test kan niet valide zijn als hij niet betrouwbaar is.
> Betrouwbaar is dus een (noodzakelijke maar niet voldoende) voorwaarde voor validiteit.
HOOFDSTUK 1 – The nature of research
Why research is of value
De wetenschappelijke methode biedt ons een andere manier om informatie te verkrijgen, informatie
die zo nauwkeurig en betrouwbaar is als we kunnen krijgen.
Ways of knowing
Sensory experience
Veel experimenten in zintuiglijke waarneming hebben aangetoond dat we niet altijd wijs zijn om
onze zintuigen te volledig te vertrouwen. Zintuiglijke kennis is niet afhankelijk, het is ook onvolledig.
Om betrouwbare kennis te verkrijgen, kunnen we daarom niet alleen op onze zintuigen vertrouwen,
maar moeten we controleren wat we denken te weten met andere bronnen.
Expert opinion
Het enige wat een expert doet, is ons een mening geven op basis van wat hij of zij weet, en hoe
moeilijk dit ook is, het is nooit alles wat er te weten valt.
Logic
We kennen dingen ook logisch. Ons intellect, ons vermogen om dingen te beredeneren, stelt ons in
staat om sensorische gegevens te gebruiken om een nieuw soort kennis te ontwikkelen.
Voorbeeld syllogisme:
• Alle mensen zijn sterfelijk.
• Sally is een mens.
• Daarom is Sally sterfelijk.
, Er is echter een fundamenteel gevaar in logisch redeneren: alleen wanneer de grote en kleine
premissen van een syllogisme beide waar zijn, is de conclusie gegarandeerd waar. Als een van de
premissen onjuist is, kan de conclusie al dan niet waar zijn.
The scientific method
De procedure van de wetenschappelijke methode kan worden teruggebracht tot vijf verschillende
stappen.
1. Er is een probleem, een soort verstoring in ons leven die de normale of wenselijke gang van
zaken verstoort.
2. Er worden stappen ondernomen om het probleem of de te beantwoorden vraag nauwkeuriger
te definiëren, om duidelijker te zijn wat het doel van het onderzoek precies is.
3. We proberen te achterhalen welke soorten informatie het probleem zouden oplossen.
4. We moeten, voor zover mogelijk, beslissen hoe we de informatie die we verkrijgen
organiseren.
5. Nadat de informatie is verzameld en geanalyseerd, moet deze worden geïnterpreteerd.
Hypothesen: verschillende mogelijke verklaringen voor een probleem of fenomeen. Deze kan in elke
fase van een onderzoek voorkomen.
De waarde van wetenschappelijk onderzoek is dat het kan worden gerepliceerd door iedereen die
hierin geïnteresseerd is.
Kortom, de essentie van al het onderzoek is ontstaan uit nieuwsgierigheid, een verlangen om uit te
vinden hoe en waarom dingen gebeuren, inclusief waarom mensen dingen doen die ze doen, en of
bepaalde manieren om dingen te doen beter werken dan andere.
Types of Research
De term onderzoek kan elke vorm van 'zorgvuldig, systematisch, geduldig onderzoek en onderzoek
op een bepaald kennisgebied' betekenen.
Fundamenteel onderzoek/basic research houdt zich bezig met het verhelderen van onderliggende
processen, waarbij de hypothese meestal wordt uitgedrukt als een theorie.
Toegepast onderzoek/applied research daarentegen is geïnteresseerd in het onderzoeken van de
effectiviteit van bepaalde onderwijspraktijken.
Quantitative and qualitative research
Kwantitatieve gegevens hebben voornamelijk betrekking op getallen, terwijl kwalitatieve gegevens
voornamelijk woorden bevatten. Kwantitatieve onderzoekers baseren hun werk meestal op de
overtuiging dat de wereld een enkele realiteit is die door zorgvuldige studie kan worden benaderd.
Kwalitatieve onderzoekers daarentegen gaan er waarschijnlijk van uit dat de wereld uit meerdere
realiteiten bestaat, sociaal geconstrueerd door verschillende individuele opvattingen over dezelfde
situatie.
Als het gaat om het doel van onderzoek, proberen kwantitatieve onderzoekers verbanden tussen
variabelen te leggen en de oorzaken van dergelijke verbanden te zoeken en soms uit te leggen.
Kwalitatieve onderzoekers daarentegen houden zich meer bezig met het begrijpen van situaties en
gebeurtenissen vanuit het gezichtspunt van de deelnemers.
Onderzoek met gemengde methoden (mixed-method): soms gebruiken onderzoekers zowel
kwalitatieve als kwantitatieve benaderingen in dezelfde studie.
Experimental research
Experimenteel onderzoek is de meest overtuigende wetenschappelijke methode. Omdat de
onderzoeker daadwerkelijk verschillende behandelingen vaststelt en vervolgens de effecten
