Artikelen (reader): Effectiviteit van het onderwijs & LLL
Creemers, B.P.M. (2007). Educational effectiveness and improvement: The development of the
field in mainland Europe
Pagina: 2
Scheerens J., & Bosker, R.J. (1997). Size, stability and consistency of school effects
Pagina: 6
Dellen, T. van (2013). Towards a social responsibility theory for educational research
Pagina: 12
Zeelen, J.J.M. (1994). Handelingsonderzoek en programma-evaluatie
Pagina: 19
Trinder, L. (2000). A critical appraisal of evidence-based practice
Pagina: 22
,2
Creemers, B.P.M. (2007). Educational effectiveness and improvement:
The development of the field in mainland Europe
Inleiding
Het onderwijseffectiviteitsonderzoek heeft niet als doel nieuwe dingen te ontdekken of
programma’s te ontwikkelen. Het wil juist conclusies trekken op basis van wat er nu in de
praktijk gebeurt. Men wil hier vanuit theorieën ontwikkelen en verklaringen geven.
Het onderwijseffectiviteitsonderzoek is ontstaan vanuit de onderzoeken van Coleman en
Jencks, die vooral tot pessimisme stemden. Naast de kritiek die men qua methode had op
Coleman, wilde men ook gaan bewijzen dat sommige scholen juist wel beter of slechter
presteren dan verwacht op basis van leerlingkenmerken. Er kwam veel onderzoek naar factoren
op het niveau van de school en klas, die correleerden met uitkomsten. Op basis hiervan werden
schoolvernieuwingsprogramma’s opgezet. Dit heeft ook geleid tot het vijf factoren model van
Edmonds.
In het VK begon het onderwijseffectiviteitsonderzoek met de studie van Rutter, die vond
dat bepaalde factoren niet samenhingen met effectiviteit en andere factoren wel:
Wel samenhang met effectiviteit Geen effect op effectiviteit
Balans van kinderen met hoog/laag IQ Grootte van de klas
Beloningssysteem Grootte van de school
Schoolklimaat/-omgeving (environment) Leeftijd schoolgebouw
Verantwoordelijkheden voor leerlingen Grootte van het schoolgebouw
Huiswerk
Bepaalde schoolse doelen hebben
Leerkracht als positief rolmodel
Klassenmanagement
Sterk en democratisch leiderschap
Verder werden in Brits onderzoek meerdere uitkomstmaten meegenomen, denk aan de mate
van spijbelen/gedragsproblematiek. Hieruit bleek dat scholen wel vrij consistent effectief waren
over verschillende uitkomstmaten.
Daarnaast had je de zogenaamde Reynolds studies die gebruik maakten van
gedetailleerde observaties. Ook hieruit bleken een groot aantal factoren die in verband konden
worden gebracht met effectiviteit:
The early stages of SESI in Europe
Waar men in de VS en het VK al aan onderwijs-/schooleffectiviteitsonderzoek deed, kwam dat in
Europa pas vanaf de jaren ’80 mondjesmaat op gang. Soms was het onderzoek naar effectiviteit
van scholen ingebed in onderzoek naar effectieve leerkrachten, leerkrachtgedrag en ander
onderzoek op het niveau van de klas. Het onderzoek in Europa werd sterk beïnvloed door het
onderzoek uit de VS. Dit zie je ook terug aan het eerste Nederlandse rapport dat tijdens een
eerste internationaal congres werd gepubliceerd.
Vanaf de jaren ’80 werd er steeds meer onderzoek verricht naar kenmerken van de
school en het verband daarvan met uitkomsten van leerlingen. Het eerste gerepliceerde
onderzoek vanuit Amerika in NL concludeerde dat de gebruikte vragenlijsten niet geschikt
waren voor de NL’se situatie, omdat er van de factoren van Edmond’s slechts eentje
betrouwbaar gemeten kon worden. Dit was de ordelijke sfeer, die ook als enige samenhing met
de prestaties.
Een andere studie keek naar leiderschap (directeur) in het basisonderwijs en de relatie
daarvan met uitkomsten. Conclusie was dat het verband niet bestond dan wel negatief was en
,3
zeker niet lineair. Volgens de onderzoeker in kwestie komt dat omdat de resultaten van
kinderen invloed hebben op hun directeur, en niet andersom. Met andere woorden: de directeur
reageert op uitkomsten en beïnvloedt ze niet per se.
Verder was er in NL ook aandacht voor statistische programma’s waarmee je multi level
analyses uit kunt voeren.
De conclusie van het eerste Nederlandse rapport over effectiviteit van onderwijs luidt
dat onderzoek naar wat effectiviteit veroorzaakt het meest belangrijke onderzoek is, maar dat het
onderzoek tot nu toe nog niet stabiel is. Studies kunnen verbeterd worden via de statistiek die ze
gebruiken, maar vooral ook via theorie-ontwikkeling en operationalisering van concepten. Het
ontbreekt het vijf factoren model aan een sterke basis. We kunnen niet verklaren waarom
variabelen op schoolniveau verschillen in prestaties veroorzaken, terwijl daar het lesgeven nog
tussen zit. Daarom zou er onderscheid moeten worden gemaakt in effectiviteit van instructie en
effectiviteit van scholen.
Het rapport geeft dus twee dingen duidelijk aan:
methodologisch en theoretisch gezien zijn verbeteringen nodig! Deze
twee zaken hebben het onderzoek vanaf de jaren ’90 gestuurd in NL.
Ook zag je dat er veel meer interesse kwam in onderwijseffectiviteits-
onderzoek onder NL’se academici. Op het tweede congres van ICSEI
waren zij namelijk in veel grotere getale betrokken.
In Duitsland bestond er niet zoiets als een onderzoeksveld dat alleen onderzoek doet naar
effectieve scholen (congres 2, 1989). Onderzoekers en beleidsmakers zijn er echter wel in
geïnteresseerd. Voor Duitsland gold alleen dat er andere kwesties hoger op de agenda stonden,
zoals werkeloosheid onder jongeren en multicultureel onderwijs. De problemen zouden echter
in de kern kunnen worden aangepakt door onderzoek te doen naar de effectiviteit van scholen,
aldus Aurin.
Na het tweede congres zag je in de NL’se publicaties duidelijk terug dat interesse in het
onderwijseffectiviteitsonderzoek was toegenomen. Er werd echter geen enkele studie
gepubliceerd over onderwijsverbetering. En ondanks dat er in beleid en praktijk wel iets met de
resultaten werd gedaan, zag je toch dat vooral in onderzoeksland de aandacht groeide.
Bovendien merkt Creemers op dat er ook in NL vanaf het begin af aan al aandacht was voor
methodologische issues en theorie-ontwikkeling.
Methodologisch: met intraklassen correlatie rho werden verschillen tussen scholen
geschat door rekening te houden met verschillen tussen leerlingen. Hieruit bleek dat verschillen
tussen scholen erg klein zijn, maar dat een aantal factoren op schoolniveau wel samenhangen
met verschillen (bijv. being a stimulated school). Een ander thema was de stabiliteit van
schooleffecten. Een laatste thema waarvoor aandacht was, was de rol van outliers in multi level
modellen.
Theoretisch: Scheerens en Creemers hadden een uitgebreid model gemaakt waarbij
zowel naar factoren op het niveau van de school als op het niveau van de klas werden
meegenomen.
Twee andere landen die terugkomen in het tweede rapport zijn Zweden en
Hongarije. Hongarije gaat vrij diep in op transities in hun onderwijssysteem en
Zweden schrijft over longitudinaal onderzoek naar school ethos en sociaal klimaat.
Na de eerste twee internationale conferenties werd er besloten dat er niet elk jaar
een nationaal rapport meer hoefde te komen. Er kwam een journal over
schooleffectiviteit en –verbetering waarin resultaten gepubliceerd konden worden.
Af en toe worden nog wel nationale rapporten uitgebracht, waaruit blijkt dat de
interesse in dit gebied van onderzoek stabiel blijft. Er komen ook nieuwe landen bij,
zoals Wit-Rusland, Noorwegen, Frankrijk en Cyprus.
,4
Voor Noorwegen en Cyprus geldt dat het onderwijs wordt hervormd: van centraal naar
decentraal. Ook het curriculum wordt aangepakt. Het onderwijseffectiviteitsonderzoek zie je in
deze landen vooral terug doordat er wordt geëvalueerd hoe de hervormingen uitpakken.
Hiermee liggen onderwijseffectiviteits- en verbeteringsonderzoek eigenlijk niet ver meer van
elkaar af. Voor Noorwegen geldt verder dat ze vrij eenzijdig gericht zijn op het eigen beleid en
onderzoek: ze zullen niet gauw het internationale meenemen. Dit begint nu wel wat te
veranderen.
In Frankrijk is men meer geïnteresseerd in de leerkracht en beleid dan in het niveau van
de school. Voor hen geldt dat het onderwijsproces sterk afhankelijk is van de leerlingpopulatie,
wat pleit voor het doen van onderwijseffectiviteitsonderzoek met gestandaardiseerde testen.
België is de grote afwezige, maar na 1996 starten er publicaties over het LOSO cohort
(zie digitale artikelen).
Europese landen verschillen dus in hun onderwijseffectiviteits- en verbeterings-
onderzoek. Nederland ging vrij snel mee met de grote landen (VS en VK) en had interesse in
methodologische en theoretische kwesties, terwijl in andere landen men vooral keek naar
hervormingen binnen het eigen systeem. Voor Nederland en België geldt weer meer dat het
onderzoek vooraf is gegaan aan hervormingen. Interesse van sommige landen komt en gaat ook
weer, maar in Nederland, België en op Cyprus is de interesse vrij stabiel te noemen.
(some) results of SESI in Europe
Het is erg lastig een beschrijving te geven van het Europese onderzoek, omdat de onderwijs-
onderzoeks- en verbeteringsprocessen onafhankelijk van elkaar zijn verlopen. Landen hebben
eigen onderzoeksprogramma’s. Bepaalde onderwerpen van onderzoek krijgen niet in elk land op
het zelfde moment aandacht. In het vervolg zal echter wel afstand worden genomen van tijd en
land, om zo een algemeen beeld te geven van een aantal thema’s.
Methodology of educational effectiveness research
Er zijn verschillende onderzoeken gedaan naar de stabiliteit en effectiviteit van school(effecten).
Verschillen tussen en vakken en leerjaren binnen scholen bleken groter dan verschillen tussen
scholen. Er is ook bewijs voor differentiële schooleffecten. Daarnaast is gebleken dat er naast
typisch kenmerken van effectief lesgeven ook differentiële leerkrachteffecten zijn die in verband
kunnen worden gebracht met kenmerken van de school. Leerkrachten binnen een school zijn
niet even goed in het verbeteren van de prestaties van hun leerlingen. Beleid of kenmerken van
de school kunnen alleen werken voor een bepaald geslacht of voor een bepaalde groep/leerjaar.
Antecedente effecten (kenmerken van de leerlingen) zijn belangrijker dan indirecte
effecten als het gaat om de fit in multi level modellen.
Onderzoekers dragen verschillende manieren aan om schooleffecten te meten, aangezien
verschillen tussen scholen altijd klein lijken als je ook weet wat de verschillen tussen leerlingen
zijn. Daardoor zouden de effecten van scholen onderschat kunnen worden.
In de toekomst hebben we nog betere en complexere modellen nodig en is het ook
interessant om op zoek te gaan naar een soort
breekpunt: wanneer de effectiviteit van een
kenmerk verdwijnt. Curvi lineaire en systeem-
dynamische modellen zijn nodig.
Correlates of educational effectiveness
In NL zijn tussen 1985-1995 een aantal studies
gedaan die keken naar van welke factoren uit de
literatuur blijkt dat ze positief/negatief van
invloed zijn op onderwijsuitkomsten. Er werd
onderscheid gemaakt tussen BO en VO, waarbij
studies naar het BO in de meerderheid waren.
De variantie tussen scholen zegt iets over het
belang van de scholen. Voor NL geldt dat die in
, 5
het BO 9% is en in het VO 13%. In dit soort onderzoeken zijn klas- en schooleffecten niet los
onderzocht, maar er is evidentie voor de bepalendere rol van het niveau van de klas.
In Nederland is wel een gecontroleerd experimenteel onderzoek gedaan waardoor het
niveau van de klas kon worden vergeleken met het niveau van de school. Hieruit bleek ook dat
instructie en gedrag van de leerkracht vooral belangrijk zijn voor prestaties. Uit meta-analyses
blijkt hetzelfde, al zijn die vaak iets pessimistischer dan meer kwalitatieve literatuurstudies. Op
schoolniveau hebben zaken als monitoring en evaluatie, ouderbetrokkenheid en klimaat kleine
effecten.
Uit het Vlaamse onderzoek naar het LOSO cohort komen de volgende bevindingen:
Leerling-, klas- en schoolkenmerken die van invloed zijn op prestaties worden
teruggevonden
Wanneer je een kind qua achtergrond zou typeren in termen van IQ, eerdere prestaties
en gezinsachtergrond, dan hebben leerlingen met een sterke achtergrond een sterkere
gevoeligheid voor het onderwijs
Wanneer je een kind qua achtergrond zou typeren in termen van motivatie, dan hebben
kinderen met lage motivatie in combinatie met lage SES de sterkste gevoeligheid voor
het onderwijs
Configuraties van kenmerken op het niveau van de school en klas die variantie in
prestaties van leerlingen verklaren
Wat je bestempelt als een effectieve school, is afhankelijk van of je cognitieve of niet
cognitieve criteria hanteert. Zo is een effectieve school met het oog op cognitieve doelen
te kenmerken als ordelijk, met een positief klimaat en gericht op prestaties. In scholen
waarin met effectief is m.b.t. niet cognitieve doelen, zie je dat tutoring goed is ontwikkeld
en men focust op learning to learn.
Waarom/hoe factoren op schoolniveau invloed hebben op leerlinguitkomsten, is niet altijd even
duidelijk. Als gevolg van observaties is men wel tot een aantal verklaringen gekomen:
Kenmerken van de school hebben direct of indirect invloed
Kenmerken van de school zijn een reactie op bepaalde leerlinguitkomsten
Hoe kenmerken van een school geïmplementeerd zijn is belangrijker dan het kenmerk op zich
Modelling educational effectiveness and the empirical evidence
Er was binnen het onderwijseffectiviteitsonderzoek vanaf het begin af aan aandacht voor het
ontwikkelen van theorieën of modellen die een verklaring zouden kunnen bieden voor gevonden
verschillen tussen scholen. In de jaren ’90 waren er twee modellen, namelijk van Scheerens en
van Creemers:
Scheerens: het model van Scheerens benadrukte organisationele kenmerken in relatie
tot wat er gebeurt in de klas
Creemers: gaat uit van het niveau van instructie (in de klas)
Al deze en daarop volgende modellen gaan uit van een multi level structuur waarin scholen
ingebed zijn in context, klassen ingebed zijn in scholen en leerlingen ingebed zijn in klassen/
leerkrachten. Uit onderzoek naar validiteit van dit soort modellen blijkt altijd dat alle niveaus
van invloed zijn op leerlingprestaties. Onderwijseffectiviteitsmodellen moeten daarom uit
meerdere niveaus worden opgebouwd. Relaties tussen niveaus zijn complex: er kunnen
interactie-effecten zijn. Dit alles vraagt om gedifferentieerder onderzoek, het opnemen van meer
achtergrondkenmerken van leerlingen en het nemen van een bredere set aan uitkomstmaten.
School improvement and evaluation studies
Het schoolverbeteringsdeel binnen ICSEI is vooral interessant voor beleid en praktijk. Vooral in
tijden van onderwijshervorming was dit type onderzoek interessant. Soms trad er spanning op
tussen onderzoek naar effectiviteit van onderwijs en onderzoek naar verbetering daarvan. Het
onderzoek dat hierover is geschreven concludeert dat beide samen moeten werken:
Empirisch gevalideerde kennis moet gebruik worden voor het verbeteren van de
praktijk
