ASSESSMENT EN EVALUATIE
TOETSEN IN HET HOGER ONDERWIJS
INHOUDSOPGAVE
HOOFDSTUK 1: KWALITEITSPIRAMIDE VOOR TOETSEN EN
BEOORDELEN................................................................................3
Kwaliteitspiramide............................................................................................................................................... 3
Kwaliteitsborging................................................................................................................................................. 4
HOOFDSTUK 2: HET TOETSPROCES ONTLEED...................................6
De vier fasen in het toetsproces........................................................................................................................... 6
Stap 1: Waarom beoordelen en toetsen: het formuleren van de bedoeling(en).....................................................7
Stap 2: Het formuleren en concretseren van de doelen........................................................................................ 7
Stap 3: Het kiezen van de toetsvorm.................................................................................................................... 9
Stap 4: Het construeren en vooraf controleren van toetsvragen of toetstaken......................................................9
Stap 5: Het samenstellen van de toets................................................................................................................ 11
STAP 6: HET AFNEMEN VAN DE TOETS................................................................................................................ 11
STAP 7: HET NAKIJKEN VAN DE TOETS, INCLUSIEF EEN KWALITEITSCONTROLE....................................................11
STAPPEN 8 EN 9: ZAK/SLAAGGREND EN CIJFERS.................................................................................................12
Stappen 10 en 11: beslissen en rapporteren....................................................................................................... 12
HOOFDSTUK 3: HET METEN VAN TOETSKWALITEIT.........................14
Kwaliteitseisen aan toetsen................................................................................................................................ 14
Kwaliteit van een toets en toetsvragen............................................................................................................... 14
,Rechtvaardigheidseisen (kwaliteitseisen)........................................................................................................... 14
Psychometrische analyse: het berekenen van indicatoren..................................................................................16
Normwaarden voor de vraagmoeilijkheid........................................................................................................... 17
Onderscheidingsvermogen (Rit) en normwaarden.............................................................................................. 18
Betrouwbaarheid (Cronbachs alfa) en normwaarden.......................................................................................... 18
REparatemogelijkheden.................................................................................................................................... 19
Veel vragen verwijderen verlaagt de representatviteit......................................................................................20
4. KWALITEIT VAN TOETSPROGRAMMA’S.......................................21
Wat is een toetsprogramma?............................................................................................................................. 21
WAarom toetsprogramma’s?............................................................................................................................. 22
Ontwerp van toetsprogramma........................................................................................................................... 24
De kwaliteit van toetsprogramma’s.................................................................................................................... 25
Zelfevaluateeinstrument.................................................................................................................................... 27
Ten slote........................................................................................................................................................... 28
5. ONTWIKKELEN VAN TOETSBELEID.............................................29
De aandacht voor toetsbeleid............................................................................................................................ 29
Integraal toetsbeleid: een samenhangend stelsel...............................................................................................30
Toetsbeleid en kwaliteit van toetsing op de verschillende organisateniveaus.....................................................32
,HOOFDSTUK 1: KWALITEITSPIRAMIDE VOOR TOETSEN EN BEOORDELEN
De kwaliteitspiramide voor toetsen en beoordelen biedt de mogelijkheid om op een gestructureerde manier
kwaliteit van toetsen en beoordelen te beschrijven, te analyseren en te evalueren. Benadering kwaliteitsbegrip
richte richt vroeger vooral op de psychometrische analyse, tegenwoordig wordt er naar het gehele toetsproces
gekeken; context speelt een grote rol. Dus, om zicht te krijgen op de kwaliteit van toetsen en beoordelen, moet de
brede toetsomgeving in kaart gebracht worden. Dit doet de kwaliteitspiramide.
KWALITEITSPIRAMIDE
De kwaliteitspiramide bestaat uit de volgende vier lagen:
1. Beleid;
2. Toetsprogramma;
3. Toets- en beoordelingsinstrumenten;
4. Taken, opdrachten, items.
Kwaliteit van toetsing wordt behaald door een sterke samenhang
tussen de lagen. Dit betekent, bijvoorbeeld, dat als de visie
onduidelijk is, dit negateve gevolgen heef voor de kwaliteit van de
toets programma’s.
TOETSBELEID
De visie van de opleiding op toetsing
Daarvan de consequentes en mogelijkheden voor de uitwerking van toetsing
De uitgangspunten en kaders van een organisate met betrekking tot ontwerpen, ontwikkelen, afname,
rapportage en evaluate van toetsing worden in het toetsbeleid beschreven
o In het toetsbeleid staat uitgewerkt waarom een opleiding toetst, wie er betrokken is bij de toetsing, wanneer de toets
plaatsvindt, wat er wordt getoetst en wat de vormgeving van de toetsen is. In deze vormgeving kan technolo-gie een
belangrijke rol spelen
o In het toetsbeleid kan ook aandacht worden besteed aan de professionalisering van medewerkers ten aanzien van
toetsing: welke kennis en vaardigheden is aanwezig, welke is nodig en op welke manier wordt gestalte gegeven aan de
scholing?
Bijvoorbeeld: Als een school het belangrijk vindt dat de leerlingen niet enkel voor de toets leren, maar voor hun
professionele toekomst, zal dit invloed hebben op de wijze van toetsing en feedback.
TOETSPROGRAMMA
De kwaliteit van toetsprogramma’s.
Een toetsprogramma bestaat uit verschillende toetsvormen, welke samengesteld is op basis van doelen,
inhoud, opbouw en structuur van het curriculum, zoals vastgesteld staat in het toetsbeleid.
Een efectef en efcicnt toetsprogramma bestaat uit summateve en formateve toetsmomenten. Er wordt
gebruik gemaakt van een methodemix, zoals een combinate van meerkeuzetoetsen, casustoetsen,
zelfeoordeling en peer en performance assessment.
, Evaluate van de kwaliteit van een toetsprogramma richt zich minder op psychometrische aspecten, en steeds
meer op edumetrische aspecten. Een dergelijke edumetrische kwaliteitscriteria is dat een toetsprogramma
moet voldoen aan de eis van authentciteit; overeenkomst tussen toetsprogramma en opleidingsberoep.
TOETS- EN BEOORDELINGSINSTRUMENTEN
Alle mogelijke toetsvormen, inclusief de bijbehorende instructes voor studenten, antwoordmodellen en
scoringsvoorschrifen.
Bruikbaarheid, validiteit en betrouwbaarheid: elke toets moet voldoen aan bruikbaarheid (efcient en eerlijk),
validiteit (meten wat ze beogen te meten) en betrouwbaarheid (overeenstemming tussen beoordelaars).
Validiteit verhogen: toetsmatrijs of specifcatetabel. Hiermee wordt inhoud toetsen duidelijk voor
itemconstructeurs en zijn toetsen met elkaar te vergelijken. In het toetsmatrijs zijn de variabelen inhoud
en beheersingsniveau de basis voor toetsing en de te ontwikkelde vragen.
Betrouwbaarheid verhogen: Betrouwbaarheid kan worden verhoogd doordat meerdere docenten
eenzelfde toets construeren ⇢ gezamenlijke ontwikkeling en bespreken van
beoordelingscriteria bevordert de consistentie van beoordelingen.
Ontwikkelen toetsen bestaat uit het schrijven van toetsopdrachten of items maar ook het maken van
antwoordmodellen en correctevoorschrifen (correcte antwoorden met scoringsregels en verwijzing naar
leerstof).
Rubric: Een beoordelingsinstrument die al aan het begin van het onderwijsproces beschikbaar en dus vast
moet staan. Het geef criteria waaraan een product of proces moet voldoen, uitgewerkt in beheersingsniveaus.
Geef ontwikkelingsmogelijkheden en wordt gebruikt als beoordelingsinstrument.
Bij deze manier van ontwikkelingsgericht toetsen staan instructe en toetsing in samenhang.
TOETSTAKEN
Kwaliteit van de toetstaken, hier vallen de opdrachten, taken of items van een toetstaak onder, zoals de
vragen in een schrifelijke toets of opdracht in een performance assessment.
Relevante, objectviteit, onderscheidend vermogen (efcicntei en moeilijkheidsniveau: Elke toetstaak moet
hieraan voldoen.
Relevante: de mate waarin een item toets wat het beoogt te toetsen (hangt het samen met het
leerdoel?).
Objectviteit: de score van een item is onafankelijk van de beoordelaar. Antwoordmodellen moeten
zo min mogelijk ruimte hebben voor subjecteve interpretates.
Efcicnte: Als er gekozen moet worden uit gelijkwaardige items, wordt degene die het minst tjd in
termen van correcte en afname gekozen.
Moeilijkheidsgraad: Moeilijkheidsgraad moet samenhangen met niveau studenten.
Om de kwaliteit van toetsing te waarborgen, is het naast de aspecten van de kwaliteitspiramide ook van belang dat
de toetsorganisate en toetsdeskundigheid van directbetrokkenen rondom de toetsing op orde is. Daarom wordt
toetsorganisate en toetsbekwaamheid ook wel toegevoegd als randvoorwaardelijke eisen aan de piramide.
Bijvoorbeeld: Als een leerkracht een kwalitateve digitale toets heef ontwikkeld, maar de computers het niet doen,
kan er evengoed geen kwaliteit worden geleverd.
KWALITEITSBORGING
TOETSEN IN HET HOGER ONDERWIJS
INHOUDSOPGAVE
HOOFDSTUK 1: KWALITEITSPIRAMIDE VOOR TOETSEN EN
BEOORDELEN................................................................................3
Kwaliteitspiramide............................................................................................................................................... 3
Kwaliteitsborging................................................................................................................................................. 4
HOOFDSTUK 2: HET TOETSPROCES ONTLEED...................................6
De vier fasen in het toetsproces........................................................................................................................... 6
Stap 1: Waarom beoordelen en toetsen: het formuleren van de bedoeling(en).....................................................7
Stap 2: Het formuleren en concretseren van de doelen........................................................................................ 7
Stap 3: Het kiezen van de toetsvorm.................................................................................................................... 9
Stap 4: Het construeren en vooraf controleren van toetsvragen of toetstaken......................................................9
Stap 5: Het samenstellen van de toets................................................................................................................ 11
STAP 6: HET AFNEMEN VAN DE TOETS................................................................................................................ 11
STAP 7: HET NAKIJKEN VAN DE TOETS, INCLUSIEF EEN KWALITEITSCONTROLE....................................................11
STAPPEN 8 EN 9: ZAK/SLAAGGREND EN CIJFERS.................................................................................................12
Stappen 10 en 11: beslissen en rapporteren....................................................................................................... 12
HOOFDSTUK 3: HET METEN VAN TOETSKWALITEIT.........................14
Kwaliteitseisen aan toetsen................................................................................................................................ 14
Kwaliteit van een toets en toetsvragen............................................................................................................... 14
,Rechtvaardigheidseisen (kwaliteitseisen)........................................................................................................... 14
Psychometrische analyse: het berekenen van indicatoren..................................................................................16
Normwaarden voor de vraagmoeilijkheid........................................................................................................... 17
Onderscheidingsvermogen (Rit) en normwaarden.............................................................................................. 18
Betrouwbaarheid (Cronbachs alfa) en normwaarden.......................................................................................... 18
REparatemogelijkheden.................................................................................................................................... 19
Veel vragen verwijderen verlaagt de representatviteit......................................................................................20
4. KWALITEIT VAN TOETSPROGRAMMA’S.......................................21
Wat is een toetsprogramma?............................................................................................................................. 21
WAarom toetsprogramma’s?............................................................................................................................. 22
Ontwerp van toetsprogramma........................................................................................................................... 24
De kwaliteit van toetsprogramma’s.................................................................................................................... 25
Zelfevaluateeinstrument.................................................................................................................................... 27
Ten slote........................................................................................................................................................... 28
5. ONTWIKKELEN VAN TOETSBELEID.............................................29
De aandacht voor toetsbeleid............................................................................................................................ 29
Integraal toetsbeleid: een samenhangend stelsel...............................................................................................30
Toetsbeleid en kwaliteit van toetsing op de verschillende organisateniveaus.....................................................32
,HOOFDSTUK 1: KWALITEITSPIRAMIDE VOOR TOETSEN EN BEOORDELEN
De kwaliteitspiramide voor toetsen en beoordelen biedt de mogelijkheid om op een gestructureerde manier
kwaliteit van toetsen en beoordelen te beschrijven, te analyseren en te evalueren. Benadering kwaliteitsbegrip
richte richt vroeger vooral op de psychometrische analyse, tegenwoordig wordt er naar het gehele toetsproces
gekeken; context speelt een grote rol. Dus, om zicht te krijgen op de kwaliteit van toetsen en beoordelen, moet de
brede toetsomgeving in kaart gebracht worden. Dit doet de kwaliteitspiramide.
KWALITEITSPIRAMIDE
De kwaliteitspiramide bestaat uit de volgende vier lagen:
1. Beleid;
2. Toetsprogramma;
3. Toets- en beoordelingsinstrumenten;
4. Taken, opdrachten, items.
Kwaliteit van toetsing wordt behaald door een sterke samenhang
tussen de lagen. Dit betekent, bijvoorbeeld, dat als de visie
onduidelijk is, dit negateve gevolgen heef voor de kwaliteit van de
toets programma’s.
TOETSBELEID
De visie van de opleiding op toetsing
Daarvan de consequentes en mogelijkheden voor de uitwerking van toetsing
De uitgangspunten en kaders van een organisate met betrekking tot ontwerpen, ontwikkelen, afname,
rapportage en evaluate van toetsing worden in het toetsbeleid beschreven
o In het toetsbeleid staat uitgewerkt waarom een opleiding toetst, wie er betrokken is bij de toetsing, wanneer de toets
plaatsvindt, wat er wordt getoetst en wat de vormgeving van de toetsen is. In deze vormgeving kan technolo-gie een
belangrijke rol spelen
o In het toetsbeleid kan ook aandacht worden besteed aan de professionalisering van medewerkers ten aanzien van
toetsing: welke kennis en vaardigheden is aanwezig, welke is nodig en op welke manier wordt gestalte gegeven aan de
scholing?
Bijvoorbeeld: Als een school het belangrijk vindt dat de leerlingen niet enkel voor de toets leren, maar voor hun
professionele toekomst, zal dit invloed hebben op de wijze van toetsing en feedback.
TOETSPROGRAMMA
De kwaliteit van toetsprogramma’s.
Een toetsprogramma bestaat uit verschillende toetsvormen, welke samengesteld is op basis van doelen,
inhoud, opbouw en structuur van het curriculum, zoals vastgesteld staat in het toetsbeleid.
Een efectef en efcicnt toetsprogramma bestaat uit summateve en formateve toetsmomenten. Er wordt
gebruik gemaakt van een methodemix, zoals een combinate van meerkeuzetoetsen, casustoetsen,
zelfeoordeling en peer en performance assessment.
, Evaluate van de kwaliteit van een toetsprogramma richt zich minder op psychometrische aspecten, en steeds
meer op edumetrische aspecten. Een dergelijke edumetrische kwaliteitscriteria is dat een toetsprogramma
moet voldoen aan de eis van authentciteit; overeenkomst tussen toetsprogramma en opleidingsberoep.
TOETS- EN BEOORDELINGSINSTRUMENTEN
Alle mogelijke toetsvormen, inclusief de bijbehorende instructes voor studenten, antwoordmodellen en
scoringsvoorschrifen.
Bruikbaarheid, validiteit en betrouwbaarheid: elke toets moet voldoen aan bruikbaarheid (efcient en eerlijk),
validiteit (meten wat ze beogen te meten) en betrouwbaarheid (overeenstemming tussen beoordelaars).
Validiteit verhogen: toetsmatrijs of specifcatetabel. Hiermee wordt inhoud toetsen duidelijk voor
itemconstructeurs en zijn toetsen met elkaar te vergelijken. In het toetsmatrijs zijn de variabelen inhoud
en beheersingsniveau de basis voor toetsing en de te ontwikkelde vragen.
Betrouwbaarheid verhogen: Betrouwbaarheid kan worden verhoogd doordat meerdere docenten
eenzelfde toets construeren ⇢ gezamenlijke ontwikkeling en bespreken van
beoordelingscriteria bevordert de consistentie van beoordelingen.
Ontwikkelen toetsen bestaat uit het schrijven van toetsopdrachten of items maar ook het maken van
antwoordmodellen en correctevoorschrifen (correcte antwoorden met scoringsregels en verwijzing naar
leerstof).
Rubric: Een beoordelingsinstrument die al aan het begin van het onderwijsproces beschikbaar en dus vast
moet staan. Het geef criteria waaraan een product of proces moet voldoen, uitgewerkt in beheersingsniveaus.
Geef ontwikkelingsmogelijkheden en wordt gebruikt als beoordelingsinstrument.
Bij deze manier van ontwikkelingsgericht toetsen staan instructe en toetsing in samenhang.
TOETSTAKEN
Kwaliteit van de toetstaken, hier vallen de opdrachten, taken of items van een toetstaak onder, zoals de
vragen in een schrifelijke toets of opdracht in een performance assessment.
Relevante, objectviteit, onderscheidend vermogen (efcicntei en moeilijkheidsniveau: Elke toetstaak moet
hieraan voldoen.
Relevante: de mate waarin een item toets wat het beoogt te toetsen (hangt het samen met het
leerdoel?).
Objectviteit: de score van een item is onafankelijk van de beoordelaar. Antwoordmodellen moeten
zo min mogelijk ruimte hebben voor subjecteve interpretates.
Efcicnte: Als er gekozen moet worden uit gelijkwaardige items, wordt degene die het minst tjd in
termen van correcte en afname gekozen.
Moeilijkheidsgraad: Moeilijkheidsgraad moet samenhangen met niveau studenten.
Om de kwaliteit van toetsing te waarborgen, is het naast de aspecten van de kwaliteitspiramide ook van belang dat
de toetsorganisate en toetsdeskundigheid van directbetrokkenen rondom de toetsing op orde is. Daarom wordt
toetsorganisate en toetsbekwaamheid ook wel toegevoegd als randvoorwaardelijke eisen aan de piramide.
Bijvoorbeeld: Als een leerkracht een kwalitateve digitale toets heef ontwikkeld, maar de computers het niet doen,
kan er evengoed geen kwaliteit worden geleverd.
KWALITEITSBORGING
