Samenvatting
PB1502
Test- en toetstheorie
Hans Smits
,Toelichting
In deze samenvatting volg ik de lijn van de tekst in yOUlearn van de cursus Test- en toetsthe-
orie (PB1502). De samenvatting gaat vooral over het boek van P.J.D. Drenth & K. Sijtsma
(2006), Testtheorie. Inleiding in de theorie van de psychologische test en zijn toepassingen, 4e,
herziene druk. Houten: Bohn Stafleu van Loghum.
Uitleg van de gebruikte kleuren:
Belangrijk begrip
Formule
Beknopt overzicht
Belangrijke instelling
Test
Informatie uit yOUlearn
2
,Inhoud
1. Historische ontwikkeling van het testen ......................................................................................... 5
1.1 Periode tot het verschijnen van de Binet-Simon-test .............................................................. 5
1.2. Periode tussen het verschijnen van de Binet-Simon-test en de Eerste Wereldoorlog ........... 6
1.3 Van het begin van de Eerste tot de Tweede Wereldoorlog ..................................................... 6
1.4 Van het begin van de Tweede Wereldoorlog tot heden .......................................................... 8
2. Definitie, kenmerken en toepassingen van de test ...................................................................... 10
2.1 Wat is een test? ...................................................................................................................... 10
2.2 Meten van eigenschappen door middel van tests ................................................................. 13
2.3 Definitie van een test .............................................................................................................. 16
2.4 Toepassingsmogelijkheden ..................................................................................................... 16
3. Indelingen, onderscheidingen en begrippen ................................................................................ 18
3.1 Indeling naar testgedrag ......................................................................................................... 18
3.2 Indeling naar instructie en afneming ...................................................................................... 25
3.3 Onderscheid op basis van testvragen ..................................................................................... 26
4. Constructie van items en kwantificering van reacties .................................................................. 28
4.1 Van de respondent gevraagde activiteit................................................................................. 28
4.2 Vorm waarin het antwoord wordt gegeven ........................................................................... 29
4.3 Itemvormen: het speciale geval van geprecodeerde items ................................................... 30
4.4 Kwantificering van antwoorden ............................................................................................. 31
4.5 Beoordeling van de kwaliteit van items in vooronderzoek .................................................... 32
5. Afneming van tests en verwerking van testgegevens ................................................................... 33
5.1 Tests afnemen ........................................................................................................................ 33
5.2 Scoring van antwoorden ......................................................................................................... 34
5.3 Testen per computer .............................................................................................................. 37
5.4 Bewerkte scores en normen ................................................................................................... 38
6. Betrouwbaarheid .......................................................................................................................... 43
6.1 Herhaalbaarheid van metingen .............................................................................................. 43
6.2 De klassieke testtheorie.......................................................................................................... 44
6.3 Bepaling van de betrouwbaarheid ......................................................................................... 48
6.4 Speciale onderwerpen ............................................................................................................ 55
6.5 Tot besluit ............................................................................................................................... 61
7. Nieuwe ontwikkelingen in testtheorie en testconstructie ........................................................... 62
7.1 Principes en begrippen van de item-responstheorie ............................................................. 63
7.2 Enkele modellen uit de item-responstheorie ......................................................................... 64
7.3 Meten met item-responsmodellen ........................................................................................ 70
7.4 Praktisch gebruik van de item-responstheorie....................................................................... 72
7.5 Tot besluit enkele speciale onderwerpen .............................................................................. 75
3
,8. Validiteit en betekenis .................................................................................................................. 77
8.1 Het begrip validiteit ................................................................................................................ 77
8.2 Enkele andere onderscheidingen in validiteit ........................................................................ 78
8.3 Predictieve validiteit ............................................................................................................... 81
8.4 Betekenis en begripsvaliditeit................................................................................................. 88
8.5 Nogmaals betrouwbaarheid en validiteit ............................................................................... 92
9. De bijdrage van de test in het beslissingsproces .......................................................................... 94
9.1 Taxonomie van beslissingen ................................................................................................... 94
9.2 Enkelvoudige selectie- c.q. afwijzingsmodel .......................................................................... 96
9.3 Plaatsingsbeslissingen........................................................................................................... 103
9.4 Individuele beslissingen ........................................................................................................ 104
9.5 Open vraag............................................................................................................................ 104
9.6 Tot besluit ............................................................................................................................. 105
10. Ethiek van het testen ................................................................................................................ 106
10.1 Levensbeschouwelijke en menselijke bezwaren ................................................................ 106
10.2 Technische en methodologische bezwaren........................................................................ 107
10.3 Misbruik .............................................................................................................................. 108
10.4 Tot besluit ........................................................................................................................... 111
Overzicht Test- en toetstheorie ...................................................................................................... 112
Index ................................................................................................................................................ 122
4
,1. Historische ontwikkeling van het testen
De testdiagnostiek is als wetenschappelijke discipline in de twintigste eeuw tot bloei gekomen.
Voor 1900 werd echter ook al op testen gelijkend onderzoek gedaan, maar pas aan het begin
van de twintigste eeuw begint een meer wetenschappelijke aandacht voor de test te ontstaan,
met een systematische bestudering en empirische fundering van instrumenten die voor oor-
deelsvorming worden gebruikt.
In de ontwikkeling vanaf de eerste pogingen tot heden zijn vier perioden te onderscheiden,
waarbij een nieuwe periode telkens wordt ingeluid door een belangrijke gebeurtenis.
1.1 Periode tot het verschijnen van de Binet-Simon-test
Aan de eerste waardevolle intelligentietest, de ▌Binet-Simon-test, waarvan de eerste versie
verscheen in 1905, gingen diverse ontwikkelingen vooraf. De eerste stimulans kwam vanuit
de psychiatrie in Frankrijk en Duitsland. In de Franse medische wereld ontstond een sterke
interesse in geestelijke abnormaliteit en zwakzinnigheid. Ook in Duitsland hielden zich in de
tweede helft van de negentiende eeuw psychiaters bezig met het onderzoek van geestelijke
vermogens. Zo ontstond in de psychiatrie een behoefte aan methoden om de verschillen tus-
sen geesteszieken en de verschillende gradaties in zwakzinnigheid te bepalen.
Een tweede ontwikkelingslijn loopt via de experimentele psychologie, die vooral in Duitsland
werd beoefend. Die had naast een stimulerende, ook een remmende werking op de testpsy-
chologie. De stimulans lag in de waarde die werd gehecht aan het nauwkeurig omgaan met
experimenteercondities, variabelen en uitkomsten. In dat laatste ligt tevens de remmende
invloed. De experimentator vond de verschillen tussen proefpersonen namelijk eerder verve-
lend dan boeiend. Hij schreef ze toe aan fouten in plaats van aan werkelijke verschillen. In
1879 stichtte Wundt zijn experimentele laboratorium. Ondanks de grondigheid waarmee tal-
loze functies van de mens werden onderzocht, bleven twee obstakels voor de ontwikkeling
van het testen bestaan. Ten eerste was het doel van het onderzoek de generaliseerbaarheid
van wetten en samenhangen, terwijl afwijkingen werden beschouwd als fouten. Ten tweede
bleef het onderzoek beperkt tot de primaire sensorische en motorische functies. Met de
komst van McKeen Cattell ging men anders aankijken tegen individuele verschillen. Die bleken
een vruchtbaar onderwerp voor verder onderzoek te vormen. Cattell stichtte in de Verenigde
Staten een laboratorium voor experimentele psychologie en testpsychologie. In 1893 werd
binnen de ▌APA een commissie ingesteld, met als taak het registreren van tests en het formu-
leren van gebruiksmogelijkheden. De samenhang met praktische criteria bleek laag, maar de
eerste stappen op de weg van het systematisch onderzoek waren gezet.
De belangstelling van Cattell voor individuele verschillen kan worden teruggevoerd op de
derde lijn, die van de genetica. Al vanaf 1882 verrichtte Galton antropometrische onderzoe-
kingen. Als neef van Darwin was hij geïnteresseerd in de erfelijkheid van psychische eigen-
schappen. In zijn wijze van onderzoeken kwamen drie elementen voor, die een pijler van het
wetenschappelijk testonderzoek zouden gaan vormen. Het eerste was de wenselijkheid van
het onderzoek van individuele verschillen. Het tweede bestond uit de noodzaak van systema-
tisering van de onderzoekstechnieken. Als derde element geldt de poging van Galton om de
resultaten van zijn onderzoeken uit te drukken in termen van afwijkingen van het gemiddelde.
Dit normatieve denken en het weergeven van resultaten in statistische termen, opende
nieuwe dimensies voor zowel de theoretische ontwikkeling als de praktische toepassing van
5
,de test. Galtons jongere collega Pearson werd hierdoor geïnspireerd en heeft veel betekend
voor de statistiek en de testpsychologie.
Ondanks deze drie ontwikkelingen was van psychologisch testen op grote schaal nog geen
sprake. De interesse was incidenteel en voornamelijk theoretisch gericht. Onderzoeksresulta-
ten werden nog weinig toegepast, en pogingen hiertoe leidden tot teleurstellende resultaten.
Dit is grotendeels te verklaren uit de keuze van de vermogens en functies die men trachtte te
meten, die hoofdzakelijk van psychofysische aard waren. De publicatie van de Binet-Simon-
test luidde een nieuwe periode in.
1.2. Periode tussen het verschijnen van de Binet-Simon-test en de Eerste Wereldoorlog
Binet ontwikkelde samen met Simon een test om onderscheid te kunnen maken tussen luie
en incapabele kinderen. De opgaven waren sterk verbaal, maar bestreken een grote variëteit
aan problemen. Binets benadering was nieuw door de accentuering van complexe, in plaats
van eenvoudige mentale processen, door zijn bereidheid testopgaven te toetsen aan de em-
pirie, en door het gebruik van een totaalscore voor intelligentie. Na de eerste versie van 1905
volgden herzieningen in 1908 en 1911. Bij de tweede versie werd het begrip ▌mentale leeftijd
geïntroduceerd. De test werd in diverse landen overgenomen. Terman, hoogleraar aan Stan-
fard University, werkte aan de Amerikaanse versie van de test, die sindsdien bekend is onder
de naam ▌Stanford-Binet. Al bij de eerste versie van 1916 werd aan twee belangrijke testtech-
nische eisen voldaan: er werden standaardinstructies geformuleerd en er werden normen
geconstrueerd. Ook nam Terman het idee van Stern over om de mentale leeftijd te delen door
de ▌chronologische leeftijd, en dit getal te vermenigvuldigen met honderd.
Het werk van Binet was in praktisch opzicht van grote betekenis, maar theoretisch was dit
minder het geval. Op basis van zijn theoretische onderzoek kwam Spearman tot de conclusie
dat in alle tests twee intelligentiefactoren een rol speelden: een algemene ▌g-factor en een
specifieke ▌s-factor. Hiermee had hij de ▌tweefactorentheorie geformuleerd.
Op het gebied van de meting van opleidingsvorderingen van leerlingen werden in deze peri-
ode de eerste stappen gezet. De intelligentiemeting boekte grote vooruitgang door uit te gaan
van of voort te bouwen op de ideeën van Binet en Simon. Testen op grote schaal vond nog
niet plaats, en van valideringsonderzoek was voor de Eerste Wereldoorlog nog geen sprake.
1.3 Van het begin van de Eerste tot de Tweede Wereldoorlog
Door het uitbreken van de Eerste Wereldoorlog kwam de ontwikkeling van het testen in een
stroomversnelling, door de noodzaak om grote groepen mensen te selecteren voor uiteenlo-
pende functies en opleidingen. Voor het eerst werd de psychologie regelmatig toegepast
buiten het laboratorium. De echte doorbraak kwam toen in 1917 ook de Verenigde Staten in
de oorlog werden betrokken, en het werk van de eerste bedrijfspsycholoog Münsterberg met
collectieve tests zijn waarde ging bewijzen. Uit de noodzaak om snel en efficiënt te testen
kwam een groepsgewijs af te nemen test voort, de ▌Army Alpha. Deze test groeide uit tot een
veel toegepast en gewaardeerd hulpmiddel bij vele soorten beslissingen.
Na de Eerste Wereldoorlog liepen de testontwikkeling in Amerika en die in Europa sterk uit-
een. In Europa bleef de individuele diagnostiek populair, als gevolg van het vooral door de
Gestaltpsychologie gedomineerde filosofische klimaat. De wijze waarop een proefpersoon
een taak verrichtte, werd minstens even belangrijk gevonden als de prestatie zelf. In Amerika
kwam, tegen een behavioristisch-positivistische achtergrond, maar vooral vanuit een
6
,praktische behoefte, het accent steeds sterker te liggen op kwantitatief verwerkbare groeps-
tests. Centraal stond het bepalen van de kansen van de onderzochte op een positief resultaat
in de te voorspellen situatie. In dit verband wordt gesproken van de ▌actuarische methode.
Behalve de noodzaak van selectie- en plaatsingsbeslissingen, speelde daarbij een aantal an-
dere factoren mee: een toenemend aantal immigranten uit vele landen, de gedachte van
gelijke kansen voor iedereen, en de toenemende specialisatie, differentiatie en vertechnise-
ring van het productieproces. De vele immigranten deden ook de behoefte ontstaan aan tests
die minder afhankelijk waren van taal en cultuur. In 1918 werd naast Army Alpha een tweede
schriftelijke groepstest samengesteld, de ▌Army Bèta, die geen beroep deed op enige taal-
kennis of verbale vaardigheid. Dergelijke niet-verbale tests speelden een grote rol bij alge-
meen vergelijkend onderzoek tussen bevolkingsgroepen, al was hun betrouwbaarheid vaak
geringer dan die van verbale tests. De individuele test nam in de Verenigde Staten relatief een
minder belangrijke positie in dan in Europa, maar het aantal individuele testbatterijen dat in
deze periode verscheen, is indrukwekkend. De belangrijkste waren de ▌Terman Merrill en de
▌WAIS en ▌WISC.
Engeland nam in de tegenstelling Verenigde Staten versus Europa een tussenpositie in. In 1938
verscheen de veelgebruikte ▌Progressive Matrices van Raven, maar een grote bloei onderging
dit soort tests niet. Wel was er, in tegenstelling tot andere landen in Europa, veel aandacht
voor objectieve evaluatie van schoolprestaties. Het vrije-antwoordenexamen maakte plaats
voor meerkeuzevragen. De constructie en ijking van schoolvorderingentests ging over van de
docent naar de specialist.
Het gebruik van de test ging vaak vooraf aan de theorie, in plaats van andersom. Wel stimu-
leerde Thurstone de aandacht voor kritische evaluatie van de test zelf. Hij was van mening dat
de resultaten van een test betrouwbare scores dienen op te leveren, en als men met een test
gedrag buiten de testsituatie probeert te voorspellen – ▌criteriumgedrag genoemd – dient de
relatie tussen test en criterium van tevoren te zijn aangetoond. Hierdoor ging de statistiek een
belangrijke rol spelen in de testpsychologie en werd kwantificeerbaarheid van de testprestatie
een voorwaarde voor nuttig testgebruik. Ook aan het onderzoek naar de intelligentiestructuur
werd een nieuwe dimensie toegevoegd. Naast de algemene en specifieke factoren van Spear-
man werden de groepsfactoren geïntroduceerd, waarbij intelligentie wordt opgevat als een
complex geheel van groepsfactoren. Deze structurele opvatting van de intelligentie opende
nieuwe perspectieven voor selectie, diagnose, beroepskeuze en counseling. De door Thur-
stone vastgestelde factoren verbal comprehension, word fluency, number facility, spacial
visualization, associative memory, perceptual speed en reasoning zijn nog steeds belangrijke
onderscheidingen in de intelligentietheorie.
Wat betreft het ontstaan en de ontwikkeling van de persoonlijkheidstest kunnen drie afzon-
derlijke methoden onderscheiden worden. Ten eerste de vooral in West-Europa populaire
methode van de observatie, bedoeld om inzicht te geven in de kwalitatieve aspecten van de
prestatie. Van observatietests was het een kleine stap naar tests voor observatie van het voor
de proefpersoon typerende gedrag zelf. De persoonlijkheidsbeelden ontstonden voornamelijk
langs intuïtieve weg. Ten tweede werden in deze periode de eerste persoonlijkheidsvragen-
lijsten samengesteld. De eerste waren niet anders dan gestandaardiseerde, op schrift gestelde
psychiatrische interviews. Deze vragenlijsten waren de voorlopers van latere veelgebruikte
persoonlijkheidsvragenlijsten. De derde methode ligt in de toepassing van projectietests,
waarbij een stimulus wordt aangeboden waarop de persoon vrij mag reageren. Bekende pro-
jectietests zijn de ▌Rorschachtest en de ▌Thematic Apperception Test (TAT).
7
,1.4 Van het begin van de Tweede Wereldoorlog tot heden
1.4.1 Ontwikkelingen in de Verenigde Staten
De Tweede Wereldoorlog luidde in Engeland en vooral de Verenigde Staten een periode in
waarin een expansie plaatsvond op alle terreinen van het testen. Samenwerking tussen psy-
chologen en keurings- en selectiediensten leidde in de Verenigde Staten tot een enorme toe-
name van het aantal tests, tot een sterke professionalisering van het selectie- en plaatsings-
beleid en tot een constructieve en kritische bezinning op de psychologische principes van test-
onderzoek. Miljoenen werden onderzocht met de ▌Army General Classification Test (AGCT).
Na de oorlog zetten de ontwikkelingen zich in een nauwelijks verminderd tempo voort.
In 1947 werd de ▌Educational Testing Service (ETS) opgericht, met de bedoeling tegemoet te
komen aan de behoeften van het Amerikaanse onderwijs- en opleidingsveld wat betreft de
toelating tot en de evaluatie van het onderwijs. Naast ETS is in de Verenigde Staten een groot
aantal test agencies werkzaam. Sommige bestrijken een breed toepassingsveld, terwijl andere
zich hebben gespecialiseerd.
Over tests en testonderzoek en ook de psychometrie loopt de communicatie via vele tijdschrif-
ten. Handboeken brengen niet alleen veel inhoudelijke informatie over tests bijeen, maar
bieden tevens een behandeling van de wetenschappelijke testtheorie. Ook op het meer toe-
gepaste terrein van de selectiepsychologie staat de testtheorie centraal. Vanuit educational
measurement werd een belangrijke invloed uitgeoefend op de testtheorie en de acceptatie
van de principes daarvan. Theoretische onderbouwingen van de psychometrie en het onder-
wijskundig meten zijn steeds meer hand in hand gegaan. Dit heeft vooral plaatsgevonden in
de vorm van ontwikkelingen op het terrein van de moderne testtheorie of de item-respons-
theorie. Dit neemt niet weg dat sommige toepassingen van theorie en testpraktijk typisch
psychologisch of typisch onderwijskundig kunnen worden genoemd. Een andere belangrijke
invloed op de testtheorie is afkomstig uit de schaaltheorie.
Een andere oorzaak van de versnelde testontwikkeling en testresearch is de ontwikkeling en
uitbouw van de verwerking van testgegevens per computer. Computers worden niet alleen
gebruikt voor de tests zelf, maar ook voor de constructie en het onderhoud van itembanken
en adaptief testen.
1.4.2 Ontwikkelingen in Europa, vooral in Nederland
De ontwikkelingen in Europa hebben lange tijd in de schaduw gestaan van die in de Verenigde
Staten. Nog steeds is de testtheorie alsmede het gebruik van tests in grote delen van Europa
nauwelijks tot ontwikkeling gekomen. Vooral sinds de jaren zestig is daarin in een aantal lan-
den, waaronder Nederland, verandering gekomen. In West-Europa is zelfs sprake van een
bloeiende testtheorie en -praktijk. De ontwikkeling in Nederland werd in de jaren veertig en
vijftig nog in sterke mate gekenmerkt – geremd – door de oriëntatie van de psychologie op de
intuïtie van de psycholoog, het ‘Verstehen’ en de ontmoeting met de cliënt. Binnen deze ori-
entatie was nauwelijks ruimte voor een objectieve, kwantitatieve benadering. In de jaren
vijftig en zestig werd een steeds krachtiger pleidooi gevoerd voor een systematisch-weten-
schappelijk testgebruik.
Ten behoeve van een betere communicatie en ter bevordering van het testonderzoek stelde
het Nederlands Instituut van Psychologen (▌NIP) in 1959 een Test Research Commissie (te-
genwoordig Commissie Testaangelegenheden Nederland, ▌COTAN) in.
Schoolvorderingentests werden tot in de jaren zestig in Nederlands nauwelijks gebruikt, in
tegenstelling tot de Verenigde Staten. De beoordeling van schoolprestaties werd overgelaten
8
,aan onderwijzend personeel. In de jaren zeventig deed de testtheorie haar intrede bij de be-
oordeling van school- en opleidingsprestaties. Op voorstel van De Groot, met zijn vaak prikke-
lende opinies, werd het ▌Centraal Instituut voor Toetsontwikkeling (CITO) opgericht, naar mo-
del van de ETS.
Allerlei handboeken hebben algemeen ingang gevonden. Aanvankelijk werden de meeste we-
tenschappelijke bevindingen gepubliceerd in de Nederlandse vaktijdschriften, maar heden ten
dage vrijwel alleen nog in internationale journals, vooral de Amerikaanse. Mede hierdoor
neemt de Nederlandse psychometrie internationaal een prominente plaats in. Hierbij speelde
een rol dat de versnipperde universitaire onderzoeksactiviteiten sedert 1987 zijn gebundeld
in het ▌Interuniversitair Onderzoeksinstituut voor Psychometrie en Sociometrie (IOPS).
9
, 2. Definitie, kenmerken en toepassingen van de test
2.1 Wat is een test?
2.1.1 Onderdelen van een test
In het algemeen komt men in een verantwoorde en gepubliceerde test de volgende onderde-
len tegen:
Testmateriaal. Dit materiaal varieert sterk met de soort test. In een enkel geval is er geen
materiaal in strikte zin.
Testformulieren. Hierop worden antwoorden, reacties of gedragsgegevens verzameld, die het
materiaal vormen waaruit psychologische interpretaties of conclusies worden afgeleid.
Testhandleiding. Van een goede handleiding mag men verwachten dat vier onderwerpen aan
de orde komen:
› Een exacte testinstructie: alles wat betrekking heeft op de gang van zaken tijdens de test
› De verwerkingsprocedure: richtlijnen voor de toekenning van scores aan antwoorden
› De normtabellen, waarin scores worden vergeleken met de prestaties van normgroepen
› Een bespreking van de wetenschappelijke kwaliteiten van de test
2.1.2 Eerste omschrijving
De bedoeling van het testonderzoek is het doen van een uitspraak die een voorspelling, clas-
sificatie of beschrijving met betrekking tot het onderzochte individu behelst. Impliciet gaat het
daarbij vrijwel altijd om een vergelijking met andere mensen. De aard en de grootte van de
vergelijkingsgroep hebben belangrijke gevolgen voor de draagwijdte van de conclusie over de
geteste persoon. Lang niet alle middelen waarmee we een uitspraak over iemand kunnen
doen, kunnen tests worden genoemd. Bij een test gaat het om een systematisch onderzoek
van apart voor het testdoel geselecteerde gedragingen.
Psychologische test
Een psychologische test is een systematisch onderzoek van gedrag met behulp van spe-
ciaal geselecteerde vragen of opgaven, met de bedoeling inzicht te krijgen in een psycho-
logisch kenmerk van de onderzochte in vergelijking met anderen.
2.1.3 Kenmerken van een test
Bij de beschikbaarheid van voldoende juiste informatie is het niet altijd nodig een test te ge-
bruiken. Indien een psychologische test wel een juister beeld oplevert dan het voorweten-
schappelijk oordeel, of een verbetering en aanvulling hierop kan betekenen, en de kosten of
ethische bezwaren niet onoverkomelijk zijn, is het gebruik ervan gerechtvaardigd. Dat de psy-
chologische test hiertoe vaak in staat is, blijkt uit zes kenmerken.
Efficiëntie
In het dagelijks leven doen zich talrijke situaties voor die aanwijzingen verschaffen voor het
schatten van bijvoorbeeld intelligentie. Het probleem is echter dat men moet wachten tot
deze situaties zich voordoen. Daar komt nog bij dat deze situaties typerend zijn voor het alle-
daagse contact waarin meestal niet de schatting van intelligentie vooropstaat. Hiertegenover
staat de intelligentietest, die speciaal is samengesteld om een schatting van de intelligentie te
verkrijgen.
10
