Testtheorie l Drenth & Sijtsma l 4 e herziene druk l 9789031347476 l pre-master Orthopedagogiek
l SPO/ RUG Groningen
Samenvatting testtheorie
Hoofdstuk 2. Definitie, kenmerken en toepassingen van de test...........................................................3
2.1. Wat is een test?...........................................................................................................................3
2.2. Meten van eigenschappen door middel van tests.......................................................................4
2.3. Definitie van een test...................................................................................................................5
2.4. Toepassingsmogelijkheden..........................................................................................................6
Hoofdstuk 3. Indelingen, onderscheidingen en begrippen.....................................................................7
3.1. Indeling naar testgedrag..............................................................................................................7
3.2. Indeling naar instructie en afneming.........................................................................................13
3.3. Onderscheid op basis van testvragen........................................................................................13
Hoofdstuk 4. Constructie van items en kwantificering van reacties.....................................................15
4.1. Van de respondent gevraagde activiteit....................................................................................15
4.2. Vorm waarin het antwoord wordt gegeven...............................................................................15
4.3. Itemvormen: het speciale geval van geprecodeerde items.......................................................16
4.4. Kwantificering van antwoorden.................................................................................................17
4.5. Beoordeling van de kwaliteit van items in vooronderzoek........................................................17
Hoofdstuk 5. Afneming van tests en verwerking van testgegevens.....................................................19
5.1. Tests afnemen...........................................................................................................................19
5.2. Scoring van antwoorden............................................................................................................19
5.3. Testen per computer.................................................................................................................21
5.4. Bewerkte scores en normen......................................................................................................22
Hoofdstuk 6. Betrouwbaarheid............................................................................................................25
6.1. Herhaalbaarheid van metingen.................................................................................................25
6.2. De klassieke testtheorie.............................................................................................................25
6.3. Bepaling van de betrouwbaarheid.............................................................................................28
6.4. Speciale onderwerpen...............................................................................................................30
Hoofdstuk 7. Nieuwe ontwikkelingen in testtheorie en testconstructie...............................................33
7.1. Principes en begrippen van de items-respons-theorie..............................................................33
7.2. Enkele modellen uit de item-responstheorie.............................................................................34
7.3. Meten met item-responsmodellen............................................................................................38
7.4. Praktisch gebruik van de item-responstheorie..........................................................................38
7.5. Tot besluit enkele speciale onderwerpen..................................................................................41
Hoofdstuk 8. Validiteit en betekenis.....................................................................................................42
1
,Testtheorie l Drenth & Sijtsma l 4 e herziene druk l 9789031347476 l pre-master Orthopedagogiek
l SPO/ RUG Groningen
8.1. Het begrip validiteit...................................................................................................................42
8.2. Enkele andere onderscheidingen in validiteit............................................................................43
8.3. Predictieve validiteit..................................................................................................................44
8.4. Betekenis en begripsvaliditeit....................................................................................................47
8.5. Nogmaals betrouwbaarheid en validiteit...................................................................................48
Hoofdstuk 9. De bijdrage van de test in het beslissingsproces.............................................................50
9.1. Taxonomie van beslissingen......................................................................................................50
9.2. Enkelvoudige selectie – c.q. afwijzingsmodel............................................................................51
9.3. Plaatsingsbeslissingen................................................................................................................53
9.5. Open vraag................................................................................................................................55
Aanvulling college: Principale Componenten Analyse..........................................................................56
2
,Testtheorie l Drenth & Sijtsma l 4 e herziene druk l 9789031347476 l pre-master Orthopedagogiek
l SPO/ RUG Groningen
Hoofdstuk 2. Definitie, kenmerken en toepassingen van de test.
2.1. Wat is een test?
2.1.1. Onderdelen van een test.
In een verantwoorde en gepubliceerde test kom je de volgende onderdelen tegen:
Testmateriaal: Varieert sterk met de soort van de test.
Testformulieren: Hierop worden antwoorden, reacties of gedragsgegevens verzameld, die
vervolgens het materiaal vormen waaruit de psychologische interpretatie of conclusies
worden afgeleid.
Testhandleiding: Varieert van een uitvoerig boekwerk tot beknopte richtlijnen. Er komen 4
onderwerpen hierin aan de orde:
1. Een exacte testinstructie (bespreking van de testprocedure, condities voor een goede
testsituatie, woordelijke aanwijzingen en uitleg, proefopgaven etc.)
2. De verwerkingsprocedure.
3. De normtabellen.
4. De handleiding dient een bespreking te bevatten van de wetenschappelijke
kwaliteiten van de test.
2.1.2. Eerste omschrijving.
Doel van een testonderzoek = Het doen van een uitspraak die een voorspelling, classificatie of
beschrijving met betrekking tot het onderzochte individu behelst. Impliciet gaat het daarbij om een
vergelijking met andere mensen.
Psychologische test= Een systematisch onderzoek van gedrag met behulp van speciaal geselecteerde
vragen of opgaven, met de bedoeling inzicht te krijgen in een psychologisch kenmerk van de
onderzochte in vergelijking met anderen.
Meten van psychologische eigenschappen die niet direct waar te nemen zijn. Het is een
hulpmiddel.
2.1.3. Kenmerken van een test.
Kenmerken van een goede test:
1. Efficiënt.
Als het gericht is op het meten van het hypothetisch construct en verder niets.
2. Gestandaardiseerd.
Standaardisatie is noodzakelijk voor de vergelijkbaarheid van testprestaties. Een test is
gestandaardiseerd als de testprocedure voor alle respondenten gelijk is (zelfde instructie, zelfde
tijdslimiet, zelfde condities)
3. Normering.
Een test is genormeerd als de testscores van verschillende respondenten vergelijkbaar zijn door
middel van normen.
Norm= een referentiekader voor de evaluatie van de ruwe score. Deze is gebaseerd op de
kenmerken van ruwe scores in de populatie, die geschat worden op basis van een
representatieve steekproef.
Normering is noodzakelijk bij de interpretatie en beoordeling van testprestatie. Ook bij
observatietesten en projectieve technieken.
4. Objectief.
Onafhankelijk van storende invloeden vanuit de beoordelaar. Het moet niet uitmaken wie de
beoordelaar is, en de test- en evaluatieprocedure dient open en reproduceerbaar te zijn.
3
,Testtheorie l Drenth & Sijtsma l 4 e herziene druk l 9789031347476 l pre-master Orthopedagogiek
l SPO/ RUG Groningen
Valkuilen: vooroordelen, sympathieën en antipathieën, eerst indruk, vermoedens bevestigd
willen zien, ideaaltypen willen vinden, eigen theorieën bevestigd willen zien. Om dit te
voorkomen, dien je een handleiding bij de test te hebben.
Interbeoordelaarsbetrouwbaarheid kan beoordeeld worden met een rangcorrelatie als een
Spearsmans Rho of Kendalls Tau.
Om de overeenstemming tussen grotere aantallen onafhankelijke beoordeelaars te
kwantificeren, kan men de Kandalls ‘coefficient of cocordance’, W, gebruiken.
Po= proportie overeenstemming.
De mate van overeenstemming vinden we door Po en Pt met elkaar te vergelijken. Om
rekening te houden met toeval, berekenen we de kappa:
P o−Pt
Kappa =
1−Pt
- Kappa 0.4 – 0.6 = redelijk, Kappa 0.6- 0.8= goed, Kappa 0.80 – 1 = bijna perfect.
5. Betrouwbaarheid.
Een test is betrouwbaar als bij herhaalde metingen dezelfde score er uit komt.
6.Valide.
Een test is valide als het zijn doel beantwoord.
Verschillende soorten validiteit:
1. Predictive validity (predictieve validiteit)
2. Concurrent validity (concurrente validiteit)
3. Content validity.
4. Construct validity (construct validiteit)
2.2. Meten van eigenschappen door middel van tests.
De termen ‘meten’ en ‘testen’ worden vaak door elkaar gebruikt.
2.2.1. Meetniveaus en toegestane operaties.
Meten= Getallen die volgens een consistente procedure aan objecten worden toegekend.
Er zijn 4 bekende meetniveaus:
Nominale schaal: Het meten betreft hier het categoriseren en geven van namen. Er zijn
weinig berekeningen mogelijk, behalve met de Cohens Kappa. Het betreft kwalitatieve data.
Ordinale schaal: Wordt gekenmerkt door het begrip rangorde. Er is altijd sprake van meer of
minder. Getallen worden hier gebruikt om te categoriseren. Er zijn weinig berekeningen
mogelijk, behalve met een rangcorrelatie. Het betreft kwalitatieve data.
Intervalschaal: De verschillende posities zijn geordend van minder naar meer en de afstand
er tussen hebben een betekenis. Er worden eenheden aangegeven en er is geen absoluut
nulpunt. Bijvoorbeeld het aantal graden in Celsius. Het betreft kwantitatieve data.
Ratioschaal/ verhoudingsschaal: weinig metingen vinden plaats met deze schaal. Er is sprake
van een absoluut nulpunt, waardoor alle berekeningen toegestaan zijn. Het betreft
kwantitatieve data.
2.2.2. Opvattingen over meten.
Het adequaat kunnen meten van eigenschappen is cruciaal voor iedere empirische wetenschap. In de
19e eeuw stond de fysica model voor het meten in de psychologie. Dit leidde ertoe dat men een
eigenschap als ‘lengte’ en de meting van lengte als het ideaal voor psychologische eigenschappen en
hun meting zag. Echter geldt dit niet voor alle eigenschappen. Een verifieerbare theorie over relaties
tussen eigenschappen moet ter grondslag liggen aan een meetprocedure. Door een meting gelijk te
stellen aan de uitkomst van een consistente procedure van het toekennen van getallen aan objecten,
is het in feite de procedure zelf, die bepaalt dat er sprake is van een meting.
4
, Testtheorie l Drenth & Sijtsma l 4 e herziene druk l 9789031347476 l pre-master Orthopedagogiek
l SPO/ RUG Groningen
Boring (1945) zei dat intelligentie datgene is wat de test meet (= operationalisme). Echter was hier
onvoldoende sprake van theorie- en kennisvorming. Later werd gesteld dat het meetbaar maken van
psychologische eigenschappen via tests en vragenlijsten, en het onderzoek naar de betekenis van
testscores leveren juist een wetenschappelijke bijdrage van eminent belang aan de ontwikkeling van
de psychologie. De beschikbaarheid van valide instrumenten vergroot de kans op een zinvolle
toetsing van theorieën en het verwerpen van onjuiste theorieën.
Janssen & van der Maas (1997): Onderzoek naar cognitieve oplossingsstrategieën bij de balanstaak.
Bouwmeester (2005): Onderzoek naar de ontwikkeling van transitief redeneren (afleiden van
logische relaties). Evident bewijs tegen de Theorie van Piaget, de informatieverwerkingstheorie en de
‘fuzzy-trace’ theory.
Heike Kamerlingh Onnes (1882): Leidde zijn vakgenoten aan ‘door meten tot weten’ te geraken.
2.2.3. De gangbare procedure voor het meten van psychologische eigenschappen.
Het toekennen van scores is nog geen ‘meten’. Men kan pas van meten spreken als vanuit dit
‘getelde aantal’ een conclusie volgt over de eigenschap in kwestie.
Stappenplan om tot meten te komen:
1. Identificatie van de te meten eigenschap.
Vaststellen wat de theorie is met betrekking tot de te meten eigenschap, of in kaart brengen van
rivaliserende theorieën van deze eigenschap. Echter is deze theorievorming maar matig ontwikkeld.
2. Operationalisering van de eigenschap.
Operationalisering= De specificatie van de operaties die nodig zijn om de eigenschap te meten. Bij
testen gaat het om hypothetische begrippen (constructen).
Eisen operationalisering:
Een domein van gedragingen wordt gedefinieerd die typisch zijn voor de bedoelde
eigenschap.
Het afstemmen van een domein van stimuli (items) op een domein van gedragingen, die aan
proefpersonen kunnen worden gepresenteerd om reacties uit te lokken die een indicatie
geven van de bedoelde eigenschap.
- Voorbeelden items: uitspraken, taken, vragen.
Een test bestaat uit een representatieve steekproef van items uit het itemdomein.
3. Onderzoek en kwantificering van reacties.
De reacties op tests zijn in eerste instantie kwalitatief (verbaal) en moet gekwantificeerd worden tot
kwantitatief (getallen).
4. Terugkoppeling naar de theorie.
Meet de test wat hij moet meten? Dan heb je een goed meetinstrument, maar ook evidentie voor de
theorie van de achterliggende eigenschap.
Representational measurement= Gaat er van uit dat er alleen sprake kan zijn van meting, indien de
relaties tussen meetwaarden (testscores) overeenkomen met de relaties die er in de empirie bestaan
tussen de ‘objecten’ waarover die meetwaarden iets zeggen.
Representational measurement en het meten van psychologische, hypothetische eigenschappen
gaan niet goed samen.
2.3. Definitie van een test.
Test= Systematische classificatie- of meetprocedure, waarbij het mogelijk is een uitspraak te doen
over 1 of meer empirisch-theoretisch gefundeerde eigenschappen van de onderzochte of over
specifiek niet-testgedrag, door uit te gaan van een objectieve verwerking van reacties van hem/haar,
in vergelijking tot die van anderen, op een aantal gestandaardiseerde, zorgvuldig gekozen stimuli.
5
