Testtheorie en Testdiagnostiek
Uitwerking hoorcolleges
Inhoud
Hoorcollege 1 - Inleiding en basiskennis statistiek ................................................................................. 2
Hoorcollege 2 - Definitie en kenmerken van een test............................................................................. 6
Hoorcollege 3 - Item- en testconstructie ............................................................................................. 10
Hoorcollege 4 - Afnemen en verwerken.............................................................................................. 15
Hoorcollege 5 - Betrouwbaarheid: Klassieke Testtheorie ..................................................................... 20
Hoorcollege 6 - Bepaling van de betrouwbaarheid in de praktijk .......................................................... 23
Hoorcollege 7 - Testconstructie op basis van betrouwbaarheid ............................................................ 27
Hoorcollege 8 - Item-respons-theorie en het Raschmodel.................................................................... 32
Hoorcollege 9 - Item-Respons Theorie Modellen ................................................................................. 36
Hoorcollege 10 - Toepassingen van de Item-Respons Theorie .............................................................. 40
Hoorcollege 11 - Validiteit en betekenis ............................................................................................. 44
Hoorcollege 12 - Bijdrage test in beslissingsproces .............................................................................. 49
Hoorcollege 13 - COTAN .................................................................................................................... 54
1
,Hoorcollege 1 - Inleiding en basiskennis statistiek
Als we het gedrag of eigenschappen van een individu willen meten, dan gebruiken we vaak een
test met veel items. Er wordt een test gemaakt en aan de antwoorden worden scores
toegekend, hier komt een bepaalde testscore uit. Aan deze testscore geven wij een interpretatie
over het construct dat we hebben gemeten.
Om te weten of een bepaalde test het construct wel goed meet, is het handig om een aantal
vragen te beantwoorden. Je moet weten of de testscores wel zinvol te interpreteren zijn, of de
test wel het juiste construct meet, of de vragen wel van goede kwaliteit zijn, of er wel genoeg
vragen in de test zitten, en hoe groot het verschil is tussen de verschillende testscores.
Positie-driehoek over psychologische testen
Er zijn drie verschillende standpunten over psychologische testen. Allereerst
heb je de doemdenker, deze persoon gelooft niet dat een psychologische test
iets over een psychologisch construct of gedrag kan zeggen, maar is hier wel
in geïnteresseerd. De ongeïnteresseerde vindt constructen die gemeten
worden met een psychologische test niet interessant. Als laatste heb je de
gelovige, deze persoon neemt de testscore en de interpretatie daarvan aan als waar, zonder
hier kritisch naar te kijken. Het beste zou zijn als je op de rode stip zit, je ziet het nut in van een
psychologische test, vindt dit interessant, maar kijkt ook kritisch naar een test.
Psychologische testen
Psychologische tests worden veel gebruikt om bepaalde constructen in de psychologie te
meten. Het is namelijk de handigste manier om aan gegevens te komen en wordt toegepast in
alle werkvlakken van de psychologie. Je hebt wel een goede test nodig om het construct goed
en nauwkeurig te kunnen meten. Deze goede test heb je echter niet zomaar, je moet er
voortdurend goed over nadenken, je hebt goede kennis nodig over de eigenschap die je wilt
meten en je moet de statische methode goed gebruiken. In deze cursus wordt er geholpen om
dit te bereiken.
Je gebruikt psychologisch onderzoek om eigenschappen te onderzoeken die niet direct
observeerbaar zijn. Voor eigenschappen die niet te observeren zijn, heb je altijd een test nodig.
Ook in de praktijk worden psychologische testen nog vaak gebruikt en hebben deze een grote
invloed op beslissingen.
Statistische basiskennis
Er zijn drie testen, namelijk X, Y en W. Deze test is Respondent 𝑋 𝑌 𝑊
afgenomen bij vijf respondenten. Hiernaast zie je de 1 6 0 90
testscores van deze vijf respondenten. 2 9 0 130
3 7 0 100
4 10 1 120
5 8 0 110
2
,Het gemiddelde reken je uit door alle scores op Respondent 𝑋 𝑌 𝑊
de test op te tellen en deze te delen door het 1 6 0 90
aantal respondenten. De officiële notatie zie je 2 9 0 130
hiernaast, allereerst neem je de scores van de 3 7 0 100
individuen (Xi) en het somteken geeft aan dat je 4 10 1 120
de scores van de eerste tot en met de N’de respondent (alle 5 8 0 110
respondenten dus) bij elkaar optelt. Vervolgens deel je deze som Som 40 1 550
door het aantal respondenten (N). In ons voorbeeld geeft dit voor Gemiddelde 8 0,2 110
test X een gemiddelde van 8 (6 + 9 + 7 + 10 + 8 = 40, en dit deel
je door 5 = 8), voor test Y een gemiddelde van = 0,2 en voor
test W een gemiddelde van = 100.
De deviatiescore is de Respondent 𝑋 𝑌 𝑊 𝑥 𝑦 𝑤
afwijking van de score van
1 6 0 90 -2 -0,2 -20
een persoon van het gemiddelde. Dit
2 9 0 130 1 -0,2 20
geven we aan met een kleine x. We
3 7 0 100 -1 -0,2 -10
berekenen dit door de grote X te nemen,
4 10 1 120 2 0,8 10
dus de individuele score van een persoon,
5 8 0 110 0 -0,2 0
en hier het gemiddelde van af te halen. In
Som 40 1 550 0 0 0
ons voorbeeld geeft dit voor respondent 1
Gemiddelde 8 0,2 110 0 0 0
bij test X een afwijking van 6 – 8 = -2, bij
test Y een afwijking van 0 – 0,2 = -0,2 en bij test W een afwijking van 90 – 110 = -20.
Eigenlijk reken je hierbij de gecentreerde score van een respondent uit, zoals eerder besproken
bij MTO-D. De som en het gemiddelde van deze gecentreerde scores is nul. Dit is niet erg
verassend, want we hebben het gemiddelde van de testscores van elke individuele score eraf
gehaald.
Het interpreteren van deze deviatiescore is echter lastiger. Je weet dat respondent 1 op test X -2
lager scoort dan het gemiddelde, maar je weet niet hoe laag hij precies soort op deze variabele
en wat een score van -2 inhoudt. Hiervoor moeten we onze testscores gaan standaardiseren.
We berekenen de variantie (S2(X)) door de afwijkingsscores van alle respondenten
in het kwadraat te doen en deze daarna op te tellen. Vervolgens deel je deze door
het aantal respondenten (N). Het is belangrijk om ze eerst in het kwadraat te doen
en dan pas op te tellen, want hiermee maak je alle afwijkingen positief. Als je dit
niet doet, krijg je een score van nul. Dit kan je ook aflezen in de formule, want je doet altijd eerst
de handelingen die na het somteken staat, en daarna ga je ze pas sommeren. In het voorbeeld
geeft dit voor test X een Respondent 𝑋 𝑌 𝑊 𝑥 𝑦 𝑤 𝑥2 𝑦2 𝑤2
variantie van = 2, 1 6 0 90 -2 -0,2 -20 4 0,04 400
voor test Y een 2 9 0 130 1 -0,2 20 1 0,04 400
variantie van 3 7 0 100 -1 -0,2 -10 1 0,04 100
0, = 0,16 en voor 4 10 1 120 2 0,8 10 4 0,64 100
test W een variantie 5 8 0 110 0 -0,2 0 0 0,04 0
van = 200. Som 40 1 550 0 0 0 10 0,80 1000
Gemiddelde 8 0,2 110 0 0 0 2 0,16 200
3
,Met behulp van de variantie kan je erg makkelijk de standaarddeviatie
(S(X)) uitrekenen door de wortel van de variantie te nemen. Voor test X
geeft dit een standaarddeviatie van √2 = 1,41. Deze standaarddeviatie
hebben we nodig om de Z-scores uit te kunnen rekenen.
Z-scores, ook wel standaardscores, zijn een manier om scores te standaardiseren.
Je berekent de Z-score door de afwijking van X, ook wel de deviatiescore (𝑥), te
delen door de standaarddeviatie (S(X)). In ons voorbeeld heeft respondent 1 een
Z-score op test X van -,41 = -1,41, op test Y een Z-score van -0,,4 = -0,5 en op test W
een Z-score van -,1 = -1,41. Net als bij de gecentreerde variabelen is de som en het
gemiddelde van de Z-scores altijd nul. Dit komt omdat de gemiddelde persoon bij Z-scores nul
scoort. De standaarddeviatie is altijd 1, hierdoor weet je precies hoe de scores verdeeld zijn.
Respondent 𝑋 𝑌 𝑊 𝑥 𝑦 𝑤 zx zy zw
1 6 0 90 -2 -0,2 -20 -1,41 -0,5 -1,41
2 9 0 130 1 -0,2 20 0,71 -0,5 1,41
3 7 0 100 -1 -0,2 -10 -0,71 -0,5 -0,71
4 10 1 120 2 0,8 10 1,41 2 0,71
5 8 0 110 0 -0,2 0 0 -0,5 0
Som 40 1 550 0 0 0 0 0 0
Gemiddelde 8 0,2 110 0 0 0 0 0 0
StDev 1,41 0,4 14,1 1,41 0,4 14,1 1 1 1
Samenhang
Door middel van de covariantie kunnen we kijken in welke mate de twee
variabelen variëren. Er wordt gekeken of je hoog scoort op de ene test als je
ook al hoog had gescoord op de andere test. Je berekent de covariantie
tussen test X en Y door per respondent de afwijkingsscore van X te
vermenigvuldigen met de afwijkingsscore van Y. Deze scores tel je op en deel je door het aantal
respondenten. Je berekent dus als het ware het gemiddelde van het product van x en y. In ons
voorbeeld geeft dit een covariantie tussen X en Y van 0,4 + -0,2 + 0,2 + 1,6 + 0 = = 0,4.
Aan de uitkomst kan je enkel aflezen of de testen positief of negatief met elkaar samenhangen.
Om te weten hoe sterk ze samenhangen, moet je de covariantie gaan standaardiseren.
Respondent 𝑋 𝑌 𝑊 𝑥 𝑦 𝑤 𝑥𝑦 𝑥𝑤 𝑦𝑤
1 6 0 90 -2 -0,2 -20 0,4 20 4
2 9 0 130 1 -0,2 20 -0,2 20 -4
3 7 0 100 -1 -0,2 -10 0,2 10 2
4 10 1 120 2 0,8 10 1,6 20 8
5 8 0 110 0 -0,2 0 0 0 0
Som 40 1 550 0 0 0 2 90 10
Gemiddelde 8 0,2 110 0 0 0 0,4 18 2
StDev 1,41 0,4 14,1 1,41 0,4 14,1
4
, Om wel de sterkte van de samenhang af te kunnen lezen,
zetten we deze score om naar correlatie. Dit is ook een maat
van samenhang, maar deze is gestandaardiseerd. Bij een
correlatie van 1 is de samenhang perfect en bij een correlatie van -1 is er totaal geen
samenhang. Je berekent de correlatie door de covariantie te delen door de standaarddeviatie X
die vermenigvuldigend is met de standaarddeviatie van Y. In ons voorbeeld is de correlatie
tussen test X en Y 0,4 / (1,41 x 0,4) = 0,71. Dit is een sterke correlatie.
De covariantie kan je duidelijk weergeven in een variantie-covariantie 𝑋 𝑌 𝑊
matrix. Je vult hier de covarianties in tussen je variabelen en in de 𝑋 2 0,4 18
diagonale vakken vul je de varianties in. In ons voorbeeld is de 𝑌 0,4 0,16 2
covariantie tussen test X en Y is 0,4, deze kan je op twee plekken 𝑊 18 2 200
invullen. Ook de covariantie tussen X en W, en Y en W kan je op twee
plekken invullen.
De correlatie kan je duidelijk weergeven in een correlatiematrix. Je vult
𝑋 𝑌 𝑊
hier de correlaties in tussen je variabelen en in de diagonale vakken vul
𝑋 1 0,71 0,9
je het getal 1 in. Je vult hier het getal 1 in, omdat de correlatie tussen
𝑌 0,71 1 0,35
test X en test X perfect is. In ons voorbeeld is de correlatie tussen test X
𝑊 0,9 0,35 1
en Y is 0,71, ook hier kan je deze op twee plekken invullen. De
correlatie tussen X en W, en Y en W kan je ook op twee plekken invullen.
Deze matrix is met name interessant omdat je hier de sterkte van de samenhang af kan lezen.
5