Testtheorie en testgebruik samenvatting
Testtheorie en testgebruik les 1
Afleidingen van formules zijn geen tentamenstof! Factor analyse is wel tentamenstof!
De testtheorie is sterk gericht op de assumptie dat er tussen mensen waardevolle en valide
verschillen zijn (individuele verschillen, bijv. persoonlijkheidsverschillen). McKeen Catell was de
eerste hoogleraar psychologie ter wereld. Hij was een van de eerste die systematische onderzoek
deed naar het kwantificeren van individuele verschillen. Maar zijn test was niet echt een
psychologische test, hij was meer geïnteresseerd in fysiologische verschillen. Later komen de
psychologische tests meer naar voren, hiermee wilden ze verder gaan dan enkel het meten van
individuele verschillen. Ze wilden met deze testen voorspellingen kunnen doen. Het doel was:
uitspraak doen die een voorspelling, classificatie of beschrijving mogelijk maakt m.b.t. het
onderzochte individu/de onderzochte groep. Psychologische tests meten psychologische
eigenschappen. Deze eigenschappen zijn niet of moeilijk direct te observeren (t.o.v. bijv. lengte).
Voorbeeld: stel dat je lengte zou willen meten met (psychologische) tests. Dus je meet lengte als een
soort construct door bepaalde zaken te checken. Voorbeelden van items om lengte te meten zijn
dan: ik stoot vaak mijn hoofd, ik heb moeite om kleren te kopen die groot genoeg zijn, etc. In het
geval van lengte zijn dit geen perfecte indicatoren waardoor het een beetje omslachtig wordt. Het
principe komt overeen met hoe we psychologische eigenschappen meten.
Testscores zijn geen absolute waarheid. In het algemeen is het zo dat je evidentie probeert te
verzamelen uit andere bronnen. Dus een psycholoog dient bij voorkeur met tests tot een oordeel te
komen op basis van een combinatie van verschillende waarnemingen. Het is dus belangrijk om
andere informatie ook mee te nemen. Dus er moet geen blind testgebruik zijn, er moet ook rekening
gehouden worden met de context en de persoon bij keuze tests. Maar dan moet je wel zorgen dat de
informatie die je gebruikt als alternatief voor de test ook valide is. Dus een even kritische houding
t.o.v. de kwaliteit van andere waarnemingen. Meer is niet altijd beter.
Tests worden heel veel gebruikt, bijv. in het onderwijs & carrière, daarnaast ook in de GGZ.
Meten in sociale wetenschappen. Voorbeeld intelligentie in psychologische test. We creeeren een
meetinstrument, het meetinstrument is de test zelf in combinatie met het meetmodel (je geeft
scores aan de antwoorden die worden gegeven). De testscore is de som van de
itemscores (alle aparte scores), dit wordt weergegeven als X g. De Xg zijn dus 0/1.
Wat betekenen de metingen?
- Testscores: 0, 1, 2, 3, 4, etc.
- Criterium: kan zijn bijv. 43 of hoger is geslaagd, 42 of lager is gezakt. Het kan ook zo zijn dat
het is: uitnodigen op gesprek bij 16 of hoger, niet uitnodigen bij 15 of lager.
- Normen: hiermee kunnen we scores vergelijken. Dit doen we o.b.v. gemiddelde/spreiding
normale verdeling, z-scores.
Notatie:
- k = totaal aantal items in een test
- Items kennen indices g en h,
o g, h, = 1, …, k
- Xg en Xh = scores op items g en h
o Dichotome scores: Xg = 0, 1 (ja of nee)
, o Polytome scores: Xg = 0, …, m (bijv. Likert schaal)
Zodat aantal geordende categorieën is m + 1
- X = ruwe score (ook wel totaalscore)
o Ongewogen som van de k itemscores in de test (elk item
wordt op dezelfde wijze gewogen, telt dus even zwaar)
- Personen worden aangeduid met i
o We gaan uit van scores van n personen dus i = 1, .., n
- Xig = score persoon i op item g
- Xi = ruwe score van persoon i
Voorbeeld vragenlijst
Bij elk item zie je dat je kan antwoorden ja/nee, dus je krijgt een score X g van
1/0. Er zijn k aantal items.
Data matrix met item scores
Hier zie je drie personen (n = 3). Je ziet 5 items (k = 5). De 1en en 0 zijn de Xig, dit
zijn de scores van persoon i op item g. De totaalscores van elke persoon zijn de
Xi.
Wat we graag zouden willen in een test is dat er spreiding is in de totaalscores. Als een test
door iedereen precies hetzelfde gemaakt wordt, is er wat mis met de test. Het kan niet dat
iedereen evenveel kennis heeft. We veronderstellen dat er individuele verschillen zijn, daarom
is het belangrijk dat er spreiding is in de totaalscores op een test.
- Variantie: dit is een maat voor spreiding die veel gebruikt wordt, het is de gemiddelde
afwijking scores in de steekproef. Dit wordt vaak gebruikt als indicatie voor de spreiding
tussen scores in de steekproef. De wortel van de variantie is de standaarddeviatie.
- Spreiding van dichotome scores. De variantie van dichotome scores (X g) kun je ook
anders schrijven. Dit is dan gelijk aan pg(1 – pg) = pgqg.
o pg staat voor de proportie 1-en in de steekproef, dit staat voor de
moeilijkheid van de vraag. Als veel mensen de vraag goed maken, dan is
de pg waarde hoog, dan is het dus een makkelijk item.
o Proportie 0-en = 1 – pg = qg
Samenhang:
- Covariantie is een maat voor lineaire samenhang en komt veel voor bij betrouwbaarheid. De
covariantie is een maat voor de lineaire samenhang tussen twee variabelen X en Y. Het is de
mate waarin X en Y samen variëren. De covariantie geeft de richting van een verband aan,
niet de sterkte van het verband.
o S(X,Y) > 0 positieve lineaire samenhang
o S(X,Y) < 0 negatieve lineaire samenhang
o S(X,Y) = 0 Geen lineaire samenhang
Het is het gemiddelde product van de afwijkingsscores in de steekproef. Je kan alleen zeggen
dat de voorbeelden allebei een positief verband tonen, niet dat de een sterker is dan de
ander. Er wordt geen rekening gehouden met de invloed van de variantie van X en Y op de
covariantie, als we dat wel doen, dan krijg je een correlatie. Dan standaardiseer je de
covariantie, dat is de correlatie. Een grote variantie van een of beide variabelen leidt tot veel
grote afwijkingsscores en dus tot grote producten van de afwijkingsscores in de formule voor
de covariantie.
o Voor interpretatie van samenhang: makkelijker werken met gestandaardiseerde
scores: correlatie. We gebruiken de covariantie later wel om andere indicatoren te
berekenen.
, - Lineaire combinaties: dit is de som van de variabelen (al dan niet
gewogen). Lineaire combinaties spelen een belangrijke rol bij
betrouwbaarheid. Gemiddelde van een somvariabele is gelijk aan de
gemiddelde van de som van de individuele variabelen waaruit die
somvariabele bestaat. Dit kan op twee manieren. Of eerst gemiddelde
van de items nemen en dan sommeren, of je kunt de totaalscores
berekenen en daaruit het gemiddelde nemen.
- Variantie van een somvariabele X
Als je de variantie van een lineaire combinatie uit wil rekenen, moet je
ook de covarianties berekenen naast dat je de som van de varianties van de te sommeren
variabelen pakt. Belangrijk is hier dat als je een variantie van een lineaire combinatie wil
uitrekenen, dat je niet alleen kijkt naar de varianties van de individuele variabelen waaruit de
somvariabele bestaat, maar ook naar alle covarianties tussen de te sommeren variabelen.
Voorbeeld. Variantie-covariantie matrix: de informatie die je nodig hebt om de
variantie van een somscore te berekenen is gemakkelijk weer te geven in een
variantie-covariantie matrix. In het voorbeeld zie je 3 variabelen (items). In de
diagonaal (blauw) zie je de varianties van de 3 losse items. Deze kun je bij
elkaar optellen voor het eerste gedeelte van de formule. Voor de covarianties
kijk je naar alle rode elementen in de matrix. We kunnen niet zeggen of het verband tussen item 1 en
3 sterker is dan het verband tussen item 1 en 2 want we weten niet de individuele varianties. Dus het
is de som van alle elementen in de variantie-covariantiematrix. Elke covariantie wordt twee keer
meegeteld. Dus het enige wat je moet doen als je de variantie van een lineaire combinatie van een
aantal variabelen moet berekenen is wat hierboven staat. Dit is relevant want de variantie van de
totaalscore vaak van interesse is, dit reflecteert de individuele verschillen. Dit gebruiken we later
voor het uitrekenen van de betrouwbaarheid, daarin zit de variantie van de totaalscore.
Kenmerken van een test. Er zijn zes kenmerken van een goede test:
Efficiëntie:
- De test is alleen maar gericht op het meten van het hypothetisch construct, zonder andere
storende factoren.
Standaardisatie:
- Testprocedure moet voor alle respondenten gelijk zijn.
- Zelfde instructie, zelfde tijdslimiet, zelfde condities.
Casus: over een leerling op een middelbare school bestaat het vermoeden dat ze sociaal emotionele
problemen heeft. Om dit te onderzoeken wordt een sociaal-emotionele vragenlijst afgenomen van
100 items. Zij moet deze vragenlijst zelf invullen.
Probleem: de leerling is ernstig dyslectisch en heeft grote moeite met lezen.
Deze vragenlijst over sociaal-emotionele problemen kan interfereren met dyslexie en kan dus voor
deze leerling heel anders zijn dan voor iemand die geen dyslexie heeft. Een voorbeeld van een
oplossing zou kunnen zijn dat je de vragenlijst aan haar voor leest, maar dit is niet per se een goed
idee want het kan de standaardisatie verstoren?
Normering:
- Beschikbaarheid van normen.
, - Vergelijkbaarheid van testscores.
Objectiviteit:
- Het mag niet uitmaken wie de beoordelaar is.
- Openheid en reproduceerbaarheid van testprocedure
Dit heeft te maken met de beoordeling. Hoe kun je onderzoeken in hoeverre beoordelaars op
eenzelfde manier scores toekennen? Dit kan door verschillende maten te berekenen. Bij correlatie
bijvoorbeeld kan je Kendalls tau, Spearmans rho en Cohen’s kappa uitrekenen. Zij geven de correlatie
tussen rangscores weer, hieruit kun je halen in hoeverre de objectiviteit gewaarborgd is.
Betrouwbaarheid:
- Een test heeft altijd een bepaalde mate van betrouwbaarheid, dit is de mate waarin bij
herhaalde metingen dezelfde score behaald wordt.
Validiteit:
- Dit is de mate waarin de test aan zijn doel beantwoordt.
Dit zijn een aantal elementen die een goede test onderscheidt van een slechte test.
Typen tests. Er zijn verschillende indelingen hiervoor, een daarvan is indeling naar testgedrag. Er zijn
twee soorten testgedrag:
1. Test of maximum performance (ook wel test voor prestatieniveau genoemd). Hierbij kun je
denken aan bijvoorbeeld een tentamen, IQ test of een cognitieve capaciteiten test. Met deze
tests probeer je een maximale score te behalen. Hierbij zijn de antwoorden vaak goed/fout
en is het vaak high-stakes. Er zijn bijvoorbeeld algemene niveautests (enkelvoudig) zoals bijv.
de IQ test of cognitieve capaciteiten tests. Voorbeelden hiervan zijn WAIS (volwassenen),
WISC (kinderen), NIO (groepsgewijs). Andere voorbeelden hiervan zijn tests voor
geschiktheid (selectie leger, eindtoets Cito, decentrale selectie psychologie).
2. Test of typical performance (ook wel test voor gedragswijze genoemd), hierbij moet je
denken aan persoonlijkheidstests, motivatie en klinische schalen. Hierbij gaat het erom dat
de test weergeeft hoe je je normaal gedraagt. Hierbij zijn de antwoorden vaak niet
goed/fout, maar wordt er vaker gevraagd naar voorkeuren, meningen of gedragstendenties.
Het is vaak low-stakes. Voorbeeld van een test voor gedragswijze zijn observatietests. Het
kan dan zijn dat er wordt gekeken naar bijvoorbeeld taak uitvoeren. Voorbeelden zijn
assessment centers of the strange stiuation (hechting/attachment). Zelfbeoordelingsschalen
worden ook veel gebruikt hiervoor. Voorbeelden zijn NEO-PI/IPIP, attitudevragenlijsten,
interessevragenlijsten of klinische vragenlijsten.
Er zijn wel problemen bij tests voor gedragswijze. In tegen stelling tot maximum performance tests,
zijn de constructen in test voor typical performance vaak minder stabiel. Een ander probleem is high-
stakes context, dit zijn contexten waar veel van afhangt. Typical performance wordt dan maximum
performance. Bijv. je wilt graag aangenomen worden voor een baan (maximum performance, je wilt
je best doen), maar je gebruikt een typical performance test, dan kan het zo zijn dat je het invult met
een bepaalt idee. Hierdoor kan faking ontstaan (faking good of faking bad). Dit kan dus een probleem
worden want je doet je beter/slechter voor dan je eigenlijk bent, dit is een gevaar voor de validiteit
van de vragenlijst.
Typen test: indeling naar testinstructie/afname
1. Snelheidstest (ofwel speedtest). Hierbij zijn er veel makkelijke items met een krappe
tijdslimiet. Bijv. speedtest technisch lezen. De p-waarde van de items zijn in het algemeen
hoog bij de speedtest omdat de termen vrij makkelijk zijn.
