Hoorcollege 1 – Inleiding en basiskennis statistiek
Testtheorie (ook wel ‘psychometrie’)
Hoe kunnen we de kwaliteit van tests onderzoeken en verbeteren?
Construct = wat je meet (perfectionisme)
Itemscores = scores die aan de antwoorden zijn toegekend
Testscore = itemscores worden verwerkt, meestal opgeteld
Positie-driehoek over psychologische testen
Variantie-covariantiematrix Correlatiematrix
Varianties: XX, YY, WW 1’en: XX, YY, WW
Covarianties: XY, XW, YW Correlaties: XY, XW, YW
,Hoorcollege 2 – Eigenschappen van tests en items
Eigenschappen van psychologische test
1) Gericht op gedragsmeting (observeerbaar)
2) Systematisch (objectief)
3) Vergelijken van verschillende personen of personen over tijd
Type tests
Soorten tests:
• Presentatieniveautest (maximum performance test): vaardigheden meten
• Gedragswijzetest (typical performance test): o.a. eigenschappen en attitudes meten
Grote verschillen in testontwikkeling, maar amper in statistische analyse van scores.
Presentatieniveautest
Typen tests:
• Power tests = vaardigheden meten zonder tijdsdruk → hoe vaardiger, hoe beter.
• Speed tests = presentaties meten onder zware tijdsdruk → hoe vaardiger, hoe meer.
→ Bourdon dot concentration test (zie afbeelding)
Verschil in gebruik van testscore:
• Normgerichte tests = persoon vs. de rest van de populatie (persoonlijkheid)
• Criteriumgerichte tests = persoon vs. absolute standaard (tentamen)
Testmateriaal = set van stimuli
Testformulieren = instrument om de antwoorden op te noteren
Testhandleiding = heeft 4 criteria:
1) Exacte testinstructie
2) Verwerkingsprocedure
3) Normtabellen → nodig bij het interpreteren van scores
4) Bespreking van wetenschappelijke kwaliteiten → achtergrond en doel van de test
Testscores
Soorten meetniveaus
• Nominaal: categorieën met een naam (persoonlijkheidstypes)
• Ordinaal: gerangschikte categorieën, geen gelijke afstanden (marathonuitslag)
• Interval: even grote intervallen, zonder absoluut nulpunt (graden Celsius)
• Ratio: even grote intervallen, met absoluut nulpunt (afstand)
Testscores zijn de optelsom van itemscores
Itemscores zijn ordinaal, dus testscores ook.
Maar voor praktisch/statistisch gebruik doen we vaak of de testscore een interval is.
Spreiding testscores
Verschillen tussen mensen aantonen, kan alleen als er variantie is in de testscores.
Hoge variantie is dus wenselijk
,Testscore-variantie bestaat uit de itemscore-varianties en covariantie:
Multiple-choice items
Multiple-choice vragen worden dichotoom gescoord (goed = 1, fout = 0).
p = gemiddelde itemscore = proportie correcte antwoorden (39% scoort 1 → p = 0,39)
q = 1 – p = proportie incorrecte antwoorden (in dit voorbeeld a1 + a2 + a3)
Maximale itemscore-variantie bij p = q = 0,5
Gokkanscorrectie
Omdat mensen ook kunnen gokken, geldt p-waarde > a-waarde → er mag geen fout
antwoordalternatief zijn dat vaker wordt gekozen dan het goede antwoord.
Bij 4 antwoordalternatieven, is de kans bij gokken ¼ dus p moet boven 0,25 zijn.
1 goed, 3 fout:
Item 1: perfecte vraag
Item 2: onwenselijk (afleiders zijn te sterk)
Item 3: onwenselijk (te makkelijk)
Item 4: onwenselijk (te moeilijk en ongelijk)
5-point Likert schaal:
A: onwenselijk (weinig onderscheid) → populair
B: niet perfect (redelijk onderscheid) → enigszins impopulair
C: matig (weinig onderscheid) → populair
D: perfecte vraag (veel onderscheid)
Interbeoordelaarsbetrouwbaarheid = mate van overeenkomst tussen de oordelen van
verschillende beoordelaars → hoe meer overeenkomst, hoe beter de objectiviteit.
• Bij interval → correlatie
• Bij nominaal of ordinaal → Cohens kappa
Cohens kappa
Cohens kappa om de interbeoordelaarsbetrouwbaarheid te bepalen.
• 1 = perfecte overeenstemming
• 0 = geen samenhang (‘toeval’)
• < 0 = tegenovergestelde ideeën (heel onwenselijk)
, Cohens kappa berekenen
P0 = proportie van overeenkomst
Pt = proportie van overeenkomst bij toeval
Voorbeeld: 60 stageplaatsen toewijzen aan 100 studenten. Puur door toeval zullen
beoordelaars soms dezelfde categorie kiezen, Cohens kappa corrigeert voor deze toeval.
Overeenstemming in 16 + 36 = 52 van de 100 gevallen.
P0 = = 0,52
• A en B geven beide in = 0,60 van de gevallen een toewijzing.
• Bij onafhankelijk handelen verwacht je in 0,40 x 0,40 x 100 = 16 gevallen van beiden
een afwijzing en in 0,60 x 0,60 x 100 = 36 gevallen van beiden een toewijzing.
Pt = (16 + 36) / 100 = 0,52
In dit geval P0 = Pt → er is evenveel overeenstemming als verwacht bij toeval.
Kappa = (0,52 – 0,52) / (1 – 0,52) = 0
Kappa bij 3 categorieën:
P0 = 12/50 + 8/50 + 11/50 + 31/50 = 0,62
Pt = 0,12 + 0,12 + 0,10 = 0,33
Kappa = (0,62 – 0,33) / (1 – 0,33) = 0,43 → zwakke overeenkomst
Testtheorie (ook wel ‘psychometrie’)
Hoe kunnen we de kwaliteit van tests onderzoeken en verbeteren?
Construct = wat je meet (perfectionisme)
Itemscores = scores die aan de antwoorden zijn toegekend
Testscore = itemscores worden verwerkt, meestal opgeteld
Positie-driehoek over psychologische testen
Variantie-covariantiematrix Correlatiematrix
Varianties: XX, YY, WW 1’en: XX, YY, WW
Covarianties: XY, XW, YW Correlaties: XY, XW, YW
,Hoorcollege 2 – Eigenschappen van tests en items
Eigenschappen van psychologische test
1) Gericht op gedragsmeting (observeerbaar)
2) Systematisch (objectief)
3) Vergelijken van verschillende personen of personen over tijd
Type tests
Soorten tests:
• Presentatieniveautest (maximum performance test): vaardigheden meten
• Gedragswijzetest (typical performance test): o.a. eigenschappen en attitudes meten
Grote verschillen in testontwikkeling, maar amper in statistische analyse van scores.
Presentatieniveautest
Typen tests:
• Power tests = vaardigheden meten zonder tijdsdruk → hoe vaardiger, hoe beter.
• Speed tests = presentaties meten onder zware tijdsdruk → hoe vaardiger, hoe meer.
→ Bourdon dot concentration test (zie afbeelding)
Verschil in gebruik van testscore:
• Normgerichte tests = persoon vs. de rest van de populatie (persoonlijkheid)
• Criteriumgerichte tests = persoon vs. absolute standaard (tentamen)
Testmateriaal = set van stimuli
Testformulieren = instrument om de antwoorden op te noteren
Testhandleiding = heeft 4 criteria:
1) Exacte testinstructie
2) Verwerkingsprocedure
3) Normtabellen → nodig bij het interpreteren van scores
4) Bespreking van wetenschappelijke kwaliteiten → achtergrond en doel van de test
Testscores
Soorten meetniveaus
• Nominaal: categorieën met een naam (persoonlijkheidstypes)
• Ordinaal: gerangschikte categorieën, geen gelijke afstanden (marathonuitslag)
• Interval: even grote intervallen, zonder absoluut nulpunt (graden Celsius)
• Ratio: even grote intervallen, met absoluut nulpunt (afstand)
Testscores zijn de optelsom van itemscores
Itemscores zijn ordinaal, dus testscores ook.
Maar voor praktisch/statistisch gebruik doen we vaak of de testscore een interval is.
Spreiding testscores
Verschillen tussen mensen aantonen, kan alleen als er variantie is in de testscores.
Hoge variantie is dus wenselijk
,Testscore-variantie bestaat uit de itemscore-varianties en covariantie:
Multiple-choice items
Multiple-choice vragen worden dichotoom gescoord (goed = 1, fout = 0).
p = gemiddelde itemscore = proportie correcte antwoorden (39% scoort 1 → p = 0,39)
q = 1 – p = proportie incorrecte antwoorden (in dit voorbeeld a1 + a2 + a3)
Maximale itemscore-variantie bij p = q = 0,5
Gokkanscorrectie
Omdat mensen ook kunnen gokken, geldt p-waarde > a-waarde → er mag geen fout
antwoordalternatief zijn dat vaker wordt gekozen dan het goede antwoord.
Bij 4 antwoordalternatieven, is de kans bij gokken ¼ dus p moet boven 0,25 zijn.
1 goed, 3 fout:
Item 1: perfecte vraag
Item 2: onwenselijk (afleiders zijn te sterk)
Item 3: onwenselijk (te makkelijk)
Item 4: onwenselijk (te moeilijk en ongelijk)
5-point Likert schaal:
A: onwenselijk (weinig onderscheid) → populair
B: niet perfect (redelijk onderscheid) → enigszins impopulair
C: matig (weinig onderscheid) → populair
D: perfecte vraag (veel onderscheid)
Interbeoordelaarsbetrouwbaarheid = mate van overeenkomst tussen de oordelen van
verschillende beoordelaars → hoe meer overeenkomst, hoe beter de objectiviteit.
• Bij interval → correlatie
• Bij nominaal of ordinaal → Cohens kappa
Cohens kappa
Cohens kappa om de interbeoordelaarsbetrouwbaarheid te bepalen.
• 1 = perfecte overeenstemming
• 0 = geen samenhang (‘toeval’)
• < 0 = tegenovergestelde ideeën (heel onwenselijk)
, Cohens kappa berekenen
P0 = proportie van overeenkomst
Pt = proportie van overeenkomst bij toeval
Voorbeeld: 60 stageplaatsen toewijzen aan 100 studenten. Puur door toeval zullen
beoordelaars soms dezelfde categorie kiezen, Cohens kappa corrigeert voor deze toeval.
Overeenstemming in 16 + 36 = 52 van de 100 gevallen.
P0 = = 0,52
• A en B geven beide in = 0,60 van de gevallen een toewijzing.
• Bij onafhankelijk handelen verwacht je in 0,40 x 0,40 x 100 = 16 gevallen van beiden
een afwijzing en in 0,60 x 0,60 x 100 = 36 gevallen van beiden een toewijzing.
Pt = (16 + 36) / 100 = 0,52
In dit geval P0 = Pt → er is evenveel overeenstemming als verwacht bij toeval.
Kappa = (0,52 – 0,52) / (1 – 0,52) = 0
Kappa bij 3 categorieën:
P0 = 12/50 + 8/50 + 11/50 + 31/50 = 0,62
Pt = 0,12 + 0,12 + 0,10 = 0,33
Kappa = (0,62 – 0,33) / (1 – 0,33) = 0,43 → zwakke overeenkomst
