Hoorcolleges testtheorie
Hoorcollege 1
Inleiding en basiskennis statistiek
Empirische wetenschap in de psychologie heeft 1 groot probleem: alles wat interessant
geacht wordt, is niet direct te observeren.
- Oplossing: psychologische tests meten niet, direct observeerbare eigenschappen.
- Testtheorie: wat is een goede test, hoe weten we dat die meet wat het meten moet.
Testtheorie/psychometrie: hoe kunnen we de kwaliteit van tests onderzoeken en
verbeteren?
- Zonder goede tests is psychologie geen wetenschap en kan het niet bijdragen aan de
maatschappij.
- Een goede test:
(1) Maakt een inferentie vanuit meetbaar gedrag over een niet te meten construct.
(2) Voor onze interpretatie moeten scores valide zijn, de scores moeten theoretisch
gelinkt zijn aan het construct.
(3) Het construct zelf is een theoretisch/hypothetisch concept, we meten deze door
te operationaliseren.
- Psychometrie kijkt naar verschillende eigenschappen van tests, voornamelijk de
volgende 3 zijn belangrijk:
o Type informatie die ontstaat door afname van de test
o De betrouwbaarheid van data van psychologische tests
o Problemen met de validiteit van de verkregen data
- Problemen van psychologische tests:
o Complexiteit van psychologische fenomenen
o Responsstijl
o Biases
o Scoregevoeligheid: discriminerend vermogen
Voorbeelden:
- Narcisme: 1 stelling → psychologische eigenschappen zijn niet te meten door er
direct naar te vragen
- Perfectionisme: vaak, soms, nooit → conclusie is niet valide
o Meet de test wel perfectionisme?
o Zijn de vragen van goede kwaliteit?
o Zijn er genoeg vragen in de test?
o Zit er een groot verschil tussen de scores die verschillende conclusies
opleveren?
Format van een psychologische test
Items als indicatoren voor een construct (perfectionisme):
1. Aan antwoorden worden scores toegekend (itemscores; omzetten van kwalitatief
naar kwantitatief)
2. Itemscores worden verwerkt tot een testscore (e.g. optellen)
, 3. Testscores worden geïnterpreteerd en gebruikt voor een uitspraak over alle
individuen.
Statistische basiskennis
Descriptieve statistiek: gemiddelde, variantie, standaarddeviatie, z-scores, covariantie en
correlatie.
Gemiddelde en deviatiescore
Xi: i=1 t/m i=N
Gemiddelde: vertelt iets over de groep als geheel
Deviatiescore= afwijkingsscore; afwijking van het gemiddelde
Verdeling wordt gecentreerd, gemiddelde wordt 0
Variantie: hoeveel totale differentiatie bestaat er onder de scores? Totale deviatiescore van
alle respondenten.
- Variantie van 0: alle scores zijn gelijk. SS= kwadraat van deviatiescores opgeteld.
- Kwadraat van deviatiescores optellen, delen door N
Standaarddeviatie: gemiddelde deviatiescore/afwijking van het gemiddelde. Wortel van de
variantie
- Hoeveel mensen gemiddeld afwijken van het gemiddelde.
- Testtheorie: altijd delen door n, niet door n-1
Standaardscores: z-scores
Gemiddelde van 0, standaarddeviatie van 1
Standaardiseren: deviatiescore delen door de standaarddeviatie; prestatie van persoon is
objectiever te bekijken.
Gemiddelde van z-score: altijd 0
Variantie van z-score: altijd 1, wordt ook gecentreerd bij z-scores
,Covariantie en correlatie
Vaak zijn we geïnteresseerd in de samenhang tussen meer
variabelen, in plaats van alleen naar een enkele variabele te kijken.
Covariantie: de mate waarin 2 variabelen co-variëren/variantie delen.
Dit gebeurt als de afwijkingsscore van de ene variabele samenhangt
met een andere variabele.
- Positieve scores horen samen te hangen met andere positieve
scores
- Som van producten van de afwijkingsscores (xy)
- Niet gestandaardiseerd; dus zegt weinig over grootte van relatie
Correlatie: gestandaardiseerde covariantie
- Standaardiseren omdat verschillende variabelen verschillende ordes van grootte
kunnen hebben, dit kan verwarrend zijn. Correlaties lopen van -1 tot
+1.
- Covariantie delen door de producten van de standaarddeviaties van
beide variabelen.
Variantie-covariantiematrix
Linksboven → rechtsonder: variantie
Buitendiagonaal: spiegel op diagonaal → covariantie
Correlatiematrix
Correlatie van variabele met zichzelf= 1 → diagonaal
Buitendiagonaal: correlaties
Hoorcollege 2: “Eigenschappen van test en items”
Wat is een psychologische test?
- Cronbach (1960): een systematische procedure voor het vergelijken van gedrag van 2
of meer mensen.
o Brede definitie: meer dan pen-papier tests
o Algemeen doel: ontdekken en kwantificeren van intra- en interindividuele
verschillen.
- Zo’n procedure kan vele vormen aannemen:
o Multiple choice vaardigheidstest
o Open-ended persoonlijkheidsvragenlijst
o Systematische gedragsobservatie
o Rorschach inktvlekkentest
- 3 cruciale eigenschappen:
o Gericht op gedragsmeting (observeerbaar)
o Systematisch (objectief)
o Vergelijken van verschillende personen (of binnen personen over tijd):
uitspraken kunnen doen over andere mensen of populaties.
Typen tests:
, Psychologische test kan in verschillende vormen voorkomen, er zijn verschillende typen
tests:
- Prestatieniveau/maximum test versus gedragswijze/typical test:
o Prestatieniveautests voor meten vaardigheden; zo hoog mogelijk presteren,
score laat zien wat je maximaal kan.
o Gedragswijzetests/typical test voor het meten van o.a.
persoonlijkheidseigenschappen en attitudes, wat iemand typeert, er is geen
goed of fout antwoord bij vragen.
o Grote verschillen voor de aanpak van de testontwikkeling, na ontwikkeling is
het onderzoek naar de kwaliteit van de test relatief gelijk.
o Nauwelijks verschillen voor statistische analyse van testscores
- 2 types tests voor prestatieniveau: ‘power’ en ‘speed’ tests
o Power test meet vaardigheid zonder tijdsdruk → meer vaardige mensen
maken meer vragen goed
o Speed test meet prestaties onder zware tijdsdruk, vragen zijn van triviale
moeilijkheid → meer vaardige mensen beantwoorden meer vragen
o Bourdon dot concentratie test (voorbeeld van speed test)
- Verschillende doelen van tests; normgericht of criteriumgericht:
o Normgerichte tests vergelijken personen met de rest van de populatie, goede
normgegevens over deze populatie zijn belangrijk!! (E.g. hoog vergeleken met
de rest van de populatie)
o Criteriumgerichte tests vergelijken personen met een absolute
standaard/cutoff testscore; testoordeel staat los van prestatieniveau in de
populatie (e.g. tentamen).
▪ Er moet een keuze gemaakt worden; mensen worden ingedeeld in 2
groepen: slagen versus zakken.
▪ Geen problemen met wat de populatie is en of de proefpersoon bij de
populatie toebehoort.
Wat hoort er bij een psychologische test?
- Testmateriaal; rakit: intelligentietesten voor jonge kinderen
- Testformulieren: van antwoord naar score= beoordeling
o Itemscores worden zo bepaald dat ze indicatief zijn voor het te meten
construct: hogere itemscore= ‘hoger’ op de eigenschap
o Testscore is vaak de optelsom van de itemscores, uitkomst die gebruikt wordt
- Testhandleiding; 4 belangrijke componenten:
o Exacte testinstructie; hoe de score geïnterpreteerd moet worden
o Verwerkingsprocedure
o Normtabellen; hoe staat de score in verband tot scores van anderen
o Bespreking van wetenschappelijke kwaliteiten; wat zijn de uitgangspunten
van de test en wat is de waarde ervan.
Meetniveau van een testscore
- Testscore is een getal, de interpretatie van dit getal hangt af van het meetniveau van
de testscore:
- Nominaal; categorisatie zonder waardeoordeel
Hoorcollege 1
Inleiding en basiskennis statistiek
Empirische wetenschap in de psychologie heeft 1 groot probleem: alles wat interessant
geacht wordt, is niet direct te observeren.
- Oplossing: psychologische tests meten niet, direct observeerbare eigenschappen.
- Testtheorie: wat is een goede test, hoe weten we dat die meet wat het meten moet.
Testtheorie/psychometrie: hoe kunnen we de kwaliteit van tests onderzoeken en
verbeteren?
- Zonder goede tests is psychologie geen wetenschap en kan het niet bijdragen aan de
maatschappij.
- Een goede test:
(1) Maakt een inferentie vanuit meetbaar gedrag over een niet te meten construct.
(2) Voor onze interpretatie moeten scores valide zijn, de scores moeten theoretisch
gelinkt zijn aan het construct.
(3) Het construct zelf is een theoretisch/hypothetisch concept, we meten deze door
te operationaliseren.
- Psychometrie kijkt naar verschillende eigenschappen van tests, voornamelijk de
volgende 3 zijn belangrijk:
o Type informatie die ontstaat door afname van de test
o De betrouwbaarheid van data van psychologische tests
o Problemen met de validiteit van de verkregen data
- Problemen van psychologische tests:
o Complexiteit van psychologische fenomenen
o Responsstijl
o Biases
o Scoregevoeligheid: discriminerend vermogen
Voorbeelden:
- Narcisme: 1 stelling → psychologische eigenschappen zijn niet te meten door er
direct naar te vragen
- Perfectionisme: vaak, soms, nooit → conclusie is niet valide
o Meet de test wel perfectionisme?
o Zijn de vragen van goede kwaliteit?
o Zijn er genoeg vragen in de test?
o Zit er een groot verschil tussen de scores die verschillende conclusies
opleveren?
Format van een psychologische test
Items als indicatoren voor een construct (perfectionisme):
1. Aan antwoorden worden scores toegekend (itemscores; omzetten van kwalitatief
naar kwantitatief)
2. Itemscores worden verwerkt tot een testscore (e.g. optellen)
, 3. Testscores worden geïnterpreteerd en gebruikt voor een uitspraak over alle
individuen.
Statistische basiskennis
Descriptieve statistiek: gemiddelde, variantie, standaarddeviatie, z-scores, covariantie en
correlatie.
Gemiddelde en deviatiescore
Xi: i=1 t/m i=N
Gemiddelde: vertelt iets over de groep als geheel
Deviatiescore= afwijkingsscore; afwijking van het gemiddelde
Verdeling wordt gecentreerd, gemiddelde wordt 0
Variantie: hoeveel totale differentiatie bestaat er onder de scores? Totale deviatiescore van
alle respondenten.
- Variantie van 0: alle scores zijn gelijk. SS= kwadraat van deviatiescores opgeteld.
- Kwadraat van deviatiescores optellen, delen door N
Standaarddeviatie: gemiddelde deviatiescore/afwijking van het gemiddelde. Wortel van de
variantie
- Hoeveel mensen gemiddeld afwijken van het gemiddelde.
- Testtheorie: altijd delen door n, niet door n-1
Standaardscores: z-scores
Gemiddelde van 0, standaarddeviatie van 1
Standaardiseren: deviatiescore delen door de standaarddeviatie; prestatie van persoon is
objectiever te bekijken.
Gemiddelde van z-score: altijd 0
Variantie van z-score: altijd 1, wordt ook gecentreerd bij z-scores
,Covariantie en correlatie
Vaak zijn we geïnteresseerd in de samenhang tussen meer
variabelen, in plaats van alleen naar een enkele variabele te kijken.
Covariantie: de mate waarin 2 variabelen co-variëren/variantie delen.
Dit gebeurt als de afwijkingsscore van de ene variabele samenhangt
met een andere variabele.
- Positieve scores horen samen te hangen met andere positieve
scores
- Som van producten van de afwijkingsscores (xy)
- Niet gestandaardiseerd; dus zegt weinig over grootte van relatie
Correlatie: gestandaardiseerde covariantie
- Standaardiseren omdat verschillende variabelen verschillende ordes van grootte
kunnen hebben, dit kan verwarrend zijn. Correlaties lopen van -1 tot
+1.
- Covariantie delen door de producten van de standaarddeviaties van
beide variabelen.
Variantie-covariantiematrix
Linksboven → rechtsonder: variantie
Buitendiagonaal: spiegel op diagonaal → covariantie
Correlatiematrix
Correlatie van variabele met zichzelf= 1 → diagonaal
Buitendiagonaal: correlaties
Hoorcollege 2: “Eigenschappen van test en items”
Wat is een psychologische test?
- Cronbach (1960): een systematische procedure voor het vergelijken van gedrag van 2
of meer mensen.
o Brede definitie: meer dan pen-papier tests
o Algemeen doel: ontdekken en kwantificeren van intra- en interindividuele
verschillen.
- Zo’n procedure kan vele vormen aannemen:
o Multiple choice vaardigheidstest
o Open-ended persoonlijkheidsvragenlijst
o Systematische gedragsobservatie
o Rorschach inktvlekkentest
- 3 cruciale eigenschappen:
o Gericht op gedragsmeting (observeerbaar)
o Systematisch (objectief)
o Vergelijken van verschillende personen (of binnen personen over tijd):
uitspraken kunnen doen over andere mensen of populaties.
Typen tests:
, Psychologische test kan in verschillende vormen voorkomen, er zijn verschillende typen
tests:
- Prestatieniveau/maximum test versus gedragswijze/typical test:
o Prestatieniveautests voor meten vaardigheden; zo hoog mogelijk presteren,
score laat zien wat je maximaal kan.
o Gedragswijzetests/typical test voor het meten van o.a.
persoonlijkheidseigenschappen en attitudes, wat iemand typeert, er is geen
goed of fout antwoord bij vragen.
o Grote verschillen voor de aanpak van de testontwikkeling, na ontwikkeling is
het onderzoek naar de kwaliteit van de test relatief gelijk.
o Nauwelijks verschillen voor statistische analyse van testscores
- 2 types tests voor prestatieniveau: ‘power’ en ‘speed’ tests
o Power test meet vaardigheid zonder tijdsdruk → meer vaardige mensen
maken meer vragen goed
o Speed test meet prestaties onder zware tijdsdruk, vragen zijn van triviale
moeilijkheid → meer vaardige mensen beantwoorden meer vragen
o Bourdon dot concentratie test (voorbeeld van speed test)
- Verschillende doelen van tests; normgericht of criteriumgericht:
o Normgerichte tests vergelijken personen met de rest van de populatie, goede
normgegevens over deze populatie zijn belangrijk!! (E.g. hoog vergeleken met
de rest van de populatie)
o Criteriumgerichte tests vergelijken personen met een absolute
standaard/cutoff testscore; testoordeel staat los van prestatieniveau in de
populatie (e.g. tentamen).
▪ Er moet een keuze gemaakt worden; mensen worden ingedeeld in 2
groepen: slagen versus zakken.
▪ Geen problemen met wat de populatie is en of de proefpersoon bij de
populatie toebehoort.
Wat hoort er bij een psychologische test?
- Testmateriaal; rakit: intelligentietesten voor jonge kinderen
- Testformulieren: van antwoord naar score= beoordeling
o Itemscores worden zo bepaald dat ze indicatief zijn voor het te meten
construct: hogere itemscore= ‘hoger’ op de eigenschap
o Testscore is vaak de optelsom van de itemscores, uitkomst die gebruikt wordt
- Testhandleiding; 4 belangrijke componenten:
o Exacte testinstructie; hoe de score geïnterpreteerd moet worden
o Verwerkingsprocedure
o Normtabellen; hoe staat de score in verband tot scores van anderen
o Bespreking van wetenschappelijke kwaliteiten; wat zijn de uitgangspunten
van de test en wat is de waarde ervan.
Meetniveau van een testscore
- Testscore is een getal, de interpretatie van dit getal hangt af van het meetniveau van
de testscore:
- Nominaal; categorisatie zonder waardeoordeel
