Psychometrics: An Introduction – R. Michael Furr, Verne R. Bacharach (2013)
H1. Psychometrics and the Importance of Psychological Measurement
Gedrag wordt vaak om twee redenen gemeten: een wetenschapper is geïnteresseerd in specifiek
gedrag of om onobserveerbare psychologische attributies te meten, zoals intelligentie, kennis of
depressie. In dat tweede geval wordt er gekeken naar observeerbaar gedrag, waarvan ze denken dat het
bepaalde onderliggende, onobserveerbare attributies representeert.
Drie componenten van de definitie van een psychologische test (Cronbach):
1. Testen bevatten bepaalde gedragsmetingen
2. De gedragsmetingen moeten op een systematische manier verzameld zijn
3. Het doel van de testen is om gedragingen van twee of meerdere personen met elkaar te
vergelijken (= interindividuele verschillen) OF om gedragingen van één persoon gemeten op
verschillende momenten met elkaar te vergelijken (= intra-individuele verschillen)
Testen variëren m.b.t. de content (bv. intelligentie of persoonlijkheid), het type respons dat nodig is
(bv. open of gesloten vragen) of de afnamemethodes (bv. individueel of groepen). Daarnaast is een
belangrijk onderscheid te maken in het doel van de testscores. Zo kan een test criterion referenced
(domain referenced = bepalen v/h vaardigheidsniveau a.d.h.v. criteria) of norm referenced (=
vergelijking met een normatieve groep) zijn. In de praktijk is dit onderscheid vaak minder duidelijk.
Tot slot kan er een onderscheid gemaakt worden in speeded en power tests. De eerste categorie heeft
een tijdslimiet, waar de tweede dat juist niet heeft.
Psychometrie is de wetenschap die gaat over het evalueren van de attributies van een
psychologische test. De nadruk ligt met name op drie attributies:
1. Het type informatie dat de psychologische test genereert (in de meeste gevallen een score)
2. De betrouwbaarheid v/d data die is verkregen uit de psychologische test
3. Zaken rond de validiteit v/d data die is verkregen uit de psychologische test
Galton was geïnteresseerd in de atnropometriek (meten van menselijke eigenschappen). Hier horen
ook de psychologische eigenschappen bij. Deze mentale eigenschappen noemde hij psychometrie, wat
hij definieerde als: ‘de kunst van geforceerde metingen en nummers van de werking van de geest’.
Galton wordt gezien als de grondlegger van de moderne psychometrie. Zo heeft hij bijvoorbeeld het
nut van de normaalverdeling uitgelegd om menselijke karakteristieken in een model weer te geven.
Ook ontwikkelde hij het idee van de correlatiecoëfficiënt.
Uitdagingen bij het meten van gedrag:
Het proberen te identificeren en vangen van de belangrijke aspecten van bepaalde typen
menselijke psychologische attributies in een cijfer
Reactiviteit van de participant (bv. sociale wenselijkheid, demand eigenschappen of het
verbergen van een slechte indruk op de testafnemer)
Degenen die gedragsdata verzamelen kunnen verwachtingen en vooroordelen meebrengen
Psychologen vertrouwen op samengestelde scores (optellen van punten op een test)
Sensitiviteit van het scoren (te weinig gedetailleerde info)
Een gebrek aan bewustzijn over belangrijke psychometrische informatie
H2. Scaling
Definitie van measurement: de toewijzing van cijfers aan objecten of gebeurtenissen volgens bepaalde
regels. In het geval van psychologie, educatie en andere gedragswetenschappen doelen de
‘gebeurtenissen’ op bepaalde metingen van het gedrag van een individu. De ‘regels’ slaan vaak op
schalen van meten, zoals voorgesteld door Stevens (1946).
Definitie van scaling: de manier waarop numerieke waardes worden toegekend aan psychologische
attributies.
,Belangrijke eigenschappen van nummers:
Identiteit
In de psychologie worden gedragingen/mensen in minimaal twee categorieën ingedeeld. Dat
categoriseren is aan een aantal regels onderhevig: alle mensen in een bepaalde categorie
moeten identiek zijn m.b.t. de eigenschap (bv. brildragend); de categorieën moeten elkaar
uitsluiten (bv. wel en niet brildragend); de categorieën moeten grondig/uitputtend zijn.
Volgorde
Geeft informatie over de relatieve hoeveelheid attributie die iemand bezit. Het zorgt ervoor dat
je mensen relatief tegenover elkaar kan rangschikken langs een dimensie. Maar het zegt niets
over de relatieve hoeveelheid verschillen tussen mensen.
Kwantiteit
Geeft informatie over de grootte van verschillen tussen mensen. Nummers reflecteren
daadwerkelijke getallen. De unit of measurement is een gestandaardiseerde hoeveelheid.
Het getal 0
Het getal 0 kan twee dingen betekenen: een absolute of een arbitraire nul. Een absolute nul
gaat om een staat waarin een attributie/object/gebeurtenis geen bestaan kent, bijvoorbeeld
wanneer iets 0.0 cm lang is. Een arbitraire of relatieve nul gaat om dingen als tijd en
temperatuur. Zo betekent 0 graden Celsius het smeltpunt van ijs; het kent dus wel een bestaan.
Fundamentele kwesties met betrekking tot de betekenis en het gebruik van kwantitatieve testscores
Units of measurement
Bij gedragsmetingen zijn dit bepaalde reacties, wellicht op een serie vragen of items. Drie
manieren waarop deze units arbitrair zijn:
1. De specifieke maat van een unit kan arbitrair zijn
2. Ze zitten niet vast aan een bepaald type of object; er is misschien geen inherente
beperking aan de objecten waaraan een unit of measurement wordt gehangen
3. Wanneer ze een fysieke vorm aannemen, kunnen sommige units of measurement
gebruikt worden om verschillende onderdelen v/e object te meten
Additivity and Counting
Additiviteit vereist dat alle units identiek worden opgeteld. Een unitsize moet dus constant
zijn; een toename op een bepaald moment moet hetzelfde zijn als een toename op een ander
moment.
Paradox: we willen een hoeveelheid psychologische attributie vertalen naar een set getallen
zodat we die attributie kunnen meten, maar dit kan niet, omdat we niet weten hoe veel er van
die attributie daadwerkelijk aanwezig is.
Vier levels van measurement:
1. Nominale schalen (categoriseren op basis van identiteit, bv. sekse)
2. Ordinale schalen (ranken van mensen o.b.v. identiteit en order, bv. mate van atletisch zijn)
3. Interval schalen (kwantitatieve verschillen met een arbitraire nul, bv. temperatuur)
4. Ratio schalen (kwantitatieve verschillen met een absolute nul, bv. afstand)
H3. Individual Differences and Correlations
Individuen verschillen van elkaar en er wordt geprobeerd deze verschillen (en verklaringen daarvoor)
te meten. Het proces van kwantificering van psychologische verschillen begint met de erkenning dat
scores op een psychologische test of meting van persoon tot persoon of van tijd tot tijd zullen
verschillen. Wanneer genomen van een groep mensen of op verschillende tijdstippen van dezelfde
individuen, vormen deze testscores of metingen een verdeling van scores. De verschillen tussen de
scores binnen een verdeling worden vaak variabiliteit genoemd. Een belangrijk element in het meeste
gedragsonderzoek is het nauwkeurig kwantificeren van de hoeveelheid variabiliteit binnen een
verdeling van scores.
Een z-score is relatief: het vertelt je hoe je scoort t.o.v. de rest en dus niet t.o.v. jezelf/je eerdere
prestaties. Sterker nog: het vertelt je hoe je scoort t.o.v. de gemiddelde persoon.
, H4. Test Dimensionality and Factor Analysis
Als algemene regel geldt (maar niet altijd), dat wanneer we een fysieke of psychologische attributie
van een object/persoon meten, dat we dan proberen om één attributie van dat object/die persoon te
meten. Ook samengestelde (composite) scores reflecteren meestal één dimensie.
3 dimensionaliteitsvragen
1. Hoeveel dimensies worden gereflecteerd in de test items?
2. Als een test meer dan één dimensie heeft, hoe zijn deze dan gecorreleerd aan elkaar?
3. Als een test meer dan één dimensie heeft, wat zijn die dimensies dan?
3 uitkomsten/verschillende soorten tests
1. Unidimensionale test
Reflecteert slechts één psychologische dimensie
Conceptuele homogeneity: reacties op elk item zijn een functie v/d zelfde psychologische
attributie
2. Multidimensionale test met gecorreleerde dimensies (test met hogere orde factoren)
Bv. WISC-IV; dit soort testen bevatten groepen vragen die verschillende psychologische
attributies testen. Deze subtesten zijn vaak unidimensionaal, waardoor deze interpreteerbaar
zijn voor één bepaalde psychologische attributie. Dit soort testen hebben vaak ook een totale
score, wat een combinatie is van de scores op de subtesten.
Vaak is er sprake van een overkoepelende/algemene psychologische attributie, die invloed
heeft op elke specifieke attributie. Dit wordt een hogere-orde factor genoemd.
3. Multidimensionale test met niet-gecorreleerde dimensies
Deze testen komen vrijwel overeen met de tweede categorie, behalve dat er geen totale score
berekend wordt. Er zijn dus enkel scores voor de losse dimensies.
De dimensionaliteit van een test wordt vaak gemeten m.b.v. factor analysis. Er zijn twee typen:
1. Exploratory factor analysis (EFA)
Dit type wordt vaker gebruikt en is relatief simpel samen te stellen m.b.v. bv. SPSS.
Wanneer we willen onderzoeken welke/hoeveel dimensies er zijn, gaan we kijken hoe de
correlatie tussen de verschillende items is. Elke set items met een hoge correlatie kan dan
gezien worden als een psychologische dimensie of factor. Op basis daarvan kan dan beslist
worden of de test uni- of multidimensionaal is en vervolgens of de multidimensionale test uit
gecorreleerde of niet-gecorreleerde dimensies bestaat. Om tot slot een psychologische
betekenis te geven aan de factoren is vooral de interpretatie of voorkeur van de onderzoeker
belangrijk.
Factor analysis kunnen worden uitgevoerd door gebruik te maken van de ruwe data van een
persoon. Sommige software maakt het echter mogelijk om deze analyses uit te voeren op een
correlatiematrix die alle associaties tussen de testitems samenvat.
De stappen die je doorloopt in een EFA:
1. Choosing an Extraction Method (specifieke statistische techniek)
2. Identifying the Number of Factors and Extracting Them (eigenvalues om het aantal
factoren te bepalen, deze kan op drie manieren gebruikt worden: alle rijen vergelijken,
kijken of het groter is dan 0 of door een scree plot te onderzoeken)
3. Rotating the Factors (wanneer een test multidimensionaal is; om de psychologische
betekenis te verduidelijken)
4. Examining Item-Factor Associations (factor loadings; elk item heeft een ‘loading’ op
elke factor, deze kunnen geïnterpreteerd worden als correlaties)
5. Examining the Associations Among Factors
2. Confirmatory factor analysis (CFA)
Deze procedure wordt gebruikt wanneer er al ideeën zijn over de dimensionaliteit van een test.
We willen dan exact weten welke items invloed hebben op welke factor.
