Blok 2.5 Psychometrie - Samenvatting Furr & Bacharach
Hoofdstuk 1
Psychologische Testen: Definities en Types
Wat zijn testen?
Volgens Cronbach is een psychologische test een ‘systematische procedure voor het
vergelijken van gedrag van twee of meer mensen’. Deze definitie bevat 3 belangrijke
componenten:
> de test bestaat uit gedragssamples van een bepaalde soort
> de gedragssamples moeten op een systematische manier verzameld zijn
> en het doel van de test is om dit gedrag van twee of meer mensen te vergelijken.
De definitie van Cronbach heeft ook betrekking op het type informatie dat verkregen
wordt door testen. Sommige testen produceren cijfers die een hoeveelheid aan
psychologische kenmerken die een persoon verwerkt weergeven. Andere testen
produceren categorische data. Een ander heel belangrijk kenmerk van de definitie
van Cronbach is dat deze ook het algemene doel van de psychologische testen
betreft. De testen moeten in staat zijn om het gedrag van verschillende mensen te
vergelijken (interindividuele verschillen) of het gedrag van dezelfde persoon op
meerdere momenten in tijd of onder andere omstandigheden (intra-individuele
verschillen). Het doel van het meten in de psychologie is dus het identificeren en
mogelijk kwalificeren van interindividuele verschillen of intra-individuele verschillen.
Deze twee soorten verschillen dragen bij aan de variabiliteit van de testscore, wat
een noodzakelijk component is voor elke poging om een psychologisch kenmerk te
meten.
Soorten Testen
Er zijn enorm veel psychologische testen in het publieke domein. Deze testen
variëren per veel dimensies. Ze kunnen variëren qua inhoud, maar ook wat betreft
het soort respons dat vereist wordt. Ook kunnen ze in methode verschillen. Een
ander veelvoorkomend onderscheid dat gemaakt wordt heeft betrekking op het doel
van de testscores. Psychologische testen worden vaak gecategoriseerd als criterion
referenced of norm referenced.
> Criterion referenced worden het meest gebruikt in settingen waarin er een
beslissing gemaakt moet worden over het vaardigheidsniveau van een persoon. Er
wordt vooral een vaste testscore bepaald en een persoon kan dan hoger of lager
scoren dan deze testscore.
> Norm referenced worden vaak gebruikt om de testscore van een persoon te
vergelijken met een norm om te kijken hoe deze persoon presteert in verhoudingen
met anderen. Deze reference sample (de norm) wordt gezien als representatief voor
een goed-gedefinieerde populatie. De testscore van een persoon wordt vergeleken
met een verwachte of gemiddelde score van de test die verkregen zou worden als de
test gegeven wordt aan alle leden van de populatie.
1
,In praktijk is de lijn tussen deze twee soorten testen vaak onduidelijk, omdat de
criterion referenced vaak ook gebaseerd is op een bepaalde norm.
Een ander onderscheid wordt gemaakt tussen speeded test en power tests.
> Speeded tests zijn testen met een tijdslimiet. In het algemeen wordt er niet
verwacht dat mensen die deelnemen aan zo’n test de gehele test binnen de tijd
kunnen afronden. De score op deze test is gebaseerd op de hoeveelheid vragen die
beantwoord zijn binnen de tijd. Er wordt vanuit gegaan dat er een grote kans is dat
alle vragen correct beantwoord zijn, omdat elke vraag bij een speeded test ongeveer
even moeilijk of makkelijk is als de andere vragen.
> Power tests zijn testen waarbij de deelnemers alle vragen moeten beantwoorden.
Ze worden vaak gescoord aan de hand van het aantal correcte antwoorden. De
testitems variëren hier juist in moeilijkheidsgraad, om zo onderscheid te kunnen
maken tussen de vaardigere deelnemers en minder vaardige deelnemers.
Wat is Psychometrie?
Psychometrie is een wetenschap die te maken heeft met het evalueren van de
kenmerken van psychologische testen. Drie van deze kenmerken zijn voornamelijk
interessant binnen dit vak:
> het type informatie dat gegeven wordt bij het gebruiken van de psychologische
testen
> de betrouwbaarheid van de data die verkregen wordt door de psychologische
testen
> problemen die betrekking hebben op de validiteit van de data die verkregen wordt
door de psychologische testen.
Francis Galton & Het Bereik van Psychometrie
Galton was altijd al geïnteresseerd in het meten van allerlei dingen, maar voor dit
onderdeel van psychologie is zijn interesse in het meten van ‘antropometrie’ het
belangrijkst. Antropometrie is het meten van menselijke kenmerken, zoals de grootte
van een hoofd. Voor Galton hadden deze kenmerken te maken met psychologische
karakteristieken. Hij noemde het meten van mentale eigenschappen ‘psychometrie’.
Galton wordt dus gezien als de grondlegger van psychometrie. In tegenstelling tot
andere wetenschappers, was hij vooral geïnteresseerd in de verschillen tussen
mensen en variabiliteit hiervan.
Uitdagingen voor Metingen in de Psychologie
Ondanks dat er veel overeenkomsten zijn binnen de wetenschappen, hebben
metingen binnen de gedragswetenschappen andere uitdagingen die niet of
nauwelijks voorkomen in de fysieke wetenschappen. Deze uitdagingen hebben
invloed op onze zekerheid over de interpretaties van de gedragsobservaties.
> Een van de uitdagingen heeft betrekking op de psychologische fenomenen,
bijvoorbeeld intelligentie, zelfvertrouwen, depressie, angst, etc. Een van de
uitdagingen is dus om de belangrijkste aspecten van deze soorten psychologische
kenmerken te herkennen en vast te leggen in één getal.
2
,> Participant reactiviteit is een andere uitdaging. Omdat in de meeste gevallen de
psychologische kenmerken gemeten worden bij mensen die bij bewustzijn zijn en
weten dat ze gemeten worden, kan het meten zelf invloed hebben op de
psychologische toestanden en processen die gemeten worden. Participant
reactiviteit kan verschillende vormen aannemen:
- demand characteristics: participanten kunnen het doel van de studie achterhalen
en daarom hun gedrag aanpassen om de onderzoeker de helpen.
- social desirability : participanten kunnen bedeesd worden of hun gedrag
aanpassen om anderen onder de indruk te laten zijn tijdens het meten.
- malingering: participanten kunnen hun gedrag aanpassen en een slechte prestatie
leveren
> Verwachtingen en biases vormen ook een uitdaging en zijn vaak moeilijk te
detecteren. In de meeste gevallen gaan we er vanuit dat onderzoekers die de data
verzamelen niet bewust frauderen.
> Metingen die gebruikt worden in de gedragswetenschappen zijn ook anders dan de
metingen voor fysieke wetenschap. Psychologen vertrouwen vaak op composite
scores wanneer ze psychologische eigenschappen meten. Ondanks dat composite
scores voordelen hebben, zijn er toch meerdere complicaties in gebruik en evaluatie.
> Score gevoeligheid is ook een uitdaging. Gevoeligheid refereert naar de
vaardigheid van een meting om goed onderscheid te maken tussen de
betekenisvolle units van de dimensie die gemeten wordt. Het juist meetinstrument
moet gekozen worden en dit meetinstrument moet ook goed genoeg kunnen meten
wat er gemeten moet worden.
> De laatste uitdaging is het schijnbare gebrek aan belangrijke psychometrische
informatie. In gedragswetenschappen is psychologische meting vaak een sociale of
culturele activiteit. Psychologische meting wordt vaak gebruikt om de stroom aan
informatie tussen mensen te vergemakkelijken. Maar vaak worden deze metingen
uitgevoerd zonder rekening te houden met de psychometrische kwaliteit van de
testen.
Hoofdstuk 2
Fundamentele Issues met Cijfers
In psychologische metingen worden cijfers gebruikt om het niveau van een
psychologische eigenschap van een individu weer te geven. Het is daarom belangrijk
om te begrijpen hoe cijfers deze psychologische eigenschappen op verschillende
manieren kunnen weergeven.
The Property of Identity
De meest fundamentele vorm van meting is de vaardigheid om ‘gelijkheid tegenover
verschil’ te reflecteren. De makkelijkste metingen zijn degene die onderscheid maken
tussen categorieën van mensen. Individuen in dezelfde categorie moeten hetzelfde
zijn, dus ze moeten een psychologische eigenschap gemeen hebben, maar ze
moeten anders zijn dan de individuen in de andere categorie. Het idee is dus dat
3
,objecten of gebeurtenissen kunnen worden gecategoriseerd op basis van de
gelijkheid van eigenschappen. Er zijn bepaalde regels die gevolgd moeten worden bij
het categoriseren van mensen.
> De eerste en meest directe regel is dat, om te categoriseren, de mensen binnen de
categorie aan de property of identity moeten voldoen. Dit betekent dat de personen
binnen een bepaalde categorie identiek moeten zijn op een bepaalde eigenschap die
de categorie definieert.
> De tweede regel is dat categorieën mutually exclusief moeten zijn. Als een
persoon een gedragsprobleem heeft, kan deze persoon niet tegelijkertijd geen
gedragsprobleem hebben.
> Als derde moeten de categorieën exhaustive (grondig) zijn. Als een persoon niet
goed binnen de categorie past, moet er een nieuwe categorie gemaakt worden voor
deze persoon. Samen met de tweede regel geldt dus dat een persoon maar in één
categorie kan vallen.
Op dit niveau zijn cijfers simpelweg labels voor categorieën.
The Property of Order
Ondanks dat de property of identity de meest fundamentele vorm van meting is, geeft
de property of order meer informatie. Wanneer cijfers slechts een property of identity
hebben, geven ze informatie of twee individuen gelijk of anders zijn, maar daar blijft
het dan bij. Wanneer cijfers een property of order hebben, geven ze informatie over
de relatieve hoeveelheid van een eigenschap die mensen bezitten. Ze weergeven
dan een rangorde van mensen relatief aan elkaar op een bepaalde dimensie. Maar
ook als cijfers een rangorde aangeven, dienen ze vooral als een label. Het cijfer is
dan een label voor de plek in de rangorde.
De property of order geeft dus meer informatie dan de property of identity, maar het
is alsnog beperkt. Het vertelt wel wat over de relatieve hoeveelheid van verschillen
tussen mensen, maar het zegt nog niks over de daadwerkelijke mate van verschillen
op het gebied van die eigenschap.
The Property of Quantity
De property of quantity geeft nog meer informatie. Wanneer cijfers de property of
quantity hebben, geven ze informative over de magnitude van de verschillen tussen
mensen. Op dit niveau reflecteren de cijfers dus echte getallen. Nummer 1 wordt
gebruikt om de grootte van een basisunit op een bepaalde schaal te definiëren.
De meetunits zijn dan gestandaardiseerde kwantiteiten. Echte getallen worden ook
gezien als continu. Elk echt getal kan worden verdeeld in oneindige kleine stukjes.
De power van echte getallen komt voort uit het feit dat ze gebruikt kunnen worden
om de kwantiteit van een eigenschap van een ding, persoon of gebeurtenis kunnen
meten.
4
,Het Getal 0
Het getal 0 heeft meerdere betekenissen:
> een mogelijke betekenis van 0 reflecteert een toestand waarin de eigenschap van
een object of gebeurtenis niet bestaat. De 0 in deze context is dus een absolute nul.
> de tweede mogelijke betekenis van 0 is het zien van 0 als een willekeurige
hoeveelheid van een eigenschap. Een 0 van dit soort wordt een relatieve of
willekeurige (arbitraire) nul genoemd. Een voorbeeld waarbij dit gebruikt wordt is
bij het meten van de temperatuur. De 0 weergeeft hier niet dat de temperatuur niet
bestaat.
Het interpreteren van een psychologische testscore van 0 zal dus worden beïnvloed
bij de soort 0 dat geassocieerd wordt met de test.
Meeteenheden
De property of quantity vereist dat meeteenheden duidelijk gedefinieerd worden. In
veel gevallen van psychologische metingen zijn de meeteenheden niet heel voor de
hand liggend. Willekeur is een belangrijk concept in het begrijpen van meeteenheden
en het onderscheidt verschillende soorten meeteenheden. Er zijn drie manieren
waarop meeteenheden willekeurig kunnen zijn.
> Als eerste kan de grootte van de eenheid willekeurig zijn. Hierbij gaat het om de
specifieke grootte.
> Een tweede vorm van willekeur is dat sommige meeteenheden niet verbonden zijn
aan een type object. Het kan zijn dat er geen verbonden beperking voor het object is
die vastgelegd heeft welke meeteenheid toegepast moet worden.
> De derde vorm van willekeur is dat meeteenheden, wanneer ze een fysieke vorm
aannemen, gebruikt kunnen worden om verschillende eigenschappen van objecten
te meten.
De meeste psychologische meeteenheden zijn over het algemeen alleen willekeurige
volgens de eerste vorm van willekeur. Ze zijn dus alleen willekeurig in grootte en ze
zijn vaak wel verbonden aan een specifiek object of dimensie.
Additivity & Counting
Additivity
Het proces van tellen als een onderdeel van meten betreft de hoofdaanname dat het
niet valide kan zijn in veel toepassingen van psychologische meting. De aanname is
dat een grootte van een eenheid niet verandert. Additivity vereist dus dat de grootte
van een eenheid constant is: de toename van een eenheid op het ene punt in het
meetproces moet hetzelfde zijn als een toename van de eenheid op een ander punt.
Daarnaast moet de grootte van de meeteenheid niet veranderen als de condities
veranderen. In de psychologische wetenschap ontstaat er een paradox wat betreft
meeteenheden: we willen de hoeveelheid psychologische eigenschappen omzetten
in een aantal cijfers om het te kunnen meten, maar het lijkt erop dat dit niet kan
gebeuren omdat we niet weten hoeveel van de eigenschap daadwerkelijk bestaat.
5
,Counts: Wanneer Gelden ze als Meting?
Ondanks dat alle metingen afhankelijk zijn van tellen, zijn niet alle vormen van tellen
goed als vormen van meting. Sommige experts stellen dat het simpelweg tellen van
een bepaalde soort objecten niet geldt als ‘meting’. Het tellen geldt als meting
wanneer men aan het tellen is om te reflecteren wat de hoeveelheid van een
bepaalde eigenschap van een object is.
Vier Meetschalen
Nominale Schaal
Het meest fundamentele meetniveau is de nominale schaal van meting. In een
nominale schaal worden cijfers gebruikt die de property of identity hebben. Deze
worden gebruikt als labels voor observaties waarin gedrag gecategoriseerd wordt
aan de hand van een aantal psychologische eigenschappen. De labels van een
nominale schaal worden dus gebruikt om groepen mensen te identificeren die
dezelfde psychologische eigenschappen hebben.
Ordinale Schaal
De ordinale schaal definieert metingen aan de hand van cijfers die de property of
orders hebben. De ordinale schalen produceren dus rangordes waarin mensen
geordend worden volgens de hoeveelheid van een bepaalde eigenschap die zij
bezitten. De cijfers weergeven hier dus een relatieve plek in de rangorde. Het is dus
ook gelimiteerd omdat de plek in de rangorde alleen zegt hoe je bent in verhouding
met de mensen uit je groep, maar het zegt niks over je exacte hoeveelheid van een
eigenschap.
Interval Schaal
De property of quantity karakteriseert de twee overgebleven meetschalen. Dit is de
interval schaal en de ratio schaal. Deze schalen zijn gebaseerd op de cijfers die
kwantitatieve verschillen tussen mensen weergeven in termen van een eigenschap
die gemeten wordt. Er is echter een verschil in de twee schalen en dit heeft te maken
met de betekenis van 0.
Interval schalen hebben een willekeurige nul. De 0 weergeeft hier niet dat er de
eigenschap afwezig is. De grootte van de meeteenheid is hier dan ook constant en
additief. Er zijn echter maar weinig psychologische testen die echt gebruik maken
van een interval schaal.
Ratio Schaal
In tegenstelling tot de interval schaal, heeft een ratio schaal een absolute nul. Ratio
schalen worden gezien al een ‘hoger’ niveau van meting dan interval, ordinale en
nominale schalen, omdat ze meer informatie geven en meer mogelijkheid geven
meer geavanceerde conclusies.
Volgens de meest testexperts zijn er echter geen psychologische testen die gebruik
maken van een ratio schaal. Dit is verrassend omdat er toch veel testen zijn die
gebruik maken van standaardisaties. En gestandaardiseerde metingen zijn metingen
6
,op ratio schaal. De uitspraken van de experts zijn voornamelijk gebaseerd op het feit
dat ratio schalen een absolute nul hebben. Het probleem hierbij is dat mensen
eigenlijk geen absoluut nulpunt hebben: ze kunnen niet in 0 seconde reageren of 0
van een eigenschap hebben. Dus ondanks dat een meetinstrument wel een absolute
nul kan hebben, betekent dit niet dat de psychologische eigenschap die gemeten
wordt een absolute nul kan hebben.
Hoofdstuk 3
De Aard van Variabiliteit
Er zijn twee soorten verschillen die gedragswetenschappers proberen te meten:
> interindividuele verschillen: verschillen tussen mensen
> intra-individuele verschillen: verschillen binnen een persoon op verschillende
momenten in tijd.
Belang van Individuele Verschillen
Variabiliteit is de kern van de onderzoeken en het toepassen van onderzoeken in de
gedragswetenschap. In onderzoekcontext streven gedragswetenschappers er naar
om de belangrijkste verschillen tussen mensen te begrijpen. In toegepaste context
gaan gedragswetenschappers er vanuit dat psychologische karakteristieken kunnen
en zullen variëren.
Individuele verschillen zijn ook fundamenteel in psychologische metingen. Metingen
zijn gebaseerd op simpele, maar belangrijke assumpties dat psychologische
verschillen de kern zijn voor testconstructies en testevaluaties. Psychometrische
concepten zoals betrouwbaarheid en validiteit zijn volledig afhankelijk van de
mogelijkheid om de verschillen tussen mensen vast te stellen.
Traditioneel worden individuele verschillen gezien als een onderwerp dat alleen
betrekking heeft op degene die een psychologische test opbouwen en gebruiken. Dit
beeld limiteert de betekenis van ‘individuele verschillen’ eigenlijk tot slechts een paar
gebieden binnen de gedragswetenschap. Dit beeld is echter niet correct. In feite zijn
alle onderzoeken in de psychologie en alle wetenschappelijke toepassingen van de
psychologie afhankelijk van de mogelijkheid om individuele verschillen te meten.
Het proces van het kwantificeren van psychologische verschillen begint met het
herkennen dat score op een psychologische test of meting kan variëren van persoon
tot persoon of van tijd tot tijd. Wanneer je scores pakt vanuit een groep mensen of
vanuit verschillen punten in de tijd van dezelfde individuen, kunnen deze testscores
of metingen een verdeling van de scores vormen. De verschillen tussen de scores
binnen de verdeling worden vaak variabiliteit genoemd. Een belangrijk element in
de meeste gedragsonderzoeken is het vaststellen van de precieze hoeveelheid
variabiliteit binnen een verdeling van scores.
7
, Variabiliteit en Verdeling van Scores
Om de fundamentele concepten van psychometrie te begrijpen, is het noodzakelijk
om sommige basis statistische concepten te begrijpen. We moeten dus begrijpen
hoe variantie en covariantie berekend worden en hoe ze gerelateerd zijn aan elkaar.
Centrale Tendency
Het meest basisonderdeel van een verdeling van scores is de centrale tendency.
Dit houdt in feite in wat een ‘typische’ score is voor de verdeling is of wat de score is
die het meest representatief is voor de gehele verdeling.
De mean is de waarde die de ‘typische’ score in een verdeling van de score
representeert.
Variabiliteit
De variantie en de standaard deviatie reflecteren de variabiliteit als een mate
waarin de score van de verdeling verschilt van de mean van de verdeling. Variantie
is een cruciaal concept in de psychometrie. Vanuit de verschillen met de mean, kan
het proces van het berekenen van de variantie beschreven worden in drie stappen:
> Ten eerste moeten we het verschil met de mean voor elke score in de verdeling
berekenen. Deze waardes weergeven de mate waarin elke score hoger of lager is
dan de mean (oftewel de verschilscore).
> Vervolgens kwadrateren we elke verschilscore.
> Tot slot tellen we de gekwadrateerde verschilscores op.
De waarde van de variantie wordt soms de ‘som van de gekwadrateerde verschillen
van de mean’ genoemd, maar het wordt vaker de ‘sum of squares’ genoemd. Op
deze manier is de variantie eigenlijk een soort mean. De berekenen levert eigenlijk
de gemiddelde mate waarin mensen verschillen van elkaar op en is dus de
berekening van de variabiliteit.
De standaard deviatie heeft veel met de variantie te maken, aangezien het in feite de
wortel van de variantie is.
Ondanks dat de variantie en standaard deviatie fundamentele elementen van veel
psychometrische concepten zijn, is hun interpretatie niet altijd duidelijk. De grootte
van de variantie wordt bepaald door twee factoren:
> de eerste en meest overduidelijke factor is de mate waarin de scores in de
8
