Samenvatting Testen & Meten
Leerdoelen
• Belangrijkste principes kunnen uitleggen van kwantificering van reacties, meetniveaus en testafnames.
• Belangrijkste principes kennen van het verwerken van testgegevens en de verschillende typen bewerkte
scores die gebruikt worden.
• Belangrijkste begrippen kunnen uitleggen uit de klassieke testtheorie, kan verschillende manieren
noemen om de betrouwbaarheid te schatten en begrijpt de onderliggende principes.
• Kan op conceptueel niveau exploratieve factoranalyse uitleggen.
• Kan items construeren ten behoeve van een test of vragenlijst.
• Kan reacties op items verwerken tot itemscores, en ruwe testscores, en bewerkte testscores.
• Kan descriptieve itemanalyses, exploratieve factoranalyse, en eenvoudige betrouwbaarheidsanalyse
uitvoeren.
• Kan eenvoudige toetsen uitvoeren ten behoeve van individuele diagnostiek.
• Kan op basis van descriptieve analyses, betrouwbaarheidsanalyse, en exploratieve factoranalyse de
kwaliteit van items beoordelen, en de dimensionaliteit van de itemscores bepalen.
• Kan op basis van eenvoudige toetsen op de testgegevens een diagnostisch oordeel vormen over een
respondent.
• De geleerde analyses en de resultaten beschrijven.
Onderwerpen
• Het belang van testen en meten in de pedagogische en onderwijswetenschappen.
• Schalen.
• Individuele verschillen en correlaties.
• Testdimensionaliteit en factoranalyse.
• De theorie achter betrouwbaarheid.
• Het schatten van betrouwbaarheid.
• Het belang van betrouwbaarheid.
Literatuur
Furr: Hoofdstuk 1 tot en met 7.
,College 1
Onderwerpen:
• Het belang van testen en meten
• Basisbegrippen van meten
Literatuur:
• Furr – Hoofdstuk 1: Psychometrics and the Importance of Psychological Measurement
• Furr – Hoofdstuk 2: Scaling
Het belang van testen en meten
Inleiding
Iedereens leven is op directe of indirecte manier wel eens beïnvloedt door psychologische tests, daarom moeten
deze tests van hoge kwaliteit zijn en betrouwbaar zijn.
• Omdat psychologische tests zo vaak worden gebruikt, is het van belang om de eigenschappen te
begrijpen die invloed hebben op de kwaliteit ervan.
Observeerbaar gedrag en niet-observeerbare psychologische attributies
Sociale wetenschappers observeren menselijk gedrag om niet-observeerbare psychologische attributies te
beoordelen (intelligentie, depressie). Ze proberen observeerbaar gedrag te identificeren waarvan ze denken dat
dit het attribuut representeert.
• Drie assumpties voor het meten van een psychologisch attribuut:
1. Je moet een gevolgtrekking maken van geobserveerd gedrag naar een niet-observeerbaar
psychologisch attribuut, je maakt de assumptie dat het geobserveerde gedrag het attribuut
reflecteert (zegt iets over de validiteit).
2. Het moet theoretisch met elkaar verbonden zijn, het observeerbare gedrag wordt geacht de
individuele verschillen in het attribuut te reflecteren.
3. Het niet-observeerbare attribuut echt moet bestaan. De hypothetische constructen of latente
variabelen moeten meetbaar worden gemaakt door operationele definities.
Psychologische test
Volgens Cronbach: een psychologische test is een systematische procedure voor het vergelijken van gedrag van
twee of meer mensen.
• Deze definitie omvat drie componenten:
1. De tests bevatten gedragsmatige steekproeven.
2. De gedragsmatige steekproeven moeten op een systematische manier worden verzameld.
3. Het doel van de tests is om het gedrag van twee of meer mensen te vergelijken.
• Hieraan moet worden toegevoegd dat het ook mogelijk is om met een psychologische test de prestaties
van hetzelfde individu te vergelijken op verschillende momenten in de tijd.
• Interindividueel: verschillen tussen verschillende mensen vergelijken.
• Intraindividueel: verschillen vergelijken betreffende één persoon, op verschillende momenten of onder
andere omstandigheden.
• Het doel van de psychologische tests is dus om de inter- en intraindividuele verschillen te identificeren
en te kwantificeren.
- De verschillen in testscores dragen bij aan de test variabiliteit, wat een noodzakelijk onderdeel is
voor elke poging om een psychologisch attribuut te meten en beoordelen.
Typen tests
• Tests kunnen variëren op de beoogde doelen van de testscores:
- Criterion referenced: vaak gebruikt om iets te zeggen over een vaardigheid van een persoon, waarin
een beslissing gemaakt moet worden over het vaardigheidsniveau.
o Deelt mensen in twee groepen: wie boven, en wie onder het cutoff point scoort.
- Norm referenced: vaak gebruikt om te begrijpen hoe een persoon presteert vergeleken met
anderen, de score van een individu wordt vergeleken met een referentie steekproef (normgroep).
, o De normgroep moet dan wel representatief zijn voor een specifieke populatie.
➢ De grens tussen norm- en criterion referenced is vaak vaag. Het cutoff point wordt vaak bepaald
door een bepaalde normgriep, en bij een norm test wordt ook vaak een cutoff point gebruikt.
• Test kunnen variëren in de tijdslimiet:
- Speeded test: test met een tijdslimiet, het is niet het doel om de hele test af te kunnen maken in de
gegeven tijd.
- Power test: hebben geen tijdslimiet, persoon moet alle vragen beantwoorden, vaak in oplopende
moeilijkheid (om onderscheid te maken tussen mensen op een psychologisch attribuut).
• Tests kunnen variëren op de manier waarop de scores gebaseerd zijn:
- Reflectieve of effectindicatoren: het hypothetische construct zelf bepaald mede de responsen op
de items, de responsen worden gezien als indicatoren van het construct (zoals bij IQ).
- Formatieve of causale indicatoren: de indicatoren zelf vormen in combinatie met elkaar het
construct, de indicatoren zelf definiëren het construct (zoals bij SES).
Psychometrie
• De wetenschap die zich bezig houdt met het evalueren van de attributies van psychologische tests.
Voorbeelden van attributies van psychologische tests:
- Het soort informatie (meestal scores) dat gegenereerd wordt door het gebruik van de tests.
- De betrouwbaarheid van de data vanuit de tests.
- De zorgen en beperkingen wat betreft de validiteit van de data verkregen door de tests.
• De psychologische tests zelf hebben ook theoretische constructen, zoals validiteit en betrouwbaarheid.
Psychometrie gaat over de theoretische attributies en hoe deze moeten worden geschat (niet direct
observeerbaar).
• Dus, psychometrie gaat over de procedures die gebruikt worden om de attributies (zoals
betrouwbaarheid) van tests te schatten en te evalueren.
Uitdagingen bij psychologische metingen
Alle metingen worden beïnvloedt door meetfouten, die kunnen de accuratesse van een meting sterk
verminderen.
• Psychologische fenomenen zijn erg complex, en zijn van heel veel aspecten afhankelijk.
• Participant reactivity: deelnemers zijn zich vaak bewust van het feit dat ze gemeten worden, de meting
zelf kan hierdoor de mentale toestand van de deelnemer beïnvloeden (en daarmee de score).
• Demand characteristics: deelnemers proberen te raden wat het doel is van de onderzoeker, hierdoor
veranderd het natuurlijke gedrag (en daarmee de score).
• Sociaal wenselijk: deelnemers veranderen hun natuurlijke gedrag om indruk te maken bij degene die
het onderzoek uitvoert.
• Malingering: deelnemers veranderen hun natuurlijke gedrag om een slechte indruk te maken bij
degene die het onderzoek uitvoert.
• Bias en verwachtingen: de mensen die het onderzoek uitvoeren kunnen bepaalde verwachtingen
hebben, en daarmee dus bias hebben. Deze vertekeningen kunnen soms lastig te herkennen zijn.
• Score sensitiviteit: het vermogen om met een meting adequaat te kunnen discrimineren tussen
betekenisvolle hoeveelheden of eenheden van de dimensie die wordt gemeten.
- Met de responsopties is het soms niet mogelijk om goed de kleine verschillen tussen deelnemers
waar te nemen, terwijl dit wel gewenst is.
• Ook is er vaak weinig kennis over de belangrijke psychometrische informatie van een test (bij mensen
die tests afnemen of gebruiken in de praktijk).
Het belang van individuele verschillen
Ons vermogen om individuele verschillen te identificeren en karakteriseren is het fundament van alle methoden
die worden gebruikt om tests te evalueren.
• Het doel van meten in de psychologie is ook om de verschillen tussen mensen te identificeren (die
bestaan tussen mensen over tijd of over condities). Deze psychologische verschillen dragen immers bij
aan verschillen in testscores, en is dus de basis van alle psychometrische informatie.
• De score van een test voor een individu kan alleen begrepen worden vanuit een bepaalde context, de
test moet het vermogen hebben om verschillen tussen mensen te detecteren.
, • Als je een niet-observeerbaar attribuut probeert te meten, moet je kunnen beargumenteren dat de
verschillen in scores tussen personen daadwerkelijk voortkomen uit verschillen in het onderliggende
construct.
• Kortom, individuele verschillen geven de data voor psychometrische analyses van tests.
- Psychometrie is de studie van de operationalisaties en procedures die gebruikt worden om de
variabiliteit in gedrag te meten, en om dit te verbinden aan psychologische fenomenen.
Basisbegrippen van meten
Inleiding
In de psychologie gaan we ervan uit dat mensen bepaalde psychologische attributen bezitten (zoals gevoelens,
persoonlijkheidskenmerken, intelligentie). Als we dit geloven, moeten we de assumptie maken dat elk
psychologisch attribuut bestaat in een soort ‘hoeveelheid/kwantiteit’.
• Psychologische metingen kan dan worden gezien als een proces waarin nummers/aantallen worden
toegeschreven aan een attribuut.
- Het meetproces zou dan succesvol zijn geweest als de nummers die zijn toegeschreven aan een
attribuut, ook daadwerkelijk de echte hoeveelheid van dat attribuut reflecteren.
• De standaard definitie van metingen (volgens Stevens): meten is het toewijzen van nummers aan
objecten of gebeurtenissen, door het volgen van bepaalde regels.
- In de sociale wetenschap betreffen de gebeurtenissen vaak de steekproeven van gedrag, en de
regels verwijzen naar de meetschalen die gebruikt worden.
Eigenschappen van nummers
Eigenschap van identiteit
De meest fundamentele vorm van een meting is het vermogen om overeenstemming en verschil te
onderscheiden, hiermee kun je tenminste tussen twee categorieën differentiëren.
• Regels die hierbij gevolgd moeten worden:
- Mensen die in dezelfde categorie vallen moeten dezelfde eigenschap delen.
- De categorieën zijn mutually exclusive.
- De categorieën zijn uitputtend: iedereen zou in één categorie moeten passen.
• Op dit niveau dienen de nummers enkel als een label voor een categorie, de nummers hebben geen
rekenkundige waarde.
Eigenschap van ordening
Wanneer nummers deze eigenschap hebben, dan geven zij informatie over de relatieve hoeveelheid van een
attribuut dat mensen bezitten. Ze indiceren de rangvolgorde van mensen, relatief gezien aan andere mensen.
• Ook bij deze eigenschap telt het nummer vooral als een soort label (hadden net zo goed letters kunnen
zijn als nummers).
Eigenschap van kwantiteit
Wanneer nummers deze eigenschap hebben, dan geven de nummers ook informatie over de hoeveelheid
verschil tussen mensen.
• Op dit niveau reflecteren de nummers echte aantallen.
- Nummer ‘1’ wordt gebruikt om de basiseenheid van een bepaalde schaal te definiëren. Alle andere
waarden op de schaal zijn vermenigvuldigingen van 1 of deelbaar door 1.
- Elk nummer representeert een telling van het aantal basiseenheden.
- Meeteenheden zijn gestandaardiseerde kwantiteiten, de bepaling van ‘één eenheid’ is altijd een
soort arbitraire beslissing.
• Echte nummers worden ook verondersteld continue (kwantitatieve) variabele te zijn.
• Nul wordt gezien als een relatieve kwantiteit van een attribuut (zoals tijd en temperatuur), de 0 is dan
slechts een relatief punt op de schaal die gebruikt wordt om iets te meten.
- De test heeft dan geen absoluut nulpunt, maar scores kunnen wel 0 zijn (de waarde voor 0 is dan
arbitrair).
,Eigenschap van absolute nul
Wanneer nul een staat van zijn reflecteert waarin een attribuut of object/gebeurtenis geen bestaan heeft.
• De interpretatie van psychologische testscores wordt beïnvloed door het type nul dat geassocieerd
wordt met een test.
Meeteenheden
De eigenschap van kwantiteit vereist dat de meeteenheden duidelijk gedefinieerd zijn, kwantitatieve metingen
zijn afhankelijk van het vermogen om deze meeteenheden te ‘tellen’.
• In de natuurwetenschap is het vaak makkelijker om een meeteenheid te bepalen dan in de sociale
wetenschappen.
• ‘Arbitrair’ is een belangrijk concept in het begrijpen van meeteenheden. Er zijn drie manieren waarop
een meeteenheid arbitrair kan zijn:
1. De eenheid grootte, de specifieke grootte van een eenheid kan arbitrair zijn (zoals bij meters, ooit is
een bepaald getal gekozen, had ook iets anders kunnen zijn).
2. Sommige meeteenheden zijn niet gebonden aan een bepaald type object, er is geen duidelijke
restrictie waartoe een meeteenheid mogelijk toegepast kan worden (een meetlint kan alles met
een bepaalde lengte meten, niet alleen lengte van personen).
3. Wanneer je meeteenheid een fysieke vorm aanneemt, kun je het gebruiken om verschillende
kenmerken van een object te meten (bijvoorbeeld om iets op te meten, of te wegen).
• Meeteenheden (gestandaardiseerde maten) zijn gebaseerd op arbitraire meeteenheden op alle drie de
manieren wanneer ze een fysieke vorm aannemen.
- Maar bij de meeste psychologische meeteenheden (zoals intelligentie), zijn ze meestal alleen
arbitrair op het eerste genoemde punt. Ze zijn namelijk wel verbonden aan specifieke objecten of
dimensies (IQ-eenheden kun je niet gebruiken om een andere dimensie te meten dan intelligentie).
Additiviteit (optellen) en tellen
Alle metingen die je doet betrekt tellen, dit is zo bij het meten van een bepaalde lengte, maar ook bij het meten
van een psychologisch aspect.
• Wanneer je een gedragssteekproef gebruikt om een persoon zijn eigenwaarde te meten, dan tel je ook
de responsen op een bepaalde manier. Je telt de meeteenheden om een score te verkrijgen voor de
meting die je hebt gedaan.
• Additiviteit: de assumptie dat de grootte van de meeteenheid niet veranderd, alle getelde eenheden
zijn identiek.
- Dit is vaak niet het geval in de psychologie. Dit komt doordat de meeteenheden vaak niet
consistent zijn in termen van het onderliggende attribuut dat ze bedoeld zijn te reflecteren.
- De additieve telling van bijvoorbeeld correcte antwoorden op een toets is dan niet een goede
meting van de hoeveelheid kennis (als de vragen niet allemaal even moeilijk zijn).
Vier meetschalen
Meten betreft ook het toeschrijven van aantallen/nummers aan observaties, op zo’n manier dat de nummers
echte verschillen reflecteren die bestaan tussen de niveaus van een psychologisch attribuut.
• Schalen is de manier waarin de nummers verbonden worden aan de gedragsmatige observaties om een
meting te creëren. De regels die hierbij gevolgd (moeten) worden verwijzen naar de schalen.
- De meetschalen zijn de regels, ze geven suggesties over hoe bepaalde eigenschappen van
nummers verbonden kunnen worden aan bepaalde typen van gedragsobservaties.
Nominale schalen
De nummers hebben de eigenschap van identiteit, en worden gebruikt om observaties te labelen.
• De labels worden hier gebruikt om groepen te identificeren die een bepaald attribuut delen, die niet
gedeeld wordt met mensen uit een andere groep.
Ordinale schalen
De nummers hebben de eigenschap van ordening. Ordinale schalen produceren rangen waarin mensen
geordend zijn, op basis van de hoeveelheid van een bepaald attribuut dat ze bezitten.
• Er wordt geen poging gedaan om te bepalen hoeveel van dat attribuut iemand bezit, de nummers
indiceren alleen dat een persoon meer of minder ervan bezit (in vergelijking met andere mensen).
, Intervalschalen
Intervalschalen (en ratioschalen) zijn gebaseerd op aantallen die kwantitatieve verschillen tussen mensen (in
termen van het gemeten attribuut) representeren.
• Intervalschalen hebben een arbitrair nulpunt, omdat het getal 0 niet de complete afwezigheid van het
attribuut weergeeft.
- Je kunt wel optellen en aftrekken, maar vermenigvuldigen en delen is niet betekenisvol.
• Veel psychologische tests worden gebruikt en geïnterpreteerd als intervalschalen, maar dit is vaak niet
echt het geval.
Ratioschalen
Ratioschalen hebben wel een absoluut nulpunt, het getal 0 geeft dan wel de complete afwezigheid van het
attribuut weer.
• Hierbij kun je daarom wel vermenigvuldigen en delen.
• Er zijn naar verwachting geen psychologische tests die op dit meetniveau meten.
Praktische implicaties van meetschalen
De meetschaal die gebruikt wordt voor een test heeft belangrijke implicaties (bijvoorbeeld voor de betekenis van
specifieke vormen van statistische analyses).
• Er wordt gezegd dat de meest voorkomende, en meest fundamentele statistische procedures alleen
gebruikt kunnen worden bij interval- of ratioschalen, en dus niet bij nominale of ordinale schalen.
• De meetschaal van een variabele heeft grote betekenis voor bepaalde beschrijvende statistieken (zoals
het gemiddelde en de correlatie).
- Het is niet betekenisvol om het gemiddelde uit te rekenen voor een nominale of ordinale schaal (in
essentie kun je dit wel doen, maar het geeft geen betekenisvolle informatie).
College 2
Onderwerpen:
• Individuele verschillen
• Correlaties
Literatuur:
• Furr – Hoofdstuk 3: Individual Differences and Correlations
Individuele verschillen en correlaties
Inleiding
Dit hoofdstuk gaat in op de drie bouwstenen van psychologisch testen/meten: variantie, covariantie en het
interpreteren van testscores.
• De concepten die dit hoofdstuk worden besproken zijn vrij statistisch van aard, maar zijn wel belangrijk
voor het verkrijgen van een coherent perspectief van psychometrie en de betekenis van psychologische
testscores.
• Variantie: de mate van verschil binnen een set van testscores of binnen de waarden van een
psychologisch attribuut.
• Covariantie: de mate waarin de variantie in een ene set van scores overeenkomt met de variantie van
een andere set van scores.
