LenaCoe
2023
Samenvatting OMT1
Inhoud
Hoofdstuk 1: psychometrie .................................................................................................................6
1. Psychologische tests in de praktijk ...........................................................................................6
2. Het belang van psychologische testen voor jou .......................................................................6
3. Wat zijn psychologische testen? Definitie van psychologische test ..........................................6
3.1 Gestandaardiseerde procedures ..........................................................................................7
3.2 Staal van gedrag ..................................................................................................................7
3.3 Testscore .............................................................................................................................7
3.4 Normen ...............................................................................................................................8
3.5 Gedrag voorspellen buiten de test .......................................................................................8
4. Geschiedenis van psychologische testen..................................................................................8
4.1 Vroege vormen van testing ..................................................................................................9
4.2 De experimentele psychologie .............................................................................................9
4.3 De eerste intelligentietests (p26-33) .................................................................................. 12
5. Verschillende soorten psychologische tests ........................................................................... 14
5.1 Intelligentietests ................................................................................................................ 14
5.2 Neuropsychologische tests ................................................................................................ 16
5.3 Persoonlijkheidstest .......................................................................................................... 17
5.4 Individuele versus groepstests ........................................................................................... 19
Hoofdstuk 2: Schalen en meetwaarden ............................................................................................. 20
1. Operationaliseren van constructen ........................................................................................ 20
2. Eigenschappen van getallen .................................................................................................. 20
2.1 Identiteit ........................................................................................................................... 20
2.2 Orde .................................................................................................................................. 21
2.3 Kwaliteit ............................................................................................................................ 21
2.4 Het getal 0 ......................................................................................................................... 22
3. Meeteenheden ..................................................................................................................... 22
4. Additiviteit (p51) ................................................................................................................... 22
5. De 4 verschillende meetschalen ............................................................................................ 23
5.1 Meetschalen in de praktijk................................................................................................. 24
Hoofdstuk 3: individuele verschillen en correlaties............................................................................ 25
1. Variabiliteit in metingen ........................................................................................................ 25
2. Het belang van individuele verschillen ................................................................................... 25
1
,LenaCoe
2023
3. Variabiliteit en de verdeling van verschillen ........................................................................... 25
3.1 Karakteristieke waarden van positie .................................................................................. 26
3.2 Karakteristieke waarden van spreiding .............................................................................. 28
3.3 De vorm van verdeling ....................................................................................................... 29
4. Het verband tussen verdelingen kwantificeren (WPO1) ......................................................... 30
4.1 Het verband tussen 2 variabelen interpreteren.................................................................. 30
4.2 Covariantie ........................................................................................................................ 31
4.3 Correlatie .......................................................................................................................... 31
4.4 Associatie tussen dichotome variabelen: lambda ............................................................... 32
5. Normaalverdeling.................................................................................................................. 34
6. Transformatiewaarden (WPO2) ............................................................................................. 36
6.1 Percentage juist ................................................................................................................. 37
6.2 Rangnummers ................................................................................................................... 37
6.3 Percentiele rangen ............................................................................................................ 38
6.4 Lineaire transformatiemeetwaarden ................................................................................. 39
6.5 Genormaliseerde standaardmeetwaarden......................................................................... 40
6.6 Stanines............................................................................................................................. 40
6.7 Normen ............................................................................................................................. 42
Hoofdstuk 4: Betrouwbaarheid ......................................................................................................... 43
1. Overzicht van betrouwbaarheid en klassieke test theorie ...................................................... 44
2. Geobserveerde scores, true scores en meetfouten ................................................................ 45
3. Variantie in geobserveerde scores, true scores en meetfouten .............................................. 46
4. 4 manieren om naar betrouwbaarheid te kijken .................................................................... 47
4.1 De verhouding van true score variantie ten opzicht van geobserveerde score variantie ..... 48
4.2 Een lage meetfout variantie ............................................................................................... 50
4.3 De (gekwadrateerde) correlatie tussen geobserveerde scores en true scores .................... 51
4.4 Een lage (gekwadrateerde) correlatie tussen geobserveerde scores en meetfouten .......... 52
5. Betrouwbaarheid en de standaardmeetfout .......................................................................... 53
6. Parallelle testen .................................................................................................................... 56
Hoofdstuk 5: betrouwbaarheid schatten (WPO3) .............................................................................. 57
1. Parallelle testen betrouwbaarheid......................................................................................... 57
2. Test-hertest betrouwbaarheid............................................................................................... 59
3. Interne consistentie betrouwbaarheid................................................................................... 60
3.1 Split-half betrouwbaarheid ................................................................................................ 61
3.2 “Ruwe” Cronbach Alpha .................................................................................................... 62
3.3 Gestandaardiseerde Cronbach alpha ................................................................................. 63
2
,LenaCoe
2023
3.4 Kunder-Richardson 20 ....................................................................................................... 64
“Ruwe” Alpha voor dichotome items ............................................................................................ 64
4. Factoren die betrouwbaarheid beïnvloeden .......................................................................... 65
Hoofdstuk 6: validiteit (WPO4) .......................................................................................................... 67
1. Wat is validiteit?.................................................................................................................... 67
2. Bewijzen voor validiteit ......................................................................................................... 68
2.1 Bewijs voor validiteit: inhoud van de test........................................................................... 68
2.1.1 inhoudsvaliditeit versus indruksvaliditeit ....................................................................... 69
2.2 Bewijs voor validiteit: interne structuur van de test ........................................................... 69
2.3 Bewijs voor validiteit: antwoord processen ........................................................................ 71
2.4 Bewijs voor validiteit: verbaden met andere variabelen ..................................................... 71
2.4.1 Convergente validiteit.................................................................................................... 72
2.4.2 Discriminante validiteit .................................................................................................. 72
2.4.3 Concurrente validiteit .................................................................................................... 72
2.4.4 Predictieve validiteit ...................................................................................................... 72
2.5 Bewijs voor validiteit: gevolgen van de test ....................................................................... 72
3. Validiteit versus betrouwbaarheid ......................................................................................... 73
Hoofdstuk 7: Validiteit schatten (WPO4) ........................................................................................... 74
1. Methode om convergente en discriminante validiteit te evalueren ....................................... 74
1.1 Specifieke verbanden ........................................................................................................ 74
1.2 Meerder verbanden .......................................................................................................... 75
1.3 Multitrait-Multimethod matrix .......................................................................................... 75
2. Factoren die validiteitscoëfficiënten beïnvloeden .................................................................. 79
2.1 Verbanden tussen constructen .......................................................................................... 79
2.2 Meetfouten en betrouwbaarheid ...................................................................................... 79
2.3 Range restrictie ................................................................................................................. 80
2.4 Methode variantie ............................................................................................................. 81
Hoofdstuk 8: respons bias ................................................................................................................. 82
1. Wat is respons bias? .............................................................................................................. 82
2. Vormen van respons bias ...................................................................................................... 82
2.1 Acquiescence bias ............................................................................................................. 82
2.2 Extreme & moderate responding ....................................................................................... 84
2.3 Sociale wenselijkheid ......................................................................................................... 85
2.4 Faking bad ......................................................................................................................... 86
2.5 Nonchalante en willekeurige antwoorden ......................................................................... 86
2.6 Gokken .............................................................................................................................. 86
3
,LenaCoe
2023
3. Omgaan met respons bias ..................................................................................................... 87
3.1 Bias voorkomen via de test omstandigheden ..................................................................... 87
3.2 Bias voorkomen via de test inhoud .................................................................................... 88
3.2.1 Effect van bias verminderen via de testinhoud of scoring ............................................... 88
3.3 Bias detecteren via de test inhoud ..................................................................................... 90
3.4 Gespecialiseerde testen..................................................................................................... 90
4. Respons bias versus respons sets versus respons stijlen ........................................................ 92
Hoofdstuk 9: item-analyse (WPO 5 deel 1) ........................................................................................ 92
1. Item-moeilijkheidsindex (Pi) .................................................................................................. 92
2. Item-betrouwbaarheidsindex ................................................................................................ 93
3. Item-validiteitsindex.............................................................................................................. 94
4. Item-discriminatieindex......................................................................................................... 94
5. Meerkeuze items................................................................................................................... 95
Hoofdstuk 10: item respons theorie (WPO deel 2) ............................................................................ 95
1. Factoren die antwoorden op test items beïnvloeden ............................................................. 95
1.1 Trait-level van de respondent ............................................................................................ 96
1.2 Moeilijkheid van het item .................................................................................................. 96
1.3 Discriminerend vermogen van het item ............................................................................. 96
1.4 Gokken .............................................................................................................................. 97
2. IRT meetmodellen ................................................................................................................. 97
2.1 1-parameter logistisch model ............................................................................................ 98
2.2 2-parameter logistisch model ............................................................................................ 99
2.3 3 parameter logistisch model............................................................................................. 99
2.4 Graded respons model .................................................................................................... 100
3 informatie en test informatie .............................................................................................. 102
3.1 Item Characteristic Curve (ICC) ........................................................................................ 102
3.2 item informatie en test informatie................................................................................... 102
4. Vergelijking tussen IRT en CTT ............................................................................................. 105
Gastcollege: fundamenteel meten in de menswetenschappen – Rasch analyse .............................. 105
1. Fundamenteel meten .......................................................................................................... 105
2. Het Rasch meetmodel ......................................................................................................... 106
3. De epworth slaprigheidsschaal ............................................................................................ 111
Hoofdstuk 11: Test accuraatheid en kwaliteit (WPO6) ..................................................................... 117
1. Test accuraatheid ................................................................................................................ 117
1.1 Signaal detectie theorie ................................................................................................... 118
1.2 Cut-off waarden .............................................................................................................. 119
4
,LenaCoe
2023
1.3 ROC curves ...................................................................................................................... 119
2. COTAN richtlijnen ................................................................................................................ 121
5
,LenaCoe
2023
Hoofdstuk 1: psychometrie
1. Psychologische tests in de praktijk
Het leven begint al met het nemen van een psychologische test: APGAR scoring voor
pasgeborenen pasgeborene worden geëvalueerd op 5 kenmeren: kwaliteit van
ademhaling, aanwezigheid van de reflexen, spiertonus, pols en kleur
Psychologische testen spelen een grote rol in ons dagelijks leven
We komen doorheen ons leven allemaal in aanraking met psychologische testen
Psychologische testen kunnen vergaande gevolgen hebben voor mensen, soms zelf tot leven
of dood
- Bijvoorbeeld: de wet in North Carolina stelt dat mentaal achtergestelde personen niet
tot de dood veroordeeld kunnen worden. Mentale achterstand wordt binnen diezelfde
wet gedefinieerd als een intelligentie niveau dat significant lager ligt dan het gemiddelde.
En dit wordt beantwoord adhv een psychologische test score van 70 of lager op een
intelligentietest
Soms worden psychologische testen verkeerd gebruikt
2. Het belang van psychologische testen voor jou
Psychologische testen behoren tot het instrumentarium van psychologen
Het is essentieel dat je de psychometrische kwaliteit van testen kan inschatten
Psychometrie is de wetenschappelijke studie van de kwaliteit van psychologische metingen
Er is een verschil tussen psychologische testing en assessment
- Testing: een relatief eenvoudig proces waarbij een psychologische test wordt afgenomen
van een persoon en tot een specifieke score op de test komt
- Assessment: een complex proces waarbij meerdere psychologische testen worden
afgenomen, aangevuld met informatie uit andere bronnen zoals interviews en
observaties, om zo tot een holistisch beeld te komen voor het functioneren van een
persoon
De focus van deze cursus ligt op testing
3. Wat zijn psychologische testen? Definitie van psychologische test
Een psychologische test is een systematische procedure om het gedrag van twee of meer
personen te vergelijken (inter-individuele verschillen), of om het gedrag van een persoon op
verschillende moment te vergelijken (intra-individuele verschillen)
Cornbach definieerde in 1960 het eerste deel “een systematische procedure om het gedrag
van twee of meerdere personen te vergelijken”
Deze definitie heeft verschillende kenmerken
- Ze gebruiken gestandaardiseerde procedures
- Ze leveren een staal van gedrag op
- Ze leveren testscores op
- Ze maken gebruik van normen
- Ze voorspellen gedrag buiten de test
6
,LenaCoe
2023
3.1 Gestandaardiseerde procedures
Ze gebruiken systematische procedures om:
- Items, vragen en opdrachten te kiezen
- Test af te nemen moet bij elke persoon op dezelfde manier gebeuren
- De antwoorden op de test interpreteren via objectieve scoring of subjectieve scoring
o Objectieve scoring: via een schema dat op voorhand is opgesteld, een lijst met
alle mogelijke responsen
o Subjectieve scoring: voorbeeld van het figuur waarin je moet zeggen wat je
daarin ziet (inktvlekken test). Er zijn oneindig veel antwoorden mogelijk, je kan
daar dan uithalen of de persoon zich gaat richten op de zwarte gedeeltes, de
rechts of links deeltjes,… Er zijn dus enkel een paar richtlijnen om de responsen
te hanteren
Testontwikkelaars moeten items selecteren op grond van een wetenschappelijke studie van
een groot aantal items (de item pool). Dit is nodig opdat zij zeker kunnen zijn dat de items
die ze hanteren daadwerkelijk datgene meten wat ze geacht worden te meten
3.2 Staal van gedrag
Een test bestaat uit een eindig aantal items (= vragen/stellingen/opdrachten)
Selectie van deze items is dus cruciaal, ze moeten een representatief “staal” van gedrag
meten
Deze items moeten niet noodzakelijk een rechtstreekse afspiegeling zijn van het gemeten
gedrag
Stel een vragenlijst over depressiviteit kan een item bevatten “hoeveel glazen water
drinkt u per dag”, dit heeft geen rechtstreeks verband. Maar het kan zijn dat het
onderzocht is dat depressieve mensen minder water drinken en dan is het dus wel nuttig
3.3 Testscore
“Whatever exists at all exists in some amount" (Thorndike, 1918)
"Anything that exists in amount can be measured" (McCall, 1939)
( als iets in bepaalde mate bestaat, kunnen we het ook meten)
Met een test willen we een bepaald psychologisch kenmerk (construct) meten (bv:
intelligentie, creativiteit, depressie)
Men gaat er van uit dat elke persoon dit kenmerk in zeker mate bezit
Een testscore is een schatting van de “hoeveelheid” waarin dit kenmerk aanwezig is bij een
persoon
Elke testscore bevat een zeker meetfout
-
- Bijvoorbeeld: als je een IQ test doet en iemand scoort 110 is dat de effectieve score,
maar die is nooit 100% juist. Er gaat altijd iets verloren door meetfout
- X staat voor de geobserveerde score, T voor de ware score (True) en e voor de meetfout
(error)
- Je wil X en T zoveel mogelijk overeenstemmen
- e is negatief als je bv IQ van 120 test maar het is eigenlijk 130, dan heb je negatieve error
/ negatieve meetfout van -10
7
,LenaCoe
2023
- Meetfout kan door verschillende dingen bv slecht geslapen
- De meetfout zal nooit 0 zijn en voor elke onderzochte deelnemer zal e een andere
waarde zijn
Andere opmerking: Wat met een psychologische test wordt gemeten, is geen “ding” dat echt
fysisch bestaat. Meestal gaat het over een abstractie (abstract begrip of construct) waarvan
men heeft ondervonden dat het bruikbaar is om niet-testgedrag te voorspellen.
Bijvoorbeeld: het IQ is niet zoiets dat ieder van ons met zich draagt, maar het is een score op
een test waarvan is gebleken dat die bruikbaar is om bijvoorbeeld studiesucces, intellectuele
vaardigheden en dergelijke te voorspellen.
3.4 Normen
Stel dat je een score 130 van intelligentie uitkomt, hoe moet je dat dan interpreteren?
Normen = een samenvatting van testresultaten voor een grote steekproef die representatief
is voor een populatie
Maar, niet elke test heeft normen
Verschil tussen norm-referenced en criterion-referenced testen
3.5 Gedrag voorspellen buiten de test
Uiteindelijk doel is niet om te voorspellen hoe iemand scoort op de test zelf, maar hoe
iemand zich zal gedragen buiten de test omstandigheden
4. Geschiedenis van psychologische testen
Tijdslijn
8
,LenaCoe
2023
4.1 Vroege vormen van testing
China – 2200 BC
Ambtenaren van Chinese overheid werden driejaarlijks getest
Onderwerpen die aan bod kwamen:
- Civiel recht
- Militaire strategie
- Landbouwkunde
- Boekhouding
- Geografie
Testafname duurde één volledige dag en nacht
Afname vond plaats in een kleine, afgesloten ruimte
- Dus al aandacht voor testomstandigheden
Slechts 1-7% slaagde
De hoogste score kreeg de hoogste functie
Physiognomie = psychologische kenmerken afleiden uit het uitzicht van een persoon (bv het
aangezicht)
- "Hair that hangs down without curling, if it be of a fair complexion, thin, and soft withal,
signifies a man to be naturally fainthearted, and of a weak body but of a quiet and
harmless disposition. Hair that is big, and thick, and short withal, denotes a man to be of
a strong constitution, secure, and deceitful..." (Aristoteles)
Phrenologie = psychologische kenmerken afleiden uit knobbels op het hoofd (Franz Joseph
Gall; 1758 - 1828)
4.2 De experimentele psychologie
Afzetten tegen subjectieve methodes (bv: introspectie) om kennis te verzamelen
Nadruk op objectieve, reproduceerde methoden in laboratoria
Aandacht voor eenvoudige, sensorische processen en lichamelijke kenmerken (zoals
reactietijden, waarnemingsdrempels en beschouwden dit als basis voor intelligentie)
Bronzen instrumenten tijdperk van testing (ze hanteerde allerlei (vaak bronzen) apparaten
om zaken te meten zoals sensorische drempels en reactietijden)
Belangrijke figuren:
- Wilhelm Wundt
- Francis Galton
- James McKeen Catell
- Clark Wissler
A. Wilhlem Wundt (1832-1920)
Eerste psychologisch lab in Leipzig in 1879
Gedachtenmeter: Dit toestel bestond uit een gekalibreerde slinger waaraan weerzijden
naalden uitstaken. Bij het heen en weer zwaaien van de slinger beroerde de naalden te
bellen. Nu was het de opdracht van de deelnemer om precies de positie van de slinger aan te
duiden op het ogenblik dat hij of zij de bel hoorde. Van tevoren konden onderzoeker de
naalden zo instellen dat enkel hij wist waar de slinger zich werkelijk bevond op het ogenblik
dat de naald tegen de bel tikt. Op die manier kon het verschil waargenomen worden tussen
de echte plaats van de slinger op het moment van het aanraken van de bel en de
waargenomen positie. Het verschil werd beschouwd als een maat voor de vlotheid van de
9
, LenaCoe
2023
gedachtegang van de deelnemer. Later is dit werk nuttig gebleken voor de astronomie waar
men vastgestelde dat verschillende onderzoekers systematisch verschillende tijden
registreerden van het doorkomen van sterren in het gezichtsveld van de telescoop. Voor de
psychologische testing is de bijdrage van Wundt vooral zijn poging om mentale processen te
meten en te erkennen van inter-individuele verschillen.
Verdiensten:
- Erkenning van individuele verschillen
- Empirische benadering
B. Francis Galton (1822-1911)
Geobsedeerd door meten (hij meten heel veel bv hoeveel kwastbewegingen iemand nodig
had om een schilderij te maken)
Interesse in erfelijkheid
Eugenetica ( selectief kweken, zaken die we niet willen in de maatschappij verwijderen bv
mensen met een laag IQ verbieden om kinderen te krijgen)
Anthropometrie versus psychometrie
- Anthropometrie = de metingen van fysieke kenmerken bv: de grootte van het hoofd
- Psychometrie = de meting van psychologische kenmerken bv: sensorische discriminatie
Vader van de "differentiële psychologie”
Galton’s psychometrisch lab in Londen:
- Demografische gegevens
- Kleur haar en ogen
- Visueel vermogen (bv. reactietijd visuele stimuli)
- Auditief vermogen
- Waarnemingsdrempel tastzin
- Longcapaciteit
- Snelheid handbeweging
- Kracht (bv. handgrip)
- (Arm-)Lengte
- Gewicht
Hij verzamelde zo alle gegevens en probeerde verbanden te leggen
De grote bijdrage van Galton is dat hij aantoonde dat objectieve tests ontwikkeld konden
worden en dat gestandaardiseerde procedures betekenisvolle scores kunnen opleveren
Tot slot kon Galton beschouwd worden als een grondlegger van de moderne psychometrie
en statistiek. Zo demonstreerde hij dat vele menselijke kenmerken in kaart kunnen gebracht
10
