Psychometrie deel 1
Inleiding
Psychometrie
1. Definitie psychometrie
Niet volgens het woordenboek:
o Synoniem van psychoscopie
o Onderdeel van helderziendheid, weten, zien van gebeurtenissen uit verleden door
betasten van portret of voorwerp
Wel:
o Psychometrie houdt zich bezig met methode van psychodiagnostiek: theorie en
techniek pedagogische en psychologische meting, met name het meten van kennis,
vaardigheden, houdingen en persoonlijkheidskenmerken
2. Basisschema psychometrie
Latent niveau (onderliggend) Observaties
Persoonseigenschap Item 1
Item 2
Item …
Datamatrix: antwoorden van personen op items
vb. examens, tests…
3. Constructie psychodiagnostische instrumenten
1. Itemconstructie
2. Data-verzameling
3. Psychometrische modellering (op latent niveau)
Klassieke testtheorie (KTT)
Factoranalyse
Itemresponstheorie (IRT)
4. Validiteit
5. Gebruiktests
Itemconstructie
Toelichting
GPS-definitie van psychologie en psychometrie
Gedrag is de functie van persoon en situatie: G = f (P, S)
o G: observeerbaar gedrag antwoorden
o P: niet-observeerbare psychologische eigenschap
o S: situatie items
Prestatieniveau Gedragswijze
P Intelligentie Introversie
S Rekenvragen Uitspraken
G Accuraatheid, snelheid Zelfrapportering
Onderdelen constructie van items:
1. Van de respondent gevraagde activiteit (S)
2. Vorm waarin antwoord wordt gegeven (G)
1
, 3. Itemvormen: speciale gevallen voor gecodeerde items
4. Items prestatieniveau
5. Items gedragswijze
6. Kwantificering antwoorden
7. Kwantificering, diverse informatiebronnen
8. Itemscores
9. Beoordeling van kwaliteit van items in vooronderzoek
10. Dichotome items
11. Polytome items
Van de respondent gevraagde activiteit (a)
Theoretische Stellingen Vragen Praktijkproeven E.a.
opdrachten
Los op: doolhof, Uitspraken en Op welke Praktijkexamen, Interpretatie
rekenvraag… gradaties van partij rollenspel, inktvlekken
instemming: stemmen? spelsituatie..
Voorbeeld
1. Eens/oneens Hoe pak je
2. Akkoord .. .. .. .. dit aan?
Niet akkoord
Cognitieve Persoonlijkheidstrek, Opinies, Capaciteiten, …
capaciteiten attitudes, houdingen, vaardigheden,
(aangeboren) vb. voorkeuren voorkeuren persoonlijkheids
intelligentie en eigenschappen
Meten van
cognitieve
vaardigheden
(aangeleerd) vb.
theorie rijbewijs
Juistheid Aan de hand van de Aan de hand Aan de hand …
positie op de schaal van bepaald van juistheid,
standpunt adequaatheid,
Scoring
interpretatie en
reactiewijze.
Prestatieniveau Gedragswijze Gedragswijz Prestatieniveau
e en gedragswijze
Itemvormen (b)
1. Vorm waarin antwoord wordt gegeven
Open vraagvorm Gesloten vraagvorm
Respondent bepaalt zelf hoe hij/zij reageert Respondent kiest uit beperkt aantal door
(antwoord, handeling) testconstructeur geformuleerde reacties
Voorbeeld: Voorbeeld:
1. PN: essayvorm 1. PN: meerkeuzevraag
2. GW: rollenspel 2. GW: antwoordschaal
Prestatieniveautest
Aandacht formuleren van vragen en ontwerpen Uitvoeren vooronderzoek:
scoringswijze 1. Bedenken vragen en afleiders
2. Inschatten moeilijkheidsgraad
Hogere cognitieve vaardigheden: begrip, Eenvoudige cognitieve vaardigheden: kennis,
2
, inzicht, evaluatie… herkenning…
Empirisch onderzoek bewijst tegendeel.
MC betere predictoren dan open vragen.
Interbeoordelaarsbetrouwbaarheid niet altijd Raden:
hoog 1. Meer afleiders?
2. Andere instructies vb. kies alle juiste
3. Correctie voor raden
Objectieve scoring
Gedragswijze
Onderzoeker: Onderzoeker:
1. Categorisatie antwoorden 1. Snelle en objectieve verwerking
Categorisatiesysteem, IBB 2. Duidelijke vragen!
2. Duidelijkheid vragen? Specifieke (mogelijk afhankelijk
Interpretatie en relevantie concrete items) of algemene
beschrijving (mogelijk onduidelijk).
Respondent: Respondent:
1. Productieve taalvaardigheid 1. Meer vragen mogelijk
2. Beperkter aantal vragen Hogere betrouwbaarheid en
(inhouds)validiteit.
Voorbeeld introversie
Hoe gedraagt u zich in gezelschap? Ik ben weinig aan het woord in gezelschap: van
toepassing .. .. .. .. niet van toepassing
Interpretatie in de vraag vb. ik ga ervan uit.. Vraag in principe duidelijk vb. algemeen of
specifiek.
Relevantie van antwoord? Relevantie antwoord!
Omschrijvingen
Algemeen Specifiek
Brede waaier van gedragingen en situaties vb. in Specifieke set van gedragingen of
Veralgemeenb
gezelschap ben ik veel aan het woord situaties vb. ik discussieer veel met
scheids.
1. Toevalsfout vb. kapitein
aarheid
2. Veralgemeenbaarheid
beperkt
Antwoord op basis van specifieke informatie en Hogere betrouwbaarheid (specifieke
Responsp
inferentie. Responsconsistentie daalt: mensen informatie uit geheugen)
roces
geven niet meer hetzelfde antwoord bij
herhaaldelijk vragen.
Dia 53?
2. Speciaal geval van geprecodeerde items
Items voor prestatieniveau:
1. Kiezen
Min. 2 alternatieven
(in)correcteantwoordvorm
Vb. wat sluit niet aan…?
Meest/minst juistantwoordvorm
Verschillendeantwoordenvorm
Vb. elimineer alle foute antwoorden
3
, Complexe vormen
Vb. gecombineerde antwoordvorm
2. Rangschikken
Prestatieniveau: juistheid, toepasbaarheid…
Gedragswijze: voorkeur (peilen naar interesses, motieven…)
Veel informatie
3. Toeschrijven
Matching
Vb. maak de 5 juiste combinaties uit deze tien woorden.
Keuzes niet onafhankelijk
Hoe meer zekere combinaties, hoe groter de kans correct antwoord bij
raden
Interne feedback vb. hoe meer combinaties op basis van kennis
waarover de persoon beschikt, hoe groter kans dat deze ook aan de
hand van uitsluiting kan antwoorden voor overgebleven combinaties.
Eventueel 1 kolom langer dan andere maken
Items voor gedragswijze:
1. Formulering stam
Formulering item
Niet te specifiek, niet te algemeen en voldoende realistisch
Geen middenpositie beschrijven vb. stelling ‘ik ben even ordelijk dan
anderen’ wanneer niet eens, dan veel sterker georganiseerd of grote
sloddervos zijn.
S-R vragenlijsten
Hoe reageert een persoon doorgaans? Heel wat psychologische
kenmerken in bepaalde situaties vb. introversie (sociale situatie),
coping (stressvolle situatie). Hoe hou je rekening met die situaties in
de items? Vb. als ik onvoldoende tijd heb (situatie), maak in een
nieuwe planning (respons).
2. Antwoordmogelijkheden
Variaties in hoeveel verschillende antwoorden er gegeven kunnen worden (aantal) en
of de posities gelabeld zijn.
Aantal categorieën
Likertschaal: 5 antwoordmogelijkheden
Neutrale middencategorie: wanneer niet dan mensen dwingen een
kleur te bekennen. Wanneer wel aanwezig kan dit als ‘vluchtweg’
dienen.
Verbale aanduiding
Labels
1. Niet altijd eenduidig
2. Gekunsteld
Enkel uiteinden benoemen
1. Niet altijd eenduidig betekenis tussencategorieën
S-R vragenlijsten:
1. G: tests voor gedragswijzen (door te vragen hoe een persoon reageert)
4
, 2. P: psychologische kenmerken in situatie
3. S: rekening houden met situatie in items vb. als ik weinig tijd heb voor taak, dan
maak ik nieuwe planning.
Kwantificering van antwoorden en beoordeling kwaliteit items
vooronderzoek (c)
1. Kwantificering van antwoorden
Tweede intro
GPS-definitie: als gedrag…dan is dat iets kwalitatief (in lijn met psychologische werkelijkheid
kwantificeren). Statistische modellen voor onderzoek om systematiek in gedrag na te gaan
(G), de kwaliteit van items en test (S)…
Itemscores
A. Soorten
o Dichotoom item: juist/onjuist
o Polytoom item: 0 1 2 3 4 5
Itemscore in lijn met latente trek
Richting afhankelijk van stam
o Andere
Spiegelitems: stam is als een tegenindicatie voor de psychologische trek
geformuleerd. Daarom de omgekeerde reeks itemscores gebruiken vb. ik ga
graag naar feestjes in test introversie.
Attitude-items: oneens met stelling indicatief voor beide extremen op latente
trek vb. met ordelijk zijn.
Keuze getallen: op zich arbitrair (zolang in lijn met psychologische trek)
B. Scores
o Ordinaal (maar in praktijk intervalschaal)
o Gelijke gewichten over items
o Ongelijke gewichten over items
Enkel als theorie met onderscheid tussen kerngedragingen en minder typische
gedragingen
Niet op basis van statistische analyse?
Itemtotaalcorrelatie
Wel bij IRT
2. Beoordeling van kwaliteit van items in vooronderzoek
Vooronderzoek Hoofdonderzoek
20 < N < 100 500 < N < 2000
Steekproef: eventueel niet-representatief Steekproef: representatief en eventueel
(risicogroepen) gestratificeerd (opsplitsing in deelgroepen
die eventueel oververtegenwoordigd zijn –
oversampling)
Doel: eerste kwaliteitsscreening Doel: kwaliteitsbepaling items en test,
opstellen normen
Steekproeftrekking
5
, A. Toevallige steekproef uit populatie
B. Gestratificeerde steekproef uit deelpopulaties
Vb. buitengewoon en normaal onderwijs zijn twee deelpopulaties uit de gehele
populatie.
Oversampling: deelpopulatie oververtegenwoordigd in steekproef, niet meer
representatief t.a.v. de stratificatievariabele
Dichotoom gescoorde items (MKV)
o Informatie in relatieve frequentieverdeling antwoordalternatieven:
p-waarde: proportie juiste antwoorden
a-waarde: proportie antwoorden van elke afleider
o Indicatie van functioneren item
o Andere itemstatistieken vb. item-totaalcorrelatie, scoregroepanalyse
Mogelijke patronen:
o p > a en a ongeveer gelijk voor alle afleiders: ideaal
o p = alle a: mogelijk gissen
Itemrestcorrelatie of scoregroepanalyse
Herbekijk inhoud
o Extreme p-waarde
Triviale vraag? Goede beheersing? Afleiders niet plausibel?
o p < bepaalde a
Strikvraag? Detailvraag? Fout in scoresleutel? Partiële kennis?
Bekijken van scoregroepanalyse
Scoregroepsanalyse: proefgroep ingedeeld op basis van totaalscore, per item de p-waarde
per scoregroep berekenen.
o Als een vraag een goede indicatie biedt van hoe goed de student de leerstof
beheerst, dan verwacht je dat de sterkere studenten het antwoord juist gaan hebben
en de zwakkere studenten het vaker fout gaan hebben (relatie).
o Het is heel moeilijk om goede foute antwoorden te bedenken (item 2)
o Item 4 is een item dat niet goed functioneert. Dit zou een item kunnen zijn waarbij
studenten gegokt kunnen hebben. Weinig variatie tussen de 3 alternatieven. Ofwel
geen goede vraag, ofwel onduidelijk of ze dit moesten kennen (leerstof).
o Als je de p-waarde en a-waarden weergeeft in een grafiek duidelijk beeld hoe het
item functioneert (vraag niet goed geformuleerd, meer bijles geven…)
Polytoom gescoorde items
Informatie in relatieve frequentieverdeling antwoordcategorie:
o Goede spreiding antwoorden
Indicatie goed functioneren
Gemiddelde score
6
, o Extreem scheve verdeling
Te populair item
Draagt niet veel bij tot maken van onderscheid latente trek
Item en factoranalyse
Inleiding
Validiteit: item en factoranalyse gebruikt als empirische evidentie van begripsvaliditeit.
Testconstructie: item en factoranalyse in fase data-analyse.
1. Verschil item- en factoranalyse
Itemanalyse Factoranalyse
Deductief (top-down) Inductief (bottom-up)
Gegeven de apriori indeling van items (of na Gegeven de antwoorden van de respondenten
FA). Er is al een indeling van factoren.
Kwaliteitscheck of Hoe kunnen deze data
antwoorden best worden samengevat
respondenten steun o.b.v. achterliggende
bieden voor dit dimensies of factoren?
itemdesign en bijhorende
somscores.
Itemanalyse
1. Doel itemanalyse
1. Vaststellen meetkwaliteiten (van somscores)
Karakteristieken items en test
Betrouwbaarheid test, dus betrouwbaarheid van de somscore (dit is de som
van de itemscores)
2. Optimalisatie meetschaal door verwijdering/aanpassing items, bijvoorbeeld
Op basis van descriptieve statistieken
Vb. item met extreem gemiddelde en dat dus niet differentieert
Op basis van correlatie tussen item met totaalscore
Vb. item dat niet sterk samenhangt met totaalscore
2. Kenmerken item
Univariate itemkenmerken
o Gemiddelde
Berekening
1. Prestatieniveau: p-waarde en a-waarden
2. Gedragswijzen: gemiddelde antwoordschaal
Extreme gemiddelden
1. Prestatieniveau: items hoge/lage p-waarden kan door
moeilijkheidsgraad (itemkenmerk) of vaardigheid respondenten
(persoonskenmerk) vb. makkelijke vraag of sterke studenten.
2. Gedragswijzen
Informatieve waarde van dergelijke items voor test vb.
niemand stelt bepaald gedrag (item), meet dit dan wel wat de
test wilt meten?
o Variantie
7
, Berekening
1. Prestatieniveau: dichotoom gescoorde items variantie itemscores
afhankelijk van de p-waarde: var (X) = p(1-p).
vb. p-waarde 0.5 dan var (0.5) = 0.5 (1-0.5) = 0.25 (is het hoogst).
2. Gedragswijzen: bij extreme gemiddelden is er weinig variantie in de
antwoordscores
Voorkeur voor items die goed differentiëren: grote variantie in de p-waarde
(variantie is functie van p-waarde). Bij extreme gemiddeldes vaak weinig
variantie (variantie dus ook gerelateerd aan gemiddelde).
Verband met somscore
Indicatoren: nagaan of item bij meetschaal past
1. Scoregroepsanalyse (bij prestatieniveautest)
Proefgroep indelen in kwartielgroepen op basis van totaalscore. Per item de p-
waarde (en a-waarden) per scoregroep.
2. Item-totaal correlatie en item-rest correlatie
Soorten:
a. Item-totaal correlatie: correlatie antwoorden op item en alle items van de
test.
b. Item-rest correlatie: correlatie antwoorden op item en alle andere items van
test.
Verbanden:
a. Positief: goed differentiërend item vb. studenten die hoog scoren op items
hebben doorgaans hoge score op het item (en omgekeerd). Ligt in lijn met
wat we willen meten.
b. Negatief: vaardige studenten hebben minder kans om dit item juist op te
lossen. Bij prestatieniveau item weglaten en bij gedragswijzen item
spiegelen.
3. Kenmerken test
Univariate testkenmerken
o Gemiddelde
Indicatie gemiddeld prestatieniveau/doorsnee gedragswijze
Opletten voor
Vloereffecten: test is te moeilijk waardoor iedereen zeer laag scoort.
Niet differentiëren tussen zwakkere leerlingen en middengroep.
Plafondeffecten: test is te makkelijk waardoor iedereen zeer hoog
scoort. Niet differentiëren tussen sterkere leerlingen en middengroep.
Vb. test die voor 1ste leerjaar bedoeld is, afnemen bij 3de leerjaar. Je krijgt
hierdoor een plafondeffect, daling van variantie, individuele verschillen
zijn in grote mate te wijten aan ruis dan aan systematische verschillen in
leesvaardigheid en betrouwbaarheid lager.
o Variantie
Spreiding van resultaten is gunstig voor correlatie met andere tests
(begripsvaliditeit) en criterium (predictieve validiteit).
Analyse van effect weglaten van een item op univariate testkenmerken
o Chronbachs α
8
