Samenvatting Psychometrie: een introductie
Inhoudsopgave
Samenvatting Psychometrie: een introductie............................................................................1
Inhoudsopgave.......................................................................................................................1
Samenvatting Psychometrics: an introduction, Fourth edition. R. Michael Furr.......................2
Chapter 4: Test Dimensionality and Factor Analysis..............................................................2
Chapter 5: Reliability............................................................................................................11
Chapter 6: Empirical estimates of reliability........................................................................18
Chapter 7: The importance of reliability..............................................................................28
Chapter 8: Validity: conceptual basis...................................................................................36
Chapter 9: Estimating and evaluating convergent and discriminant validity evidence.......43
Chapter 10: Response biases................................................................................................55
Chapter 11: Test bias............................................................................................................62
Samenvatting colleges..............................................................................................................71
Chapters 1-3, Summery lecture............................................................................................71
Chapters 4, Factor analyse...................................................................................................76
Chapters 5 & 6, Reliability....................................................................................................80
Chapters 7, Reliability applied..............................................................................................85
Chapters 8 & 9, validity........................................................................................................87
Chapter 10, response biases................................................................................................94
Chapter 11, test biases.........................................................................................................98
Respons college..................................................................................................................101
,Samenvatting Psychometrics: an introduction, Fourth edition. R.
Michael Furr.
Chapter 4: Test Dimensionality and Factor Analysis
Factor Analysis: examining the dimensionality of a test
- Om testen goed te kunnen gebruiken en interpreteren, moeten test ontwikkelaars
onderzoek doen naar de psychologische eigenschap die wordt gerepresenteerd door
de verschillende test dimensies.
- De volgende paragraaf omschrijft de basis van factor analyse: de meest gebruikte
statistische tool om test dimensionaliteit te evalueren.
- Er zijn twee soorten factor analyse, maar wij behandelen de eerste:
- Exploratory factor analysis (EFA): dit hoofdstuk focust zich op EFA
- Confirmatory factor analysis (CFA): wordt verder niet behandeld tijdens dit
vak
The logic and purpose of exploratory factor analysis: a conceptual overview
- Als je uitgaat van de persoonlijke interpretatie van mensen wat betreft de
dimensionaliteit, beweert de een dat een vragenlijst een tweefactor structuur heeft
en de ander dat het een driefactor structuur heeft.
- Test ontwikkelaars hebben daarom een voorkeur om een interpretatie te baseren op
empirische data, bijv.:
- Deelnemers vullen de vragenlijst in laten software de correlatie tussen de
items berekenen we gebruiken de correlaties om het aantal dimensies te
identificeren.
- We zien in onderstaande afbeelding een correlatie matrix. Je ziet dat de eerste drie
items relatief sterk aan elkaar gecorreleerd zijn, en de laatste drie items ook met
elkaar.
- We zien ook dat deze twee clusters van items onafhankelijk zijn. Want de correlatie
tussen talkative en creative is 0. Het feit dat iemand zichzelf ziet als assertive,
talkative en outgoing zegt niets over de creativiteit, verbeelding en intellect van
diegene.
- In zo’n correlatie matrix
proberen we dus sets van
items te maken die relatief
sterk gecorreleerd zijn t.o.v.
elkaar en tegelijkertijd zwak
gecorreleerd zijn aan andere
items. elke set van relatief
sterk gecorreleerde items
noemen we een
psychologische dimensie of
factor.
- De drie belangrijkste punten
rondom dimensionaliteit:
2
, 1. Om te bepalen hoeveel dimensies of factoren er zijn, tellen we het aantal sets die
we identificeren. Als alle items sterk zijn gecorreleerd met elkaar, spreken we van
slechts 1 dimensie of factor, de schaal is unidimensionaal. In het voorbeeld
hierboven hebben we twee sets gevonden die sterk met elkaar correleren, dus is
de structuur tweedimensionaal (multidimensionaal)
2. Om te bepalen of de dimensies/factors met elkaar gecorreleerd zijn, kijken we
naar de correlaties tussen de sets. In ons voorbeeld zien we dat de items van de
ene set niet zijn gecorreleerd met de items van de andere set. Deze zes item
test is dus een multidimensionale test met ongecorreleerde dimensies. Maar als
we een correlatie van 0,30 hadden gevonden tussen “talkative” en “creative” en
een correlatie van 0,25 tussen “talkative” en “imaginative”, suggereren deze
correlaties dat de dimensies gecorreleerd zijn aan elkaar.
3. Om de psychologische betekenis van de dimensie/factor te begrijpen, kijken we
naar de inhoud van de items. We zoeken nu naar het psychologische concept of
thema dat de items binnen een dimensie met elkaar delen. Als we kijken naar de
items talkative, assertive en outgoing, zullen veel persoonlijkheidspsychologen
zeggen dat deze items gaan over een extraversie dimensie/factor en dat de items
imaginative, creative en intellectual gaan over openheid voor ervaringen. Deze
antwoorden zijn gebaseerd op interpretatie en voorkeur.
- We hebben nu een simpele factor analyse uitgevoerd met behulp van een correlatie
matrix. Helaas bevat echte data vaak veel meer items dan deze 6. Als we
bijvoorbeeld een correlatie matrix van 48 items onderzoeken, moeten we meer dan
1100 correlaties onderzoeken.
- Exploratory factor analysis (EFA) is een statistische procedure die dit proces
makkelijker maakt. EFA kunnen we gebruiken om veel correlaties te kunnen
analyseren.
Conducting and interpreting an exploratory factor analysis
- We gaan nu in op het proces van het uitvoeren van een EFA. Het is vaak een
herhaaldelijk proces, aangezien de resultaten van de ene stap er vaak voor zorgt dat
we nogmaals de vorige stap moeten evalueren.
Een extractie methode kiezen
- De eerste stap van een EFA is het kiezen van een extractie methode. Hier
bedoelen we de specifieke statistische techniek mee. De meest gebruikte
keuzes bij EFA zijn de principal axis factoring (PAF) en principal components
analysis (PCA). Vaak wordt PAF vaker gebruikt dan PCA.
Het bepalen van het aantal factoren
- De volgende stap van een EFA is het identificeren van het aantal
factors/dimensies. We gebruiken statistische software om het aantal factors
te bepalen
- Het bepalen van het aantal factoren identificeren doen statistici d.m.v.
eigenvalues/eigenwaardes.
- De figuur hieronder toont de software output van een EFA.
- We focussen ons op de drie belangrijkste manieren hoe deze informatie
gebruikt kan worden om het aantal factoren te bepalen.
1. Een manier hoe eigenwaardes worden gebruikt om het aantal dimensies
te evalueren is de “greater than 1.0 rule”. Bijv. van de 6 eigenwaardes die
3
, we in onderstaande figuur zien, zijn er slechts twee boven de 1.0 (kijk
onder total). Hieruit concluderen we dat de test items bestaan uit twee
dimensies. En als onze output drie eigenvalues toonde die groter dan 1.0
waren, hadden we geconcludeerd dat de test items bij drie dimensies
horen. deze regel is erg populair maar critici stellen dat de methode
eigenlijk ongeschikt is voor het evalueren van het aantal dimensies.
o Nadeel: de totale som van de eigenvalues is gelijk aan het aantal items
van de analyse. Bij een test met meer items zullen er dus meer
factoren uit komen dan wanneer je een test hebt met minder items.
Het zal dus NIET moeten worden gebruikt. Er zijn gelukkig alternatieven:
2. Een tweede betere manier om het aantal dimensies/factors te bepalen is
om de grootte van de eigenwaardes zelf te bestuderen. We kijken naar de
output (onder % of variance) en we hopen een punt te vinden waarbij de
verschillen tussen twee opvolgende waardes relatief groot is. We zien
bijvoorbeeld een relatief groot verschil tussen de tweede eigenvalue van
2,173 en de derde eigenvalue van 0,563. We zien dat dit verschil een stuk
groter is dan alle andere verschillen. Het verschil tussen de derde en
vierde eigenvalue is namelijk weer relatief klein. We concluderen dat
de test een aantal dimensies heeft dat gelijk is aan de rij met de grotere
eigenvalue. Ons punt zit tussen rij 2 en 3, dus we concluderen dat de test
twee dimensies heeft (rij twee heeft het hogere getal). Als het grootste
verschil tussen rij 4 en 5 zat, hadden we geconcludeerd dat de test vier
dimensies heeft.
3. Een derde manier om eigenvalues te gebruiken voor het bepalen van het
aantal dimensies is het bestuderen van een screeplot (zie figuur
hieronder). Een scree plot geeft een grafische weergave van de
eigenvalues. Net als in de uitleg hierboven kijken we naar een relatief
groot verschil in de geplotte waardes. Als we van links naar rechts
bewegen over de xas hopen we een duidelijk punt te vinden dat het
4
