PSYCHODIAGNOSTIEK 1
Psychodiagnostiek: Taak 2
PS: Wat is validiteit?
LD: 1) Wat is validiteit?
Basisboek: Validity (Kaplan).
Definitie validiteit
Validiteit kan omschreven worden als het overeenkomen van een test score of maat, met
de kwaliteit die het zou moeten meten. Validiteit wordt vaak omschreven als het
antwoord op de vraag: “meet de test wat het hoort te meten?”.
Er bestaan 3 soorten bewijs voor validiteit:
1. Construct gerelateerd.
2. Criterium-gerelateerd.
3. Inhoud-gerelateerd (‘content’).
Aspecten van validiteit
Face validiteit is een vorm van validiteit die niet erkend is als een bestaande categorie
omdat het geen technische vorm van validiteit is. Face validiteit is alleen het lijken dat
een maat valide is. Het zou geen vorm van validiteit zijn omdat het geen bewijs biedt
voor de conclusies die uit test-scores gehaald zijn. Echter, in vele gevallen is het cruciaal
om een test te hebben, die valide ‘lijkt’ te zijn.
Inhouds- of content-gerelateerd bewijs voor validiteit van een test of maat gaat over de
adequaatheid van de representatie van het conceptueel domein dat de test zou moeten
onderzoeken. Bijvoorbeeld op een toets die 5 hoofdstukken uit een boek omvat, moeten
de items overeenkomen met de informatie die de hoofdstukken bieden. Bewijs voor
content validiteit is vooral belangrijk in een educatieve setting. Wanneer we zoeken voor
bewijs voor content validiteit wordt vooral gekeken naar de opbouw van de test en of
deze ook adequaat is. Vaak worden experts gebruikt om te bepalen of een item relevant
is, zo komt een test tot stand. Statistische methoden zoals factor analyse moeten dan
aantonen of de items passen in het conceptueel domein.
Construct Onderrepresentatie
Het onderrepresenteren van belangrijke componenten van een construct.
Construct-Irrelevante Variantie
Variantie in scores die veroorzaakt wordt door factoren die irrelevant zijn voor het
construct.
Vaak zijn er factoren die ervoor zorgen dat testscores anders uitvallen dan dat eigenlijk
zou moeten. Door deze factors te identificeren en er rekening mee te houden kunnen er
toch nog accurate conclusies getrokken worden en is generalisatie mogelijk (bv.
leesproblemen).
Bewijs met betrekking tot criterion validiteit vertelt ons hoe goed een test correspondeert
met een bepaald criterion. Een criterion is een standaard waarmee een test vergeleken
wordt. De reden waarom er bewijs voor criterion validiteit nodig is, is omdat de test kan
dienen als een ‘stand-in’ voor de maat waarin we daadwerkelijk geïnteresseerd zijn.
De voorspellende functie van een test is een vorm van criterion validiteitsbewijs dat
bekend staat onder de naam ‘predictive validity evidence’. De SAT is bijvoorbeeld een
predictor voor het criterion GPA. Het doel van een test is het voospellen van de
waarschijnlijkheid dat het criterion behaald wordt.
, PSYCHODIAGNOSTIEK 2
Een ander type bewijs voor criterion validiteit is concurrent-gerelateerd bewijs, dit bewijs
komt van de relatie tussen simultane metingen van de test en het criterion (‘learning
disability – school performance’). Concurrent bewijs voor validiteit gaat op wanneer de
test en het criterion op dezelfde tijd gemeten worden.
De relatie tussen een test en een criterion wordt normaal gesproken geuit als een
correlatie die de validiteitscoëfficiënt wordt genoemd. De coëfficiënt geeft de mate aan
waarin de test valide is voor het maken van statements over het criterion. Er zijn verder
geen strikte regels over hoe hoog deze coëfficiënt zou moeten zijn, meestal komt deze
coëfficiënt niet boven de 0.60 uit. Wanneer je de coëfficiënt in het kwadraat doet heb je
de verklaarde variatie. Dus wanneer je een coëfficiënt van 0.40 hebt, en je doet deze in
het kwadraat wordt 16% van de variatie van het criterion verklaard uit de test.
In ‘standards for eductional and psychological testing’ heeft het comité van de AERA, APA
en NCME een aantal dingen onder elkaar gezet over hoe je validiteitscoëfficiënten moet
interpreteren. Hier volgen een aantal aanbevelingen:
Kijk voor veranderingen in de oorzaak van de relaties; condities in een validiteit studie
kunnen namelijk zelden gereproduceerd worden.
Wat betekent het criterion? Studies met betrekking tot criterion- gerelateerde validiteit
betekenen niets als he criterion niet valide of betrouwbaar is.
Kijk naar de proefpersoon-populatie in de validiteitsstudie; het kan in sommige
gevallen niet gegeneraliseerd worden.
Zorg ervoor dat de sample size groot genoeg is; als er slechts een aantal mensen
meegedaan hebben aan de studie, kunnen er geen harde conclusies getrokken worden
wat betreft de validiteit. Goed bewijs zou kruisvaliditeit zijn (‘crossvalidity’).
Haal nooit het criterion en predictor door elkaar
Kijk voor ‘restricted range’ bij de predictor en het criterion; een variabele heeft een
restricted range wanneer de scores allemaal dichtbij elkaar liggen.
Kijk naar bewijs voor de generalisatie van de validiteit; het criterion-gerelateerd bewijs
moet te generaliseren zijn naar andere situaties.
Houdt rekening met verschillende voorspellingen; voorspelbare relaties (‘predictive
relationships’) kunnen verschillen per demografische groep.
Een construct is iets wat gebouwd is door mentale synthese. Een construct als
intelligentie bestaat niet als een enkel ding dat we kunnen aanraken of voelen, het kan
dus niet gebruikt worden als een objectief criterion.
Construct validiteitsbewijs is er uit een serie aan activiteiten waarin een onderzoeker
gelijktijdig het construct definieert en een instrument ontwikkeld om het te meten.
Construct validiteit betreft het verzamelen van bewijs over wat de test betekent. Dit
wordt gedaan door een relatie aan te tonen tussen de test en andere tests en maten.
Iedere keer als een relatie bestaat wordt er betekenis gegeven aan de test. Door het doen
van een aantal studies ontstaat er zo de betekenis van de test.
Er zijn 2 typen van bewijzen die essentieel zijn voor een betekenisvolle test:
1. Convergent bewijs.
2. Discriminant bewijs.
Wanneer de maat correleert met ander test die hetzelfde construct meten dan is er
convergent bewijs voor validiteit. Convergent bewijs kan op twee manieren verkregen
worden:
1. Er wordt aangetoond dat een test hetzelfde ding meet als een ander test die voor
dezelfde doeleinden gebruikt wordt.
2. Er wordt een relatie gedemonstreerd die te verwachten is als de test echt doet wat het
zou moeten doen.
Discriminant bewijs laat de uniekheid van een test zien. Om discriminant bewijs voor
validiteit te hebben zou de test laag moeten correleren met maten van ongerelateerde
Psychodiagnostiek: Taak 2
PS: Wat is validiteit?
LD: 1) Wat is validiteit?
Basisboek: Validity (Kaplan).
Definitie validiteit
Validiteit kan omschreven worden als het overeenkomen van een test score of maat, met
de kwaliteit die het zou moeten meten. Validiteit wordt vaak omschreven als het
antwoord op de vraag: “meet de test wat het hoort te meten?”.
Er bestaan 3 soorten bewijs voor validiteit:
1. Construct gerelateerd.
2. Criterium-gerelateerd.
3. Inhoud-gerelateerd (‘content’).
Aspecten van validiteit
Face validiteit is een vorm van validiteit die niet erkend is als een bestaande categorie
omdat het geen technische vorm van validiteit is. Face validiteit is alleen het lijken dat
een maat valide is. Het zou geen vorm van validiteit zijn omdat het geen bewijs biedt
voor de conclusies die uit test-scores gehaald zijn. Echter, in vele gevallen is het cruciaal
om een test te hebben, die valide ‘lijkt’ te zijn.
Inhouds- of content-gerelateerd bewijs voor validiteit van een test of maat gaat over de
adequaatheid van de representatie van het conceptueel domein dat de test zou moeten
onderzoeken. Bijvoorbeeld op een toets die 5 hoofdstukken uit een boek omvat, moeten
de items overeenkomen met de informatie die de hoofdstukken bieden. Bewijs voor
content validiteit is vooral belangrijk in een educatieve setting. Wanneer we zoeken voor
bewijs voor content validiteit wordt vooral gekeken naar de opbouw van de test en of
deze ook adequaat is. Vaak worden experts gebruikt om te bepalen of een item relevant
is, zo komt een test tot stand. Statistische methoden zoals factor analyse moeten dan
aantonen of de items passen in het conceptueel domein.
Construct Onderrepresentatie
Het onderrepresenteren van belangrijke componenten van een construct.
Construct-Irrelevante Variantie
Variantie in scores die veroorzaakt wordt door factoren die irrelevant zijn voor het
construct.
Vaak zijn er factoren die ervoor zorgen dat testscores anders uitvallen dan dat eigenlijk
zou moeten. Door deze factors te identificeren en er rekening mee te houden kunnen er
toch nog accurate conclusies getrokken worden en is generalisatie mogelijk (bv.
leesproblemen).
Bewijs met betrekking tot criterion validiteit vertelt ons hoe goed een test correspondeert
met een bepaald criterion. Een criterion is een standaard waarmee een test vergeleken
wordt. De reden waarom er bewijs voor criterion validiteit nodig is, is omdat de test kan
dienen als een ‘stand-in’ voor de maat waarin we daadwerkelijk geïnteresseerd zijn.
De voorspellende functie van een test is een vorm van criterion validiteitsbewijs dat
bekend staat onder de naam ‘predictive validity evidence’. De SAT is bijvoorbeeld een
predictor voor het criterion GPA. Het doel van een test is het voospellen van de
waarschijnlijkheid dat het criterion behaald wordt.
, PSYCHODIAGNOSTIEK 2
Een ander type bewijs voor criterion validiteit is concurrent-gerelateerd bewijs, dit bewijs
komt van de relatie tussen simultane metingen van de test en het criterion (‘learning
disability – school performance’). Concurrent bewijs voor validiteit gaat op wanneer de
test en het criterion op dezelfde tijd gemeten worden.
De relatie tussen een test en een criterion wordt normaal gesproken geuit als een
correlatie die de validiteitscoëfficiënt wordt genoemd. De coëfficiënt geeft de mate aan
waarin de test valide is voor het maken van statements over het criterion. Er zijn verder
geen strikte regels over hoe hoog deze coëfficiënt zou moeten zijn, meestal komt deze
coëfficiënt niet boven de 0.60 uit. Wanneer je de coëfficiënt in het kwadraat doet heb je
de verklaarde variatie. Dus wanneer je een coëfficiënt van 0.40 hebt, en je doet deze in
het kwadraat wordt 16% van de variatie van het criterion verklaard uit de test.
In ‘standards for eductional and psychological testing’ heeft het comité van de AERA, APA
en NCME een aantal dingen onder elkaar gezet over hoe je validiteitscoëfficiënten moet
interpreteren. Hier volgen een aantal aanbevelingen:
Kijk voor veranderingen in de oorzaak van de relaties; condities in een validiteit studie
kunnen namelijk zelden gereproduceerd worden.
Wat betekent het criterion? Studies met betrekking tot criterion- gerelateerde validiteit
betekenen niets als he criterion niet valide of betrouwbaar is.
Kijk naar de proefpersoon-populatie in de validiteitsstudie; het kan in sommige
gevallen niet gegeneraliseerd worden.
Zorg ervoor dat de sample size groot genoeg is; als er slechts een aantal mensen
meegedaan hebben aan de studie, kunnen er geen harde conclusies getrokken worden
wat betreft de validiteit. Goed bewijs zou kruisvaliditeit zijn (‘crossvalidity’).
Haal nooit het criterion en predictor door elkaar
Kijk voor ‘restricted range’ bij de predictor en het criterion; een variabele heeft een
restricted range wanneer de scores allemaal dichtbij elkaar liggen.
Kijk naar bewijs voor de generalisatie van de validiteit; het criterion-gerelateerd bewijs
moet te generaliseren zijn naar andere situaties.
Houdt rekening met verschillende voorspellingen; voorspelbare relaties (‘predictive
relationships’) kunnen verschillen per demografische groep.
Een construct is iets wat gebouwd is door mentale synthese. Een construct als
intelligentie bestaat niet als een enkel ding dat we kunnen aanraken of voelen, het kan
dus niet gebruikt worden als een objectief criterion.
Construct validiteitsbewijs is er uit een serie aan activiteiten waarin een onderzoeker
gelijktijdig het construct definieert en een instrument ontwikkeld om het te meten.
Construct validiteit betreft het verzamelen van bewijs over wat de test betekent. Dit
wordt gedaan door een relatie aan te tonen tussen de test en andere tests en maten.
Iedere keer als een relatie bestaat wordt er betekenis gegeven aan de test. Door het doen
van een aantal studies ontstaat er zo de betekenis van de test.
Er zijn 2 typen van bewijzen die essentieel zijn voor een betekenisvolle test:
1. Convergent bewijs.
2. Discriminant bewijs.
Wanneer de maat correleert met ander test die hetzelfde construct meten dan is er
convergent bewijs voor validiteit. Convergent bewijs kan op twee manieren verkregen
worden:
1. Er wordt aangetoond dat een test hetzelfde ding meet als een ander test die voor
dezelfde doeleinden gebruikt wordt.
2. Er wordt een relatie gedemonstreerd die te verwachten is als de test echt doet wat het
zou moeten doen.
Discriminant bewijs laat de uniekheid van een test zien. Om discriminant bewijs voor
validiteit te hebben zou de test laag moeten correleren met maten van ongerelateerde
