Psychometrie en besliskunde HC 12
Transcriptie HC 12
PPT HC 10 Begripsvaliditeit
MTMM
Dia 3:
Ik pak vandaag de draad op bij waar ik tijdens HC 10 net niet de eindstreep haalde. Dat ging over het
feit dat als je.., er wordt veel onderzoek gedaan naar de kwaliteit van het instrument waarbij
gekeken wordt naar correlatie tussen wat men aan instrument ontwikkeld heb en andere
instrumenten om te kijken of dat samenhangt of niet. Wij zagen twee weken geleden dat daar dan
gelet wordt op convergerende validiteit. Convergerende validiteit als je op basis van de theorie dus
eerst gaat kijken van ik heb iets ontwikkeld, waar zou mijn concept mee samen moeten hangen en
waar niet of juist negatief. Dus die hypothese die worden getoetst om een stukje bewijs te leveren
voor de construct van begripsvaliditeit. En dan hebben we het over convergerende validiteit als je
vanuit het oogpunt samenhang mag verwachten met scores op een bepaald ander instrument.
We hebben het over divergerende validiteit als je geen samenhang mag verwachten. Dus over het
algemeen zijn wij getraind om te denken dat hoge correlaties goed zijn. Maar dat is dus bij dit type
onderzoek niet op voorhand. Want als jij juist gaat kijken naar de samenhang van iets waarvan je zegt
oh maar dit meet iets anders dus daar mag het niet mee samenhangen, dan hoop je ook een
samenhang te vinden van 0. dus dan is een lage samenhang juist positief in jouw onderzoek.
Dat betekend dat wij een soort multi-trait-multi-method matrix gaan maken. Dat is eigenlijk een
soort correlatie tabel waarin je met meerdere instrumenten en meerdere begrippen de correlaties
daarvan weergeeft. Dat betekend dat je de uitkomst van die MTMM matrix moet interpreteren in het
licht van de convergerende en de divergerende validiteit.
Vorige keer bleven wij haken bij het feit dat correlaties last hebben van de onbetrouwbaarheid van
metingen. Ik ga toch nog even terug naar mijn voorbeeldje op het bord. Het voorbeeld dat ik op het
bord heb gezet bevat lengte en gewicht. Ik heb even de T erboven gezet, dat dit de theoretisch of in
ieder geval de ware lengtes zijn en de ware gewichten. En ik had het zo opgeschreven dat in dit
voorbeeld een correlatie was van 1. Wat hoopte ik duidelijk te maken en dat kwam niet helemaal tot
zijn recht in de laatste 10 minuten, dat wanneer vind ik nou de perfecte correlatie van 1 tussen mijn
waargenomen scores en de ware scores van gewicht. Toen waren wij het er wel al met elkaar over
eens dat dat alleen kan als hier in dit rijtje dezelfde waardes staan als hier. Dat betekend dat dat dus
100% betrouwbaar gemeten moet zijn. Want er is maar een voorwaarde dat hier dezelfde waarde
kunnen staan als daar, als datgene wat je meet echt exact hetzelfde is als de ware scores. Oftewel, je
hebt geen meetfout. Dus dat betekend dat er een perfecte correlatie is van 1 tussen deze twee (Wijst
naar bord). En een perfecte correlatie betekend 100% betrouwbaar gemeten. Nou is dat in de
praktijk vrijwel nooit het geval. Dus dat betekend dat hier afwijkende scores gevonden worden (wijst
naar bord). Die zijn net een beetje anders dan de ware scores. Omdat dat instrument nou eenmaal
niet 100% betrouwbaar is. Dat betekend dus iets voor de correlatie tussen die waargenomen scores
van gewicht en de waargenomen scores van lengte. Die zijn niet meer 1. Want als dit niet meer 1 is is
dit ook niet meer 1 (wijst naar bord). Dus dat betekend dat op het moment dat je met een
instrument gaat meten en het is niet 100% betrouwbaar dan kun jij zelf als er hypothetisch gezien
een correlatie is dan 1 dan kun je die nooit vinden. Die zul jij met jouw geobserveerde scores niet
vinden. Hier (Wijst) wordt in feite de correlatie gedrukt. Maar dat gebeurd aan de andere kant ook.
Als ik waargenomen scores gewicht heb die wordt ook 99 van de 100 keer niet 100% betrouwbaar
gemeten. Dus het feit wat er in de praktijk gebeurd bij metingen, daar heb je waarschijnlijk nooit bij
1
, Psychometrie en besliskunde HC 12
stil gestaan, maar dat de correlatie tussen de twee.. De hypothetische.. Dus de correlatie tussen de
waargenomen scores, die komt eigenlijk nooit volledig tot zijn recht. Die komt nooit in beeld. Nou
heb ik al het hypothetische geval dat hij 1 is, de maximale. Maar wij hebben natuurlijk heel vaak in de
praktijk dat de waargenomen scores van 2 misschien maar .6 of misschien maar .4 of nog lager
correleren. En als je dan ook nog eens weet dat de correlatie lager uitpakt door het feit dat je niet
100% betrouwbaar kunt meten, dat betekend dat datgene wat wij altijd in die correlatie matrixen
zien, dat dat waarden zijn die komen niet overeen met de correlatie tussen de ware scores.
Wanneer wijkt dat het hardste af? Wat zegt dat over de betrouwbaarheid van de metingen?
Naarmate de betrouwbaarheid van die metingen beroerder wordt dan wordt die correlatie tussen de
ware scores harder gedrukt. En wij zagen al een keer eerder, dat alpha is Rho kwadraat xt. Dat
hebben we al in college 5 gezien. Als alpha Rho kwadraat xt is, Rho is niks anders dan het Griekse
woord voor R, dan is dus de correlatie tussen x en t, oftewel deze correlatie (Wijst naar bord) tussen
x en t, die is dus gelijk aan de wortel van Alpha. Want ik neem hier de wortel van, dan moet ik daar
ook de wortel van nemen.
Dus als je wilt weten hoe groot de relatie is tussen die twee kun je heel makkelijk gewoon de wortel
van de betrouwbaarheid pakken.
Wat zegt de theorie dan? Als de correlatie tussen deze twee (wijst naar bord), wortel alpha is en als
de correlatie hier gedrukt.. als die betrouwbaarheid/onbetrouwbaarheid die correlaties met andere
drukt. Dan kan de correlatie met een willekeurig ander begrip (bijv. gewicht), die is dus altijd
maximaal de wortel van de betrouwbaarheid want die wordt nooit meer dan in feite datgene wat hij
hier last van heeft. Dat is de wortel van alpha. Oftewel, als je wilt weten wat een begrip maximaal,
echt theoretisch maximaal kan correleren met een ander begrip, dan is dat maximaal wortel alpha.
Op dat punt waren we een beetje blijven hangen als ik me niet vergis.
En dat betekende dat wat wij gingen doen om die correlaties beter te interpreteren, gingen wij in
feite de metingen meetfout vrij maken. Oftewel, we gingen een correctie voor attenuatie erop
loslaten.
Dia 7:
Correctie voor attenuatie. Wat staat hier?
De correlatie van ware scores is gebaseerd op de correlatie tussen de geobserveerde scores,
gecorrigeerd voor onbetrouwbaarheid van de metingen.
Oftewel: als ik de correlatie tussen deze twee (wijst naar bord) wilt uitrekenen, dan moet ik kijken
naar deze (wijst) en dan moet ik corrigeren voor onbetrouwbaarheid die er in de meting zit.
Dat doen we heel eenvoudig: je meet de samenhang tussen de twee begrippen, dus tussen lengte en
tussen gewicht. Een student zei vorige keer, theoretisch kan je die dan toch 1 hebben (Wijst). Ja
theoretisch wel. Je kunt wel een rijtje met cijfers bedenken, maar de kans dat jij die twee rijtjes vindt,
gegeven deze bepaalde correlatie is nihil.
Dus oftewel, je berekent de correlatie tussen die twee begrippen. En dit stukje wat in de noemer
staat, dat is de correctie voor attenuatie in feite. Wat je doet is delen door de wortel van, hier staat
Rho xx’. Dat staat voor de betrouwbaarheid van een bepaalde meting. De correlatie tussen x en een
parallelle meting. Hier zit eigenlijk dat hele principe van die herhaalbaarheid in. En dat dan voor
meetinstrument X dus bijvoorbeeld voor lengte. Dus hier staat (Wijst naar dia) de betrouwbaarheid
2