Meten & Diagnostiek 1
Diagnostiek en testgebruik
Diagnostiek: een situatie begrijpen en informatie vergaren om een beslissing te nemen
Psychodiagnostiek: onderzoek op het gebied van psychosociaal kunnen functioneren. De
beschrijving moet hierbij betrouwbaar (consistentie van de score) en valide (er wordt
daadwerkelijk gemeten wat je wil meten) zijn. Zo kom je achter mogelijke verklaringen voor
het probleem (bijvoorbeeld de diagnose ADHD) en kun je deze verklaringen ook toetsen
(toetsen of iemand daadwerkelijk ADHD heeft).
Wetenschappelijke diagnostiek: hierbij is het belangrijk dat het onderzoek herhaalbaar is
en zo dicht mogelijk de werkelijkheid nadert. De psychische diagnose die daarbij hoort kan
verschillen in betrouwbaarheid wanneer meerdere onderzoekers dezelfde persoon bekijken:
de inter-rater betrouwbaarheid:
Niet gestandaardiseerde interviews en tests geven in minder dan 50% van de
gevallen dezelfde diagnose, omdat zonder een gestandaardiseerde test elke
onderzoeker zijn eigen interpretatie heeft over de patiënt
Gestandaardiseerde interviews en tests geven in 60 tot 70% van de gevallen
dezelfde diagnose
Definitie test: een test is dus een gestandaardiseerde procedure, met een duidelijke
handleiding, voor het nemen van een steekproef van gedrag (want alle aspecten van het
gedrag meten kan niet in de beperkte tijd) en dat stop je vervolgens in een categorie/score.
Een test bestaat uit een doel, zoals intelligentie meten, daarbij hoort een procedure en
daaruit volgt een score
Diagnostiek als wetenschapsbedrijving
Belangrijke punten: Bij diagnostiek moeten er soms complexe constructen getest worden,
zoals intelligentie. Daarvoor is er beperkte tijd, waardoor je test zo efficiënt mogelijk moet zijn
en dus het juiste instrument moet worden toegepast. Hierbij kunnen 2 dingen optreden:
Confirmation bias: je krijgt een bewijs, maar je bent zo overtuigd van jouw gelijk dat je
alleen naar de onderdelen van het bewijs kijkt die jouw idee bevestigen. Je blijft bij jouw idee.
Beschikbaarheidsheuristiek: omdat een bepaalde stoornis veel beschikbaar is in je
omgeving sta je bij je diagnose niet open voor andere opties en focus je alleen op de
symptomen die bij die veelvoorkomende stoornissen horen.
Diagnostische tests
Diagnostische tests: het testen van een diagnose gebeurt op een wetenschappelijk
verantwoorde, objectieve en betrouwbare manier zodat er een diagnostisch beeld gevormd
kan worden waaruit een beslissing komt. Zo’n diagnostische test bestaat uit de volgende
stappen:
Probleemanalyse: het probleem wordt bekendgemaakt
Classificatie en diagnosestelling: de juiste testmethode kiezen om te kijken wat
iemand heeft
Planning van behandeling
Evaluatie van behandeling: er wordt gekeken of de behandeling heeft geholpen
Zelfkennis: de patiënt laten weten waar de problemen aan liggen
, Kennisvergaring van wetenschappelijk onderzoek: jezelf verder inlezen over de
instrumenten die je kan gebruiken
Een diagnosetest is gebaseerd op 8 doelen: je kan met een test 8 dingen vaststellen:
Intelligentie meten
Aanleg bekijken wat bij iemand aansluit, bijvoorbeeld bij een studiekeuzetest
Prestatie hoe goed iemand iets doet, bijvoorbeeld bij reactiesnelheid
Creativiteit er wordt hierbij gekeken of mensen in staat zijn om met nieuwe dingen te
komen
Persoonlijkheid de persoonlijkheid van iemand kan hierbij worden getest,
bijvoorbeeld bij sollicitaties als een bedrijf een bepaalde persoonlijkheid in het team
mist en wil kijken of de sollicitant hierbij aansluit.
Interesse: persoonlijke interesses
Gedrag hoe gedraagt iemand zich en is dat wel of niet in lijn met de normale
ontwikkeling en sociale norm
Neuropsychologie/cognitie: hier wordt een koppeling gemaakt tussen het gedrag
en brein, maar er is geen directe link tussen neuropsychologie en hersenletsel
Belangrijke vaardigheden van een psycholoog hierbij:
1. Psychometrische waarde: de psycholoog moet weten wat de psychometrische
waarde (betrouwbaarheid en validiteit) van een test is
2. Ethisch: stel dat de psychometrische waarde niet voldoende is, dan moet je hier ook
eerlijk over zijn
Casus Gert: en nu in de praktijk: Gert laat druk en ongeconcentreerd gedrag zien. Bij de
huisarts vullen de ouders een vragenlijst in en op basis daarvan worden de ouders verwijst
naar de specialistische GGZ. Er is een intake gesprek op de polikliniek ADHD. Vervolgens
vindt er een psychologisch/pedagogisch onderzoek plaats. Uiteindelijk is er een psychiatrisch
onderzoek om het functioneren van Gert in alle domeinen te bekijken + kijken of er medicatie
nodig is.
Gevaren testgebruik: tests spelen een steeds grotere rol in de maatschappij, omdat
mensen objectieve waarden willen verkrijgen over een samenleving (zoveel procent van de
mensen functioneren niet naar behoren). Maar het is lang niet altijd zo objectief. De getallen
moeten in de hele situatie worden geïnterpreteerd voordat er beleid wordt gemaakt.
Psychometrische eigenschappen: Je moet dus kennis hebben over de psychometrische
eigenschappen:
Validiteit: meet de test wat deze beoogt te meten?
Omstandigheden: onder welke omstandigheden moet de test worden afgenomen?
Als je concentratieproblemen wil meten doe je dat niet in een stille kamer.
Beperkte tijd: is er ook een verkorte test die even betrouwbaar is?
Referentiegroep: hoe is de referentiegroep (de groep tegen wie je de score van de
test afzet) bepaald? De vergelijkingsgroep moet wel representatief zijn
, Meten en testen
Meetfout: Elke testscore bevat een meetfout. Daarbij hoort de formule X = T + e. In dit vak
willen we weten hoe groot die meetfout is, zodat we weten of de score idd betekenisvol is
Oorzaken van die meetfouten:
De psychologische/pedagogische concepten die je wil testen zijn niet perfect
gedefinieerd, waardoor de vragen niet helemaal aansluiten
Vragen worden verkeerd geïnterpreteerd, zoals bij dubbele ontkenning
Sociaal wenselijk antwoorden, maar ook rekening houden met dat binnen een
gevangenis 2x per week vechten niet vaak is. Als hiernaar wordt gevraagd moet het
dus zo objectief mogelijk gedaan worden.
De handleiding wordt niet precies gevolgd waardoor je iemand per ongeluk kan
bijsturen en er een grotere meetfout is
Standaardisatie: is belangrijk om ervoor te zorgen dat de meetfout zo klein mogelijk is
Herhaalbaarheid: het te meten construct moet gelijk blijven, depressief persoon
moet niet opeens in de tussentijd antidepressiva gaan slikken (betrouwbaarheid)
Volledigheid: je hebt maar een beperkt aantal vragen om een groot concept in kaart
te brengen, dus je moet ervoor zorgen dat die vragen elk domein bevatten
Scores: de constructen worden uitgedrukt in een getal, maar daar heb je alleen iets
aan als die score wordt afgezet tegen de norm.
Interpretatie scores: het getal kan je op 2 manieren vergelijken:
o Vergelijking met een afkapwaarde: score onder 10 (afkapwaarde) geen
depressie, erboven wel depressie
o Vergelijking met een normgroep: je vergelijkt de score in dit geval dan met
mensen met een meer en mindere mate van klachten, dit is gedetailleerder
Predictie non-test gedrag: we willen een score uit onze test krijgen zodat we
hiermee non-test gedrag (iemands dagelijkse gedrag) kunnen voorspellen. Hiervoor
moet de score ook echt iets zeggen over datgene wat je wil meten (validiteit).
_
Testgebruik in Nederland
NIP en NVO kijken naar de beroepsethiek (verantwoordelijk, integer, respectvol en
deskundig handelen) en regelen kwaliteitsbewaking met behulp van COTAN: een instantie
die onderzoek doet naar psychometrische eigenschappen van instrumenten om iets te
vertellen over de kwaliteit van het instrument
Twee eisen bij het gebruik van instrumenten:
1. Check de psychometrische criteria (de COTAN beoordeling, als ie laag is kan je m
beter niet gebruiken)
2. Gebruik je instrument ethisch, met behulp van de COTAN beoordeling, bijvoorbeeld
als hij aan de lage kant is, gebruik je het instrument ethisch door die beoordeling in je
achterhoofd te houden bij het interpreteren van de scores
COTAN heeft 2 doelen:
1. testgebruikers laten weten wat de kwaliteit van het instrument is
2. Testmakers feedback geven over de kwaliteit van hun instrumenten
,Hoe gaat COTAN te werk? Er wordt gekeken naar 5 criteria
Uitgangspunten van de testconstructie: er wordt gekeken naar waarom de test is
ontwikkeld, omdat er behoefte aan de test was of om alleen geld te verdienen?
o Meetpretentie: wat is hetgeen dat gemeten wordt?
o Doelgroep: voor welke doelgroep is de test en is de test ook passend? iPad
test voor 80 jarigen is niet passend
o Functie: wat voor type beslissingen wil je met deze test gaan maken? Wil je
dit bijvoorbeeld gebruiken bij het geven van een studiekeuze advies?
Standaardisatie: is er een handleiding, wordt hij goed gevolgd? Blijft de kwaliteit van
het testmateriaal ook lang goed? Het testmateriaal moet dus niet snel kapot gaan.
Normen: de normgroep (waarmee je de scores vergelijkt) moet representatief zijn.
Voor dementie kan de normgroep dus niet bestaan uit 11 jarigen
Betrouwbaarheid: hoe herhaalbaar is de testscore?
Validiteit: meet de test ook echt wat je wil meten
Verandering: In de jaren 60 waren er vooral veel subjectieve projectieve testen waar je
bijvoorbeeld moest zeggen wat je in een inktvlek zag. Door de jaren heen zijn vooral de
intelligentietesten en persoonlijkheidstests populairder geworden, omdat deze objectief zijn.
Daarbij is door de jaren heen dus ook de psychometrische waarde van de tests omhoog
gegaan.
Meten & Diagnostiek 2
Informatie deelverslagen
Hier werden de eisen besproken die je in de slides en in de handleiding terug kan vinden
, Meten & Diagnostiek 3
Definitie betrouwbaarheid
Methodologie: hoe moet het onderzoek worden uitgevoerd
Statistiek: gaat over welke instrumenten je moet gebruiken voor je onderzoek, dus bijv op
welke knopjes in SPSS moet ik drukken om op de juiste getalletjes te komen
Meten en diagnostiek: wat betekenen de getallen die we krijgen en welke betekenis kunnen
we hieraan geven, dus kunnen we hiermee iets zeggen over iemands gedrag en zoja welke
beslissing kunnen we hiermee nemen?
Betrouwbaarheid: gaat over hoe consistent de scores zijn. Hiervoor wordt de klassieke
test theorie gebruikt. Dit is de theorie van ware scores en meetfouten en is aan te duiden in
de formule X = T + e. X is de geobserveerde testscore die bestaat uit T (de ware score) en
e (de meetfout). We weten dus nooit exact uit de testscore de ware score van iemand.
Correlatie: als je de betrouwbaarheid meet krijg je een score tussen 0 en 1. Dit getal zegt
iets over de correlatie tussen scores op een test bij herhaalde afname. Dus in hoeverre de
resultaten hetzelfde zijn wanneer je bij iemand bijv. 8 keer de test afneemt. Omdat zo vaak
een test bij iemand afnemen niet praktisch is wordt de correlatie gemeten tussen items
(vragen) van een test. Als je hetzelfde gedrag meet moeten alle vragen namelijk leiden tot
hetzelfde resultaat en zal de correlatie hoog zijn (richting de 1). Als het getal richting de 1
gaat dan betekent het dat je telkens dezelfde scores uit je test krijgt. Ook zegt het wat over
de verhouding tussen het daadwerkelijke gedrag T en de testscore X.
_
Principes Klassieke Test Theorie
Klassieke testmodel:
De testscore X is altijd een benadering van de ware score T, we weten dus nooit
exact de ware score
De T zou elke keer hetzelfde moeten zijn als je die gaat meten (consistentie)
De testscore X is in werkelijkheid bij herhaling nooit exact gelijk door de e (meetfout)
X > T als je testscore X groter is dan de werkelijke score T, dan betekent het dat
de meetfout positief is, want hij verhoogt de score. Bijv. bij een psycholoog die je heel
erg op je gemak stelt waardoor je op je IQ test hoger scoort dan normaal.
X < T wordt veroorzaakt door een negatieve meetfout, je score wordt verlaagd,
bijvoorbeeld wanneer de psycholoog heel chagrijnig is, waardoor je stress krijgt.
Bronnen van meetfouten:
Daadwerkelijk verschil: Een verschil in scores kan veroorzaakt worden doordat er
een daadwerkelijk verschil in gedrag is. Iemand is meer depressief wanneer de test
wordt afgenomen nadat diegene z’n baan is verloren, maar als je over een week de
test herhaalt wanneer diegene de jackpot heeft gewonnen is de depressiescore weer
lager.
Gedrag = situationeel: overal vertoon je ander gedrag. Het is dus niet handig om
een test voor concentratieproblemen thuis af te nemen en daarna op school, want er
komt elke keer een andere score uit.
Steekproef gedrag: Door het selecteren van de items die in een test mogen komen,
neem je alleen een steekproef van iemands gedrag en kan je niet altijd het hele
, plaatje in beeld brengen. Als je dan net een belangrijk item mist kan er een grote
meetfout zijn.
Testafname: de proefleider of de proefpersoon kunnen slecht verstaanbaar zijn
waardoor er een meetfout is. Omgeving: als de kamer te koud is ook meetfout
Test scoring: multiple choice vragen zijn direct. Bij open vragen kan de proefleider
altijd het antwoord net anders hebben geïnterpreteerd meetfout.
2 soorten meetfouten:
Systematische meetfout: es
o Het is altijd in dezelfde richting: alleen positieve of alleen negatieve fouten
o Doordat je alleen positieve of negatieve meetfouten kan hebben, is de
gemiddelde meetfout nooit 0
o Oorzaak: fout in testconstructie: iedereen krijgt dan dezelfde fout
o Zegt iets over de validiteit, want als je weegschaal elke keer 20 kg erbij doet,
meet je niet wat je wil meten.
Niet-systematische meetfout: eu
o Random meetfouten: de ene keer positief de andere keer negatief
o Bij een groot genoeg steekproef is de gemiddelde meetfout dus 0
o Dit heeft geen samenhang met de daadwerkelijke testscore T
o Dit vertelt je iets over de betrouwbaarheid, omdat de consistentie van de
testscores niet hetzelfde blijft.
o Omdat alle meetfouten gemiddeld 0 zijn, zijn de meetfouten normaal verdeeld
en kan je ermee rekenen.
Klassieke Test Theorie vertelt je wat over hoe groot de invloed van de niet-systematische
meetfout is, omdat systematische fouten zoals een fout in het handboek oplosbaar zijn. Met
die informatie kan je een betrouwbaarheidsinterval bepalen.
Normale verdeling: de meetfout zegt iets over de variabiliteit (spreiding) van de scores. Hoe
beter het instrument, hoe kleiner deze spreiding is. De spreiding in de scores wordt variantie
genoemd. Hoe meer variantie hoe slechter het instrument.
Populatiegemiddelde = μ
Populatie standaarddeviatie = σ
Populatievariantie = σ2
Steekproefgemiddelde = M
Steekproef standaarddeviatie = SD
Steekproefvariantie = SD2
68% van testscores X: meetfout is 1 SD boven of onder T
95% van testscores X: meetfout is 1.96 SD boven of onder T
99% van testscores X: meetfout is 3 SD boven of onder T
Testscore: Als je heel vaak de test opnieuw uit voert kan je dus zeggen: μ X =μT + 0. Dus bij
grote steekproef gaat de gemiddelde meetfout naar 0 (gemiddelde niet-systematische
meetfout) en dan ben je dichter in de buurt van de daadwerkelijke score. In de formule staat
dus eigenlijk gemiddelde testscore X = gemiddelde ware score T. Dit is meer theoretisch,
want je kan niet zomaar een test vaak opnieuw doen. Je hebt dus meer iets aan deze ↓
,Variabiliteit van testscore: naast de testscores wil je ook wat weten over de spreiding
(variabiliteit). Variantie in testscore (X) = Variantie in ware score (verschil in iemands
daadwerkelijke gedrag T) + variantie meetfout (e) het laatste stukje variantie
van meetfout middelt nooit uit naar 0, omdat alle getallen gekwadrateerd worden, waardoor
dit getal je iets vertelt over de ruis (invloed van je meetfout) in je experiment.
Experiment 1: voorbeeld van μ X =μT + 0: als je 1000 keer op een weegschaal staat en
benieuwd bent naar de meetfout van je weegschaal is er sprake van een niet-systematische
meetfout (ene keer positief andere keer negatief).
Gewicht: 57.8 – 62.5 kg
M = 60 kg
SD = 1 kg (dus in 68% van de gevallen zit het getal tussen de 59 en 61)
Ware gewicht: omdat de meetfout door de grote steekproef uiteindelijk 0 is geworden,
is het gemiddelde die je vindt ook meteen de ware score, dus 60 kg.
Betrouwbaarheid in termen van testscores: zegt iets over de consistentie van de
metingen. Deze betrouwbaarheid r bereken je door T/X te doen. Dus de ware score
delen door de testscore. Dan kom je uit op een verhouding tussen die twee ofwel een
signaal-ruis verhouding. Dus als r = 1, dan is er 100% signaal 0% ruis, maar bij r = 0.6
kan je zien dat er 0.4 ruis is. De T weet je niet dus deze formule is puur theoretisch. Het
is de bedoeling dat de r zo dicht mogelijk bij de 1 is (r kan ook boven 1 zijn).
Betrouwbaarheidscoëfficiënt in termen van variantie: in de praktijk werken we vaker
met de variantie. Er staat eigenlijk in de formule: de betrouwbaarheid tussen 2 delen (xx)
= (de sd van de ware score)² delen door (sd van de testscore X)². Als je de
standaarddeviaties weet gebruik je deze formule, weet je die niet dan de formule hierboven.
Deze formule kan je herschrijven in deze vorm,
omdat X altijd bestaat uit een stukje T en e. De
reden dat we de formules voor de betrouwbaarheid
en betrouwbaarheidscoëfficiënt moeten weten, is
zodat we de meetfout weten en daarmee het
betrouwbaarheidsinterval kunnen achterhalen. Hoe
hoger de betrouwbaarheid, hoe kleiner de meetfout, hoe kleiner het betrouwbaarheids-
interval en dus hoe zekerder je wat kan zeggen over de ware score.
DUS: betrouwbaarheid = verhouding tussen T en X en betrouwbaarheidscoëfficiënt =
verhouding tussen spreiding T en spreiding X
Gevolgen van de betrouwbaarheid
Casus Gert: nu wat we hebben besproken in de praktijk. Gert is een druk kind en we willen
weten of hij ADHD heeft. Z’n ouders vullen de vragenlijst VvGK in die bestaat uit 4
onderdelen. Een klinische score is een score boven de 18 (de score waar iemand wordt
doorverwezen). Op 2 van de onderdelen scoort hij 20 en 25. Kunnen we hem dan
doorverwijzen? Dat weten we alleen als we ook weten hoe betrouwbaar de scores zijn. Als
de betrouwbaarheid hoog is, 0.96 bijvoorbeeld, weten we dat de invloed van de meetfout
heel klein is. Met die 0.96 kunnen we een betrouwbaarheidsinterval opstellen, dan weten we
de ware score en dan pas gaan we hem doorverwijzen of niet.
, _
6 manieren voor schatten van betrouwbaarheid
Pearson’s r: Bij een correlatie kijk je naar een relatie tussen 2 getallen en daar komt de
Pearson’s r uit: een getal tussen de -1 en 1. Hoe dichter bij de -1 of 1 hoe sterker de
samenhang.
Methoden voor het schatten van de betrouwbaarheid:
2 keer een test afnemen:
Test-hertest (zelfde test)
Parallelvorm (2 verschillende versies)
1 keer een test afnemen, maar je kijkt binnen de test (geeft schatting interne consistentie)
Split-Half & Spearman Brown (test knip je in tweeën)
Coëfficiënt Alfa (alle mogelijke combinaties van de twee testhelften)
KR-20 (bij ja/nee vragen)
2 beoordelaars:
Inter-rater betrouwbaarheid
Test-hertest: je neemt een test 2 keer af. Je kijkt dan naar de relatie tussen de samenhang
van de twee testen (tussen de twee testen zit vaak een aantal maanden). Hier komt de
Pearson’s r uit. Hierbij correleren de ware scores met elkaar, maar de meetfouten correleren
niet met elkaar, omdat deze niet-systematisch zijn.
Fluctuaties: Deze test brengt fluctuaties in beeld binnen een persoon en door de
omgeving, maar het interval moet niet te lang zijn, want als je de rekenvaardigheden
van iemand uit groep 4 wil meten en de tweede test in groep 5 plaatsvindt, zullen de
scores heel anders zijn. Hier kunnen de scores uiteraard ook verschillen door de
omgeving of testsituatie, bijvoorbeeld als je heel moe was.
Nadeel: omdat je 2 keer dezelfde test doet kunnen er leereffecten optreden,
waardoor de participant beter presteert omdat ie de antwoorden al weet.
Ander nadeel is dat bij dingen die je wil meten die van nature heel erg verschillen de
betrouwbaarheid niet accuraat is. Zoals bij het meten van de hartslag, dit verandert
op elk moment van de dag en dan zal je ten onrechte het instrument als niet
betrouwbaar bestempelen.
Parallelvorm: zelfde als test-hertest, maar het verschil is dat je voor de tweede keer een
andere versie geeft van de toets, zodat er geen leereffecten optreden. Per persoon dus 2
toetsen: versie A en versie B. Hiermee kan je weer dezelfde fluctuaties als hiervoor
weergeven met nog 1 extra fluctuatie erbij: toevallige fluctuaties door gekozen items. Dat
is een verandering in de score doordat de dingen die je vraagt ook anders zijn. Dus wanneer
je test versie A makkelijker vindt dan test versie B, zal daardoor fluctuatie in de scores
ontstaan.
Doordat je een iets ander instrument hebt, kan het zijn dat de parallelle vorm mogelijk
iets anders meet.
Een parallelle vorm ontwikkelen is duur en is dus niet altijd beschikbaar
