Diagnostisch onderzoek
H1. Diagnostiek: inschatten van mensen
1.1 Besliskunde
Diagnostiek gaat over het inschatten van mensen. In zekere mate doet iedereen dat al, maar niet
altijd correct. Het is daarom goed om te weten waar de valkuilen zitten van ons
beoordelingsvermogen. De beste manier om te testen of je het goed door hebt is het kijken of je
kunt voorspellen wat er gaat gebeuren. Bij een voorspellingsproces spelen steeds twee variabelen de
hoofdrol; het beoordelingsmoment van nu en het beoordelingsmoment van in de toekomst. Op basis
van de twee beslismomenten worden er in de besliskunde vier soorten beslissingen onderscheiden
die je in een matrix kunt weergeven. Rechtsboven zit Valid Positive (VP); de voorspelling was positief
en bleek ook waar. Rechtsonder zit False Positive (FP); de voorspelling was positief, maar bleek niet
te kloppen. Linksboven zit False Negative (FN); de voorspelling was negatief, maar dit bleek niet te
kloppen. Linksonder staat Valid Negative (VN); de voorspelling was negatief en bleek ook waar.
Positief en negatief staan in deze context gelijk aan wel en niet.
1.2 Correlaties
Wanneer je bij een voorspelling er een klein beetje naast zit, is dit niet erg, maar je zit er naast. Voor
dit probleem is de correlatiecoëffiënt bedacht. Dit is een getal tussen de 0 en de 1.00 die de sterkte
van samenhang tussen twee variabelen aangeeft. In het geval van perfectie is de correlatiecoëffiënt
1.00. Dit kan statistisch weergeven worden in een puntenwolk (en zal in voorafgaand geval een
lineaire lijn worden). Wanneer er geen verband is, is het correlatiecoëffiënt 0 en zullen de punten
over de complete grafiek verdeeld zijn. Door het correlatiecoëffiënt kunnen we toekomstige
variabelen inschatten of variabelen inschatten die niet per direct zichtbaar zijn. In de
psychodiagnostiek is men continu op zoek naar voorspellende variabelen.
1.3 Fouten in ons beoordelingsvermogen
De doorgaans simpele beslissingen kunnen we goed maken, maar zodra ze lastiger worden is de
mens geneigd om op een paar vaste plekken op z’n bek te gaan. De sociale psychologie heeft ons op
een paar van die mankementen gewezen en hier bespreken we er zes:
(1)- Verstandige fouten – Deze fouten helpen ons om te voorkomen dat we in de problemen raken.
We voorspellen of het gevaar er is en handelen er dan op. Bij een verstandige fout kies je ervoor om
te handelen op het gevaar, terwijl dit er niet is (de beoordeling is false positive). Liever dat dan dat
we kiezen voor false negative; het gevaar was er wel terwijl we dachten van niet. In dit geval is de
aftestgrens verschoven naar links in de matrix. Deze fouten beginnen vervelender te worden als de
handeling om het gevaar te voorkomen gevolgen heeft: sneller mensen opsluiten haalt de bad guys
eruit, maar sommige good guys zullen eronder lijden.
(2)- Overschatting van specifieke kansen – Soms gaan mensen af wat intuïtief logisch klinkt, maar wat
statistisch gezien onlogisch is.
(3)- Beschikbaarheidsheuristiek – We laten ons soms te erg beïnvloeden door schijnbaar bijzondere,
maar statistisch gezien feitelijk irrelevante informatie. Opvallende informatie laten we hierbij
onevenredig zwaar meewegen in onze oordeelsvorming. Dit komt omdat we die opvallende
informatie beter onthouden en daarom lijken daarvan heel veel voorbeelden te zijn.
(4)- Regressie naar het gemiddelde – Op het beste of slechtste moment is de kans groter dat je trekt
naar het gemiddelde, dan dat je nog een beter of slechter moment meemaakt. Hieruit komt ook het
effect van spontaan herstel: als een onderzoeker een medicijn ontwikkelt wat lijkt te werken kan hij
concluderen dat het medicijn werkt. Echter als hij de controlegroep bekijkt, zal hij zien dat een groot
deel van deze mensen ook genezen is.
(5)- Eerste en laatste indruk – We onthouden het beste wat er in het begin (we zijn nog fris) en op het
einde (de laatste momenten zitten nog fris in het geheugen) gebeurde. Hierdoor verdwijnt wat er
,tussenin gebeurde. Daarom moet er in een gesprek tussendoor aantekeningen gemaakt worden, ons
geheugen is notoir feilbaar.
(6)- Voorbarige reductie van cognitieve dissonantie – Wij mensen doen ontzettend ons best om
continu in overeenstemming met onszelf te zijn. Dus als er ergens onenigheid is in ons brein lossen
we dit op door onze aannames of gedrag te veranderen om zo weer cognitief in balans te zijn.
Wanneer ons brein voor een stomme klus weinig beloning krijgt, gaat het redenen bedenken
waarom de klus toch leuk was. Het brein wilt het goedgepraat hebben dat je die stomme klus hebt
gedaan. Het sterker onthouden van de eerste indruk heeft ook te maken met cognitieve
dissonantiereductie: latere informatie gaan we selectief selecteren zodat het bij onze eerste indruk
past. Dit zijn de halo- en horn-effecten. Het halo-effect is dat wanneer iemand heel succesvol is in het
een, dat we aannemen dat het ook op andere vlakken zo is. Het horn-effect is dat als iemand een
strafblad heeft, we aannemen dat deze persoon onbetrouwbaar is.
1.4 Remedies tegen beoordelingsfouten
Het is belangrijk de fouten te voorkomen. De eerste is contrary evidence: als je een conclusie hebt
gemaakt, ga je op zoek naar alles wat die conclusie tegenspreekt. Lukt dit? Dan moet je waarschijnlijk
je eerdere conclusie bijschaven. In de wetenschapsfilosofie heet dit falsificatie. Hierbij ga je
experimenten bedenken en uitvoeren die je onderzoek onderuit kunnen halen. Een ander manier om
eenzijdigheid te voorkomen is de multi-ratermethode: hierbij ga je met meerdere mensen een
eindconclusie maken om zo een zo breed mogelijk beeld te krijgen. Die meningen verwerk je door
een vooraf vastgesteld protocol gebaseerd op wetenschappelijk onderzoek.
H2. Kenmerken van kwaliteitseisen aan diagnostische instrumenten
2.1 Drie soorten diagnostische instrumenten
Een psychodiagnost diagnosticeert met behulp van wetenschappelijk onderbouwde methoden en
instrumenten. De drie instrumenten zijn; interviewtechnieken, psychologische testen en
observatiemethoden. Soms word ook dossieranalyse in het rijtje opgenomen, maar strikt zijn dat
alleen historische gegevens gebaseerd op de voorheen genoemde instrumenten. Het interview en de
observatie komen in verschillende vormen voor; van strak geregisseerd tot los met een open mind.
De instrumenten hebben een onvermijdelijk foutenmarge, maar toch kun je erop vertrouwen dat het
gedegen onderzoek is.
2.2 Wat maakt een test een goede test?
Een toegepast psycholoog is een testgebruiker (hij neemt testen af zonder de ins en outs te kennen),
een academische psycholoog is een testconstructeur (hij verbetert de testen). Als testgebruiker moet
je toch wat van de achtergrond weten om zo beter van de methodes gebruik te kunnen maken.
(1)- Het wetenschappelijke fundament van diagnostische instrumenten – Alle goede testen zijn
bedacht op basis van een wetenschappelijk onderbouwd idee. De opvattingen zijn hiermee ook
tijdelijke overtuigingen.
(2)- Gebruik van zuivere, homogene constructen – Factoranalyse is een datareductietechniek om in
de grote hoeveelheid complexe informatie patronen te ontdekken. Veel fenomenen zijn uitingen van
een gemeenschappelijke onderliggende factor. Deze factor is een verzameling hoge
correlatiecoëffiënten: ze hangen allemaal samen en met één losse variabele kun je wat zeggen over
de ander. Een schaal van een vragenlijst is bij voorkeur terug te voeren naar één gemeenschappelijke
factor. Die schaal is dan zuiver of homogeen. Om te testen of een test homogeen is kun je
factoranalyse toepassen; je kijkt dan of de items van de test met elkaar correleren. Voor kleinere
testen kunnen we de analyse zelf wel, maar voor grote testen met Big Data hebben we computers
nodig. Door een complete test over een factor te laten gaan word de test representatief.
(3)- Betrouwbaarheid – Een test wordt betrouwbaar als er een afwezigheid van storende factoren is.
Deze factoren zijn soms moeilijk aan te wijzen en op te lossen. We kunnen wel inschatten hoeveel
ruis er is.
, De uitkomst van de test kun je zien als een eenmalige score; als je een gemiddelde zou kunnen
maken kom je erachter dat het een normaalverdeling is (standaarddeviatie (sd), gemiddelde (m)). We
zullen alleen niet weten of deze score een uitzonderlijk goede, uitzonderlijk slechte of iets er tussenin
is. Daarom moeten we bij eenmalige metingen altijd een foutenmarge in acht nemen. Deze is
gebaseerd op grote hoeveelheden eerder onderzoeksmateriaal.
Naast het kijken of de omstandigheden een ruis veroorzaken, moeten we ook kijken of het
meetapparatuur wel betrouwbaar is. Ten eerste kun je de correlaties berekenen met de formule:
N(N – 1) : 2, waarbij N het aantal items van de schaal is. De tweede wijze is de splitsingsmethode; de
items worden in twee willekeurige groepen verdeeld waarover de correlatie word berekend. De
derde manier is de test-hertestmethode. Hierbij word de test tweemaal bij eenzelfde groep
afgenomen om twee momenten. Tussen die momenten moet dan een hoge correlatie zitten. De
vierde aanpak is het bepalen van de interraterbetrouwbaarheid. Dit zijn alle aspecten die mogelijk
invloed hebben op de uitkomst.
(4)- Validiteit – Validiteit is de mate waarin een test zijn doel beantwoordt. Er zijn drie vormen:
1. Construct- of begripsvaliditeit: dit is de vraag of de test het begrip dekt wat we willen meten.
Oftewel; we moeten duidelijke definities afspreken van de labels die we maken om zo helder te
hebben wat we willen meten en om te kunnen kijken of dit ook gemeten wordt.
2. Predictieve, externe of criteriumvaliditeit: dit is de vraag of de test goed kan voorspellen wat er in
de toekomst gebeurd of iets kan duiden wat nu al plaatsvindt maar nog niet zichtbaar is.
3. Face-validiteit: dit is de vraag in hoeverre een kandidaat of cliënt de gebruikte methode accepteert
of de waarde ervan begrijpt. Als de kandidaat niet serieus met de test omgaat, is de testuitslag
waardeloos. We hebben dus ook een informatieplicht om te vertellen waarom de uitgekozen test die
afgenomen gaat worden. Zo kunnen we de face-validiteit optimaliseren.
(5)- Normgroepen – In de psychometrie onderscheiden we categorale en dimensionale kenmerken.
Categorale kenmerken zijn eigenschappen die volledig wel of niet aanwezig zijn (man/vrouw).
Dimensionale kenmerken zijn de kenmerken die niet zo zwart wit te benoemen zijn (intelligentie).
Toch werken we veel met categorale kenmerken bijvoorbeeld in de DSM. Voor dimensionale
kenmerken worden normen en normgroepen gebruikt. Je vergelijkt de ruwe gegevens met de
normgroep. Je hebt algemene normgroepen (iedereen gezellig bij elkaar) en specifieke normgroepen
(normgroep met bepaalde specifieke kenmerken). Deze normgroepen waarmee de kandidaat
vergeleken word moeten voldoende groot en representatief zijn.
(6)- Afnameprocedures en standaardisatie – Dit gaat over de afnamecondities waaronder de testen
plaatsvinden. Om te voorkomen dat mensen anders reageren door de omgeving, proberen we de
factor omgeving zoveel mogelijk te standaardiseren. In testhandleidingen wordt dus al van alles
aangegeven wat er verplicht is om te test zo optimaal mogelijk af te kunnen nemen. Ook afname,
scoring en verwerking worden precies omschreven om zo door standaardisatie de betrouwbaarheid
te verhogen. Dit kan ook met interviews; een gestandaardiseerd interview heeft daarnaast ook nog
eens een hogere predictieve validiteit. Hierbij kunnen observatieformulieren en training in
observatietechnieken helpen om een nog betere conclusie te verkrijgen.
(7)- Onderzoek naar meetpretenties – Een goede test moet voortdurend onderwerp blijven van
onderzoek. Nieuwe testen zijn niet direct beter; er moet eerst testontwikkeling aanwezig zijn.
2.3 COTAN
In 1959 werd door NIP (Nederlands Instituut van Psychologen) COTAN opgericht: de Commissie
Testaangelegenheden Nederland. Ze beoordelen daar testen aan zeven onderdelen:
1. Uitgangspunten en gebruiksdoel (meetpretentie, relevantie testinhoud, juiste onderzoek).
2. Kwaliteit van het testmateriaal (degelijkheid en efficiëntie van de test).
3. Kwaliteit van de handleidingen (informatie die deze verstrekt).
4. Kwaliteit van de normen en normgroepen (representatief en van voldoende grootte).
5. Betrouwbaarheid van de test (kwaliteit van de testen om de test te testen).
6. Begripsvaliditeit (spreekt voor zich).
7. Criteriumvaliditeit (samenhang van de criterium en testuitslag).