Psychometrie en Besliskunde
Hoorcollege 1 Inleiding en besliskunde
Psychometrie: hoe kun je vaststellen of een instrument betrouwbaar en valide (dus goed) is.
Psychometrie en besliskunde: wat houdt dan in?
- Besliskunde: onderzoek naar de kwaliteit van oordelen en beslissingen en beslisproces:
descriptief, normatief en prescriptief. Hoe goed gaat het oordelen en beslissen?
Besliskundigen bestuderen dus hoe beslissingen worden en zouden moeten worden
genomen.
- Psychometrie: onderzoek naar de kwaliteit van meetinstrumenten door het analyseren van
antwoorden van personen. Op basis van de scores kun je iets zeggen over het instrument.
Uiteindelijk is het de bedoeling dat met kennis van deze beide onderdelen wij leren om zo goed
mogelijk te oordelen en beslissen met behulp van meetinstrumenten.
Drie hoofdvragen in deze cursus
- Betrouwbaarheid: Hoe goed/nauwkeurig meet ik? Meet ik het goed? Het gaat om
herhaalbaarheid. Als ik iets meet en ik meet het nog een keer en verandert niet, dan kom ik tot
hetzelfde resultaat: het is consistent.
- Validiteit: Wat meet ik? Meet ik het goede? Ik meet wat ik beoog te meten: een weegschaal is
een goed meetinstrument om gewicht te meten.
- Normativiteit: Interpreteer ik uitkomsten op de juiste wijze en neem ik de juiste beslissing?
Neem ik de best mogelijke beslissing? Is het goed om te meten?
Je hebt een gewicht vastgesteld, is iemand dan te licht om een mens te zijn (in plaats van een
heks): zijn hier normen voor aanwezig. Normen zijn nodig om gegevens te kunnen
interpreteren.
Besliskunde geeft reden voor psychometrie
Psychometrie is nodig om beter te kunnen beslissen, want het blijkt dat mensen dat uit zichzelf niet
goed kunnen.
Dat inzicht volgt uit de psychologische besliskunde.
Besliskunde onderzoekt hoe mensen oordelen en beslissen. Besliskunde laat zien wat mensen
moeilijk vinden, door hun beslissingen te beschrijven en te vergelijken met normen: en ontwikkelt
denkhulpmiddelen.
Bevolkingsonderzoek baarmoederhalskanker: uitslag kan oké of niet oké zijn. Deze uitslag kan dan
ook terecht of niet terecht (vals alarm) zijn. Je wilt zoveel mogelijk gevallen waarmee iets aan de hand
is te pakken krijgen, maar wel zodanig dat je niet te veel valse alarmen krijgt. En wat als je gevallen
mist in de screening?
Sensitiviteit, specificiteit van het instrument, gericht op psychometrie: wat zegt een positieve uitslag?
Wat zegt een negatieve uitslag?
Besliskunde: 3 benaderingen
- Descriptief: beschrijven wat mensen doen. Hoe oordelen mensen? Hoe beslissen mensen?
Zowel over de oordelen en beslissingen die genomen worden als over het proces tot een
oordeel of besluit (hoe komt iemand hierbij).
- Normatief: aangeven hoe het zou moeten. Wat zouden de juiste/beste oordelen en
beslissingen moeten zijn? Wat mensen doen (descriptief) komt vaak niet overeen met hoe het
het beste zou zijn (normatief).
- Prescriptief: recepten om norm te benaderen. Het houdt rekening met de beperkingen die
mensen hebben. Voorschrijvend: volg deze regels/protocollen en dan hopen dat het alsnog
goed gaat.
Psychologische besliskunde
Mensen maken bij oordelen en beslissen systematisch fouten en daar zijn redenen voor.
,Psychologische besliskunde is het onderwerp van beschrijvende besliskunde (descriptieve
benadering).
Empirische bevindingen
Het is voor mensen moeilijk, veelsoortige informatie te integreren, dus men laat een deel van de
informatie buiten beschouwing. Door een beslistaak zo te vereenvoudigen, wordt gezegd dat mensen
heuristieken (vereenvoudigingsregels) gebruiken. Mensen nemen niet alle informatie, maar een
selectief deel. Heuristieken zijn vaak praktisch efficiënt en leiden tot prima beslissingen, maar het kan
ook systematisch mis gaan. Het zijn verkorte denkroutes.
Heuristieken gebruiken is slim en efficiënt, je slaat over wat onbelangrijk lijkt. Maar juist door dat
overslaan van informatie is het ook riskant – misschien was het wel belangrijk. Je bent vatbaar voor
biases = systematische vertekeningen.
Er zijn manieren om dat te verhelpen. Stap 1 is zich er bewust van zijn. Dit is cruciaal bij bijvoorbeeld:
- Interpreteren van onderzoeksresultaten
- Beoordelen van tests
- Stellen van diagnose
- Keuze van behandeling
De bekendste heuristieken:
- Representativiteit
- Beschikbaarheid
- Verankering en Aanpassing
Voorbeelden representativiteitsheuristiek
Voorbeeld: 10x gooien met een munt
Hoe waarschijnlijk zijn de volgende uitkomsten?
- KMKKMMMKKM
- KKKKMMMMMM
Zijn allebei even waarschijnlijk. De eerste lijkt wel meer representatief voor als je 10x een munt
opgooit. De eerste volgorde lijkt representatiever en daarmee meer waarschijnlijk:
representativiteitsheuristiek.
Voorbeeld: Linda is 21, single, studeert aan de Ru. Ze houdt erg van stappen en geef graag feestjes.
Wat is waarschijnlijker?
A. Linda doet de opleiding PWO.
B. Linda doet de opleiding PWO en is actief lid van Postelein.
Het juiste antwoord is A. A is de meest omvattende categorie, binnen deze categorie kun je ook nog
lid zijn, maar dit groepje is per definitie kleiner. Linda lijkt representatief voor PWO-student die actief
lid is van Postelein. Je vergeet dat een samengaan van 2 dingen (PWO + actief lid) altijd minder
waarschijnlijk is dan 1 van die 2 (PWO): conjunction fallacy: het is een mogelijk gevolg van de
representativiteitsheuristiek.
Gebruik van de representativiteitsheuristiek kijkt niet naar ‘base rate’ informatie: frequentie van
voorkomen van verschijnsel (hoe vaak komt PWO voor, hoe vaak komt Postelein voor). Als je deze
informatie niet goed meeweegt, dan ga je de mist in.
Het is wel relevante informatie → Leidt tot fouten. Bekijk ook alternatieve mogelijkheden.
Je ziet leerling A met druk gedrag. Dit lijkt op B’s: ADHD kinderen. Je moet kijken hoeveel kinderen
ADHD hebben en niet meteen zeggen: ‘Dit kind is druk, dus heeft ADHD’.
Voorbeelden beschikbaarheidsheuristiek
Voorbeeld: Waar heb je een grotere kans om dood te gaan? Thuis of in het verkeer?
Antwoord is ‘thuis’. De meeste mensen denken dat je eerder in het verkeer zult sterven, omdat daar
meer berichtgeving over is. De voorbeelden die je voor de geest kunt halen voor mensen die sterven
in het verkeer, die komen makkelijker naar voren dan voorbeelden van mensen die thuis dood gaan.
,Voorbeeld: door aandacht in de media is de classificatie ADHD nu beschikbaar en wordt die aan veel
kinderen gegeven.
Voorbeeld: onderzoek fouten (met ernstige afloop) in beoordelen kindermishandeling: hulpverleners
gebruiken vooral makkelijk beschikbare, levendige informatie: uit gesprekken, recent; niet uit dossiers,
minder recent.
Hoe makkelijk kun je je iets voorstellen? Hoe beschikbaar zijn voorbeelden voor jou? Je gaat niet af
op alle informatie, maar je gaat af op wat het meest makkelijk in je hoofd naar voren komt (het meest
beschikbaar is). Dit kan gaan om informatie die het makkelijkst herinnerd wordt, toegankelijk is,
levendig is. Wanneer je de andere informatie negeert, kun je systematische vertekeningen maken.
Wat voor jou beschikbaar is, is toevallig → Kan correct zijn, maar zeker is dat niet. Subjectieve
oordelen, verkeerde kansinschattingen.
Wat beschikbaar is, is afhankelijk van jouw eigen ervaringen.
Verankering en Aanpassing
Onvoldoende afwijken van beginwaarde, waardoor het systematisch mis kan gaan. Oordeel wordt
beïnvloed door een toevallig beginpunt. Dit kan terecht zijn, maar hangt af van de juistheid van het
beginpunt en de mate van aanpassing, de aanpassing blijkt vaak onvoldoende.
Voorbeeld:
Ene groep studenten is gevraagd om te schatten zonder echt uit te rekenen 8x7x6x5x4x3x2x1.
Schatting = 2250.
Andere groep studenten is gevraagd om te schatten zonder echt uit te reken 1x2x3x4x5x6x7x8.
Schatting = 512.
De beginwaarde (1e groep = 8, 2e groep = 1) is van invloed op het oordeel. Onvoldoende aanpassing
na begin (anker).
Voorbeeld: een verwijsbrief (anker) gebruikt waarin een diagnose wordt gesuggereerd. Degene naar
wie het is doorgestuurd, gaat vaak uit van de diagnose die in de verwijsbrief staat vermeld.
Voorbeeld: alles-in-1 pakketten, je kiest vaak het duurste, omdat dit pakket bovenaan staat.
Voorbeeld: van 99,95 voor 49,95. Hierdoor lijkt het erg goedkoop, omdat de beginwaarde (anker) erg
hoog is.
Meer bevindingen
- Confirmation bias: zoeken naar bevestigende informatie.
Voorbeeld: vermoeden van ADHD, waardoor je een ADHD-vragenlijst afneemt.
- Hindsight bias: achteraf, met kennis, lijken uitkomsten voorspelbaarder dan ze waren.
Voorbeeld: bepaalde mensen gaan scheiden, het huwelijk mislukt. Mensen zeggen dan: ‘Dat
zag ik al aankomen’. Als je dit een aantal jaren eerder gevraagd (vantevoren), dan hadden
mensen het niet zo goed kunnen voorspellen, dan dat ze achteraf denken.
- Illusory correlation: zien van verbanden die niet bestaan.
- Overconfidence: meer en overmatig vertrouwen met meer ervaring, meer informatie.
Clinici’s beslisprocessen
Beslissen door clinici gaat niet altijd goed. Het is belangrijk cognitieve processen van clinici te
bestuderen ten behoeve van:
- Controle kwaliteit: hoe goed doen clinici het?
- Begrijpen van klinische praktijk: hoe komen mensen tot beoordelingen en beslissingen?
- Training: training om fouten te voorkomen.
- Ondersteunende computerprogramma’s.
- Prescriptief (recepten: protocollen/richtlijnen) om het beslisproces zo goed mogelijk te
doorlopen.
Clinici’s beslisprocessen: descriptief
In elke fase van het diagnostisch proces:
1. Onderkennen (wat is het probleem?)
, 2. Verklaren (hoe kun je dit verklaren?)
3. Indicatiestelling (wat kun je eraan doen?)
Gebruiken clinici – noodgedwongen – heuristieken, en komen er dus mogelijk biases (vertekeningen,
fouten) voor.
1. Onderkennen/classificeren
Kan het beste met (semi) gestructureerde interviews, maar die gebruiken clinici niet altijd – ze vragen
naar wat bij hun beeld (hun interne ‘anker’) past, ze kijken niet breder.
- Ze zien (met name co-morbide) stoornissen over het hoofd.
- Lage overeenstemming (dus subjectief).
2. Verklaren
Heel moeilijk om verklarende diagnose op te stellen – erg lage betrouwbaarheid en validiteit want:
- Vaak gebaseerd op wat cliënt zegt, maar weet die het (nog) wel goed?
- Vaak niet gesteund door empirisch onderzoek, maar gebaseerd op informele observaties en
wat ‘beschikbaar’ is.
- Oorzaken van gedrag moeilijk te kennen, het is de vraag of je dit überhaupt goed kunt
voorspellen en verklaren.
Wel haalbaar is plausibele verklaring waar therapeut en cliënt het over eens zijn. Je kunt er niet
zomaar van op aan dat dit de juiste verklaring is.
3. Indicatiestellen
- Moeilijk want ‘treatment utility’ van diagnostiek is nog niet duidelijk. De diagnostiek die eraan
vooraf gegaan is, maakt dat uit voor het succes van een behandeling? Dit weten we nog niet
zo goed. Het is dus onzeker op basis waarvan welke behandeling te indiceren.
- Er komen steeds meer ‘evidence-based treatment recommendations’, maar vaak worden die
niet gevolg – clinici weten beter, voor dit individu, hebben eigen behandelingen ‘beschikbaar’.
Clinici’s beslisprocessen: normatief: hoe zouden ze het beste kunnen beslissen?
- Alle relevante informatie verzamelen en op de juiste wijze wegen tot juiste diagnose en
indicatiestelling. Dit is praktisch niet haalbaar; het werkgeheugen van clinici is beperkt. Heel
lastig vast te stellen.
Clinici’s beslisprocessen: prescriptief
Dit is hoe je zo goed mogelijk systematisch te werk kunt gaan.
Voorbeeld: diagnostische cyclus. Als je een diagnostisch proces gaat beginnen, begin je met
klachtanalyse, dan probleemanalyse, dan verklaringsanalyse, dan indicatieanalyse.
Het idee is dat je systematisch, stap voor stap, werkt, zodat de informatieverzameling zo
gestructureerd mogelijk verloopt. Je werkt navolgbaar.
Ook al volg je een recept nauwgezet, het kán mislukken.
Conclusie
Clinici moeten bij alle beslissingen:
- Systematisch werken.
- Wetenschap vóór laten gaan op ervaring.
- Psychometrisch goed onderlegd zijn: om zelf kritisch na te kunnen denken over wat goede
instrumenten zijn en waar je ze wel/niet goed voor kunt gebruiken.
- Goede tests gebruiken.
Dat helpt betrouwbaarheid en validiteit, en komt dus ten goede aan cliënten.
Artikel
Vergelijking klinisch en statistisch oordeel
Klinisch: informatie combineren met behulp van klinische intuïtie. Informatie verwerkt in het hoofd.
Statistisch: informatie combineren met behulp van actuariële modellen. Interpreteren met algoritme en
onder behoud van empirische relaties tussen de informatie en de uitkomsten.
