Pre-master Pedagogische wetenschappen Willemijn van de Ven (s1034882)
Radboud Universiteit Nijmegen 2019-2020
Psychometrie en besliskunde
Uitwerkingen werkgroep opdrachten
Werkcollege 1
Opdracht A. Dawes, Faust & Meehl (1989): Klinische versus
statistische predictie
Doel
De controverse over klinische versus statistische predictie duurt al meer dan vijftig jaar en blijft
actueel. Lees het artikel van Dawes, Faust en Meehl (1989) over de vergelijking tussen klinische en
statistische oordelen om inzicht te krijgen in de argumenten die in deze discussie gebruikt worden.
Beantwoord de volgende vragen:
1. Welke voorwaarden worden gesteld aan een eerlijke vergelijking van de twee methoden
(klinisch versus actuarieel/statistisch) om tot een oordeel komen?
1) Beide methoden moeten het oordeel baseren op dezelfde data
2) Men moet condities vermijden die kunstmatig de nauwkeurigheid van actuariële methoden
kunnen opblazen dit kan door gebruik te maken van cross-validatie
2. Hoe vallen de vergelijkingen uit: vaker in het voordeel van de klinische oordelen of vaker in
het voordeel van de statistische oordelen? Maakt de mate van klinische ervaring uit? En
maakt het uit wanneer clinici meer informatie tot hun beschikking hebben (bijv. informatie
uit interviews)?
Statistische oordelen zijn altijd beter of in ieder geval gelijk aan klinische oordelen. Het maakt hierbij
niet uit hoeveel ervaring de desbetreffende clinicus heeft en of de clinicus meer informatie heeft.
Wel hebben clinici een voordeel bij het herkennen van zeldzame gebeurtenissen die niet zijn
opgenomen in de actuariële formule.
3. Welke verklaringen geven de auteurs voor deze bevindingen?
- Actuariële procedures leiden altijd tot dezelfde conclusies voor dezelfde data, in
tegenstelling tot het menselijke oordeel.
- Op de juiste manier verkregen mathematische kenmerken van actuariële methodes,
verzekeren dat variabelen bijdragen aan de conclusie, gebaseerd op de actuele
voorspellende kracht en de relatie tot het criterium van interesse. deze prestaties zijn
automatisch bij actuariële methoden maar hebben obstakels bij het menselijke oordeel.
- Individuen hebben moeite met het onderscheiden van valide en invalide variabelen en
ontwikkelen vaak een vals geloof in associaties tussen variabelen. dit kan ook voorkomen
wanneer actuariële methoden blind worden toegepast op nieuwe situaties of settings zonder
prestatie checks.
- Klinische oordelen kunnen ‘self-fulfilling prophecies’ creëren. Ook is er hierbij kans op
heuristieken (vb. hindsight heuristiek, beschikbaarheidsheuristiek, overconfidence heuristiek)
4. Hoe kan het dat deze bevindingen (nog altijd) zo weinig effect lijken te hebben op de
klinische praktijk?
- Gebrek aan bekendheid met het wetenschappelijk bewijs
, Pre-master Pedagogische wetenschappen Willemijn van de Ven (s1034882)
Radboud Universiteit Nijmegen 2019-2020
- Actuariële methoden komen onmenselijk over op de cliënt
- Volgens veel clinici gelden groepsstatistieken niet voor individuen
- Overmatig vertrouwen bij clinici in kwaliteit van eigen subjectieve beoordeling
Opdracht B. Itemanalyse
Doel
De kwaliteit van items kun je analyseren met de scores van deelnemers aan de test of toets.
In deze opdracht voer je analyses uit om voor toets items:
• De moeilijkheidsgraad en gecorrigeerde moeilijkheidsgraad te bepalen
• Het discriminerend vermogen (Rit en Rir) te bepalen
• Item-karakteristieke curves (ICC’s) te maken en hieruit de moeilijkheidsindex en discriminerend
vermogen af te lezen
• Onderlinge samenhang (phi) en maximale samenhang (phi-max) te bepalen
Instructie
Open de dataset ‘Opdracht werkcollege 1_itemanalyse.sav’.
Opdrachten
De volgende opdrachten over itemanalyse hebben betrekking op 6 items uit een gesloten meerkeuze
wiskundetoets die eerstejaarsstudenten bij aanvang van de studie moesten maken (item1 t/m
item6). De items 1, 3, 4 en 6 hadden 4 antwoordcategorieën (A t/m D) en de items 2 en 5 slechts 2 (A
en B). De sleutel met de juiste antwoorden op de items is weergegeven in onderstaande Tabel 1.
1a. Vul in de onderstaande matrix de p-waarden en de gecorrigeerde p-waarden van item1, item2
en item6 in. Baseer hierbij de p-waarden op frequentieverdelingen (Analyze -> Descriptive
Statistics -> Frequencies). Bereken de gecorrigeerde p-waarden handmatig.
Item P-waarde Gecorrigeerde p-waarde
Item1 0,97 0,96
Item2 0,82 0,65
Item6 0,46 0,28
Vragen:
- Waarom laat je de missing variabelen eruit? dit zijn gewoon mensen die de hele toets niet
gemaakt hebben, dan zou je ze helemaal niet mee kunnen rekenen. Als het een missing is op
alleen dat item, dan reken je het als fout
- Wat zijn de missing variabelen? Want elk item is door 26 mensen niet ingevuld? wat is
‘valid percent’ valid percent is dus het percentage als je de missing niet meeneemt.
- Valid percent of percent is de p-waarde (als je het gedeeld door 100 doet?)?
Radboud Universiteit Nijmegen 2019-2020
Psychometrie en besliskunde
Uitwerkingen werkgroep opdrachten
Werkcollege 1
Opdracht A. Dawes, Faust & Meehl (1989): Klinische versus
statistische predictie
Doel
De controverse over klinische versus statistische predictie duurt al meer dan vijftig jaar en blijft
actueel. Lees het artikel van Dawes, Faust en Meehl (1989) over de vergelijking tussen klinische en
statistische oordelen om inzicht te krijgen in de argumenten die in deze discussie gebruikt worden.
Beantwoord de volgende vragen:
1. Welke voorwaarden worden gesteld aan een eerlijke vergelijking van de twee methoden
(klinisch versus actuarieel/statistisch) om tot een oordeel komen?
1) Beide methoden moeten het oordeel baseren op dezelfde data
2) Men moet condities vermijden die kunstmatig de nauwkeurigheid van actuariële methoden
kunnen opblazen dit kan door gebruik te maken van cross-validatie
2. Hoe vallen de vergelijkingen uit: vaker in het voordeel van de klinische oordelen of vaker in
het voordeel van de statistische oordelen? Maakt de mate van klinische ervaring uit? En
maakt het uit wanneer clinici meer informatie tot hun beschikking hebben (bijv. informatie
uit interviews)?
Statistische oordelen zijn altijd beter of in ieder geval gelijk aan klinische oordelen. Het maakt hierbij
niet uit hoeveel ervaring de desbetreffende clinicus heeft en of de clinicus meer informatie heeft.
Wel hebben clinici een voordeel bij het herkennen van zeldzame gebeurtenissen die niet zijn
opgenomen in de actuariële formule.
3. Welke verklaringen geven de auteurs voor deze bevindingen?
- Actuariële procedures leiden altijd tot dezelfde conclusies voor dezelfde data, in
tegenstelling tot het menselijke oordeel.
- Op de juiste manier verkregen mathematische kenmerken van actuariële methodes,
verzekeren dat variabelen bijdragen aan de conclusie, gebaseerd op de actuele
voorspellende kracht en de relatie tot het criterium van interesse. deze prestaties zijn
automatisch bij actuariële methoden maar hebben obstakels bij het menselijke oordeel.
- Individuen hebben moeite met het onderscheiden van valide en invalide variabelen en
ontwikkelen vaak een vals geloof in associaties tussen variabelen. dit kan ook voorkomen
wanneer actuariële methoden blind worden toegepast op nieuwe situaties of settings zonder
prestatie checks.
- Klinische oordelen kunnen ‘self-fulfilling prophecies’ creëren. Ook is er hierbij kans op
heuristieken (vb. hindsight heuristiek, beschikbaarheidsheuristiek, overconfidence heuristiek)
4. Hoe kan het dat deze bevindingen (nog altijd) zo weinig effect lijken te hebben op de
klinische praktijk?
- Gebrek aan bekendheid met het wetenschappelijk bewijs
, Pre-master Pedagogische wetenschappen Willemijn van de Ven (s1034882)
Radboud Universiteit Nijmegen 2019-2020
- Actuariële methoden komen onmenselijk over op de cliënt
- Volgens veel clinici gelden groepsstatistieken niet voor individuen
- Overmatig vertrouwen bij clinici in kwaliteit van eigen subjectieve beoordeling
Opdracht B. Itemanalyse
Doel
De kwaliteit van items kun je analyseren met de scores van deelnemers aan de test of toets.
In deze opdracht voer je analyses uit om voor toets items:
• De moeilijkheidsgraad en gecorrigeerde moeilijkheidsgraad te bepalen
• Het discriminerend vermogen (Rit en Rir) te bepalen
• Item-karakteristieke curves (ICC’s) te maken en hieruit de moeilijkheidsindex en discriminerend
vermogen af te lezen
• Onderlinge samenhang (phi) en maximale samenhang (phi-max) te bepalen
Instructie
Open de dataset ‘Opdracht werkcollege 1_itemanalyse.sav’.
Opdrachten
De volgende opdrachten over itemanalyse hebben betrekking op 6 items uit een gesloten meerkeuze
wiskundetoets die eerstejaarsstudenten bij aanvang van de studie moesten maken (item1 t/m
item6). De items 1, 3, 4 en 6 hadden 4 antwoordcategorieën (A t/m D) en de items 2 en 5 slechts 2 (A
en B). De sleutel met de juiste antwoorden op de items is weergegeven in onderstaande Tabel 1.
1a. Vul in de onderstaande matrix de p-waarden en de gecorrigeerde p-waarden van item1, item2
en item6 in. Baseer hierbij de p-waarden op frequentieverdelingen (Analyze -> Descriptive
Statistics -> Frequencies). Bereken de gecorrigeerde p-waarden handmatig.
Item P-waarde Gecorrigeerde p-waarde
Item1 0,97 0,96
Item2 0,82 0,65
Item6 0,46 0,28
Vragen:
- Waarom laat je de missing variabelen eruit? dit zijn gewoon mensen die de hele toets niet
gemaakt hebben, dan zou je ze helemaal niet mee kunnen rekenen. Als het een missing is op
alleen dat item, dan reken je het als fout
- Wat zijn de missing variabelen? Want elk item is door 26 mensen niet ingevuld? wat is
‘valid percent’ valid percent is dus het percentage als je de missing niet meeneemt.
- Valid percent of percent is de p-waarde (als je het gedeeld door 100 doet?)?
