PB werkcollege opdracht 3
1. Bereken handmatig op basis van deze gegevens Cohen’s Kappa (tip: maak eerst een
overeenstemmingsmatrix).
Zie voor overeenstemmingsmatrix collegeblok. P o = 0.55
2. Voer nu de gegevens in SPSS in en bereken Cohen’s Kappa. Vraag tevens zowel de
‘observed’ als de ‘expected’ frequencies per cel op. Geef de syntax en de gevraagde
output.
CROSSTABS
/TABLES=Beoordelaar1 BY Beoordelaar2
/FORMAT=AVALUE TABLES
/STATISTICS=KAPPA
/CELLS=COUNT EXPECTED
/COUNT ROUND CELL.
Beoordelaar1 * Beoordelaar2 Crosstabulation
Beoordelaar2
1,00 2,00 3,00 4,00 Total
Beoordelaar1 1,00 Count 1 3 0 0 4
Expected Count ,2 2,0 ,8 1,0 4,0
2,00 Count 0 4 1 0 5
Expected Count ,3 2,5 1,0 1,3 5,0
3,00 Count 0 3 3 1 7
Expected Count ,4 3,5 1,4 1,8 7,0
4,00 Count 0 0 0 3 3
Expected Count ,2 1,5 ,6 ,8 3,0
5,00 Count 0 0 0 1 1
Expected Count ,1 ,5 ,2 ,3 1,0
Total Count 1 10 4 5 20
Expected Count 1,0 10,0 4,0 5,0 20,0
Symmetric Measures
Asymptotic Approximate
a b
Value Standard Error Approximate T Significance
Measure of Agreement Kappa ,406 ,137 3,532 ,000
N of Valid Cases 20
a. Not assuming the null hypothesis.
b. Using the asymptotic standard error assuming the null hypothesis.
, 3. Vergelijk de SPSS-output van vraag 2 met jouw berekeningen bij en uitkomst van vraag 1.
Wat valt je op? Wat is de expected frequencie van de cel waarin beide beoordelaars
aangeven de gezichtsuitdrukking als ‘erg verdrietig’ te beoordelen?
De kappa uit SPSS komt overeen met mijn eigen berekende kappa (0.406 vs. 0.4059). Dus goed
uitgerekend.
Beoordelaar 2 heeft geen één keer iemand beoordeelt met ‘erg verdrietig’. Daarom is deze kolom
ook niet te zien in de SPSS output. De verwachte waarde voor de cel 5,5 is dan ook 0.
4. Bereken de gewogen Kappa, uitgaande van deze gewichtenmatrix (zie pdf.)
(0.75 – 0.3675)/(1 – 0.3675) = 0.6047 0.60
5. Hoe hoog kan de overeenstemming tussen deze twee beoordelaars maximaal worden?
Bereken hiervoor de ongewogen Kappa na een tabel te hebben gemaakt met maximale
overeenstemming. Hiertoe geef je in de tabel eerst de randproporties weer en vul je
vervolgens de tabel verder in zoals deze er bij maximale overeenstemming uit zou zien.
Bedenk hoe je dit deed bij het berekenen van phi-max.
Hoe komt men aan de randtotalen??????
Verder zie collegeblok voor uitwerking
6. Open de dataset en vraag met SPSS (als onderdeel van een betrouwbaarheidsanalyse) een
ANOVA-tabel op voor de verschillende bronnen van spreiding in de cijfers voor de
werkstukken (objecten, beoordelaars en interactie). Geef de syntax en de gevraagde
output. Wat is het gemiddelde cijfer van de 10 werkstukken berekend op basis van de 30
beoordelingen?
DATASET ACTIVATE DataSet1.
RELIABILITY
/VARIABLES=Beoordelaar1 Beoordelaar2 Beoordelaar3
/SCALE('ALL VARIABLES') ALL
/MODEL=ALPHA
/STATISTICS=ANOVA.
ANOVA
Sum of Squares df Mean Square F Sig
Between People 66,833 9 7,426
Within People Between Items 14,467 2 7,233 11,982 ,000
Residual 10,867 18 ,604
Total 25,333 20 1,267
Total 92,167 29 3,178
Grand Mean = 6,8333
6.83 (Grand mean)
1. Bereken handmatig op basis van deze gegevens Cohen’s Kappa (tip: maak eerst een
overeenstemmingsmatrix).
Zie voor overeenstemmingsmatrix collegeblok. P o = 0.55
2. Voer nu de gegevens in SPSS in en bereken Cohen’s Kappa. Vraag tevens zowel de
‘observed’ als de ‘expected’ frequencies per cel op. Geef de syntax en de gevraagde
output.
CROSSTABS
/TABLES=Beoordelaar1 BY Beoordelaar2
/FORMAT=AVALUE TABLES
/STATISTICS=KAPPA
/CELLS=COUNT EXPECTED
/COUNT ROUND CELL.
Beoordelaar1 * Beoordelaar2 Crosstabulation
Beoordelaar2
1,00 2,00 3,00 4,00 Total
Beoordelaar1 1,00 Count 1 3 0 0 4
Expected Count ,2 2,0 ,8 1,0 4,0
2,00 Count 0 4 1 0 5
Expected Count ,3 2,5 1,0 1,3 5,0
3,00 Count 0 3 3 1 7
Expected Count ,4 3,5 1,4 1,8 7,0
4,00 Count 0 0 0 3 3
Expected Count ,2 1,5 ,6 ,8 3,0
5,00 Count 0 0 0 1 1
Expected Count ,1 ,5 ,2 ,3 1,0
Total Count 1 10 4 5 20
Expected Count 1,0 10,0 4,0 5,0 20,0
Symmetric Measures
Asymptotic Approximate
a b
Value Standard Error Approximate T Significance
Measure of Agreement Kappa ,406 ,137 3,532 ,000
N of Valid Cases 20
a. Not assuming the null hypothesis.
b. Using the asymptotic standard error assuming the null hypothesis.
, 3. Vergelijk de SPSS-output van vraag 2 met jouw berekeningen bij en uitkomst van vraag 1.
Wat valt je op? Wat is de expected frequencie van de cel waarin beide beoordelaars
aangeven de gezichtsuitdrukking als ‘erg verdrietig’ te beoordelen?
De kappa uit SPSS komt overeen met mijn eigen berekende kappa (0.406 vs. 0.4059). Dus goed
uitgerekend.
Beoordelaar 2 heeft geen één keer iemand beoordeelt met ‘erg verdrietig’. Daarom is deze kolom
ook niet te zien in de SPSS output. De verwachte waarde voor de cel 5,5 is dan ook 0.
4. Bereken de gewogen Kappa, uitgaande van deze gewichtenmatrix (zie pdf.)
(0.75 – 0.3675)/(1 – 0.3675) = 0.6047 0.60
5. Hoe hoog kan de overeenstemming tussen deze twee beoordelaars maximaal worden?
Bereken hiervoor de ongewogen Kappa na een tabel te hebben gemaakt met maximale
overeenstemming. Hiertoe geef je in de tabel eerst de randproporties weer en vul je
vervolgens de tabel verder in zoals deze er bij maximale overeenstemming uit zou zien.
Bedenk hoe je dit deed bij het berekenen van phi-max.
Hoe komt men aan de randtotalen??????
Verder zie collegeblok voor uitwerking
6. Open de dataset en vraag met SPSS (als onderdeel van een betrouwbaarheidsanalyse) een
ANOVA-tabel op voor de verschillende bronnen van spreiding in de cijfers voor de
werkstukken (objecten, beoordelaars en interactie). Geef de syntax en de gevraagde
output. Wat is het gemiddelde cijfer van de 10 werkstukken berekend op basis van de 30
beoordelingen?
DATASET ACTIVATE DataSet1.
RELIABILITY
/VARIABLES=Beoordelaar1 Beoordelaar2 Beoordelaar3
/SCALE('ALL VARIABLES') ALL
/MODEL=ALPHA
/STATISTICS=ANOVA.
ANOVA
Sum of Squares df Mean Square F Sig
Between People 66,833 9 7,426
Within People Between Items 14,467 2 7,233 11,982 ,000
Residual 10,867 18 ,604
Total 25,333 20 1,267
Total 92,167 29 3,178
Grand Mean = 6,8333
6.83 (Grand mean)
