Lecture 12: Reliability and
validity part 2
Reliability/betrouwbaarheid
CODEREN ITEM SCORES
- Zijn er contra-indicatieve items?
Als dit zo is moet je antwoorden hercoderen. Als iemand met 5 antwoord op de eerste vraag
dan vinden mensen gezondheid erg belangrijk, terwijl 5 op de tweede vraag iemand zou
bedoelen dat gezondheid heel onbelangrijk is.
Dit is de reden dat gehercodeerd moet worden, voor het tweede item zou je de codering
kunnen omdraaien zoals hieronder is gedaan:
Hier moet je op letten want als je dit niet zou doen zou je een negatieve Cronbach’s alpha
krijgen
- Komt de codering overeen met de inhoud van de antwoordcategorieën?
Soms heb je antwoordopties zoals ‘ik weet het niet’ of ‘het is niet van toepassing op mij’. Het
beste is om deze waardes als missende waardes te coderen omdat het foutieve resultaten
kan veroorzaken.
EFFECT VAN MISSENDE WAARDES OP ITEMS
Waarom is het een probleem om missende waardes te hebben?
Als SPSS Cronbach’s alpha uitrekent, ziet dat iemand een missende waarde heeft en neemt daardoor
de hele persoon niet meer mee in de analyse (listwise deletion). Dit kan vervelend zijn want als je
100 mensen hebt die een schaal invullen waarvan 50 1 item vergeten zijn in te vullen, heb je de helft
aantal respondenten!
Als er veel missende waardes zijn dan kan dit de indicatie geven dat er sprake is van een ‘slechte
respondent’ of een ‘slecht item’. Het advies is daarom om personen en items te vinden met veel
missende waardes en mogelijk deze verwijderen in de analyse.
Welke strategie moet je hiervoor toepassen?
, Verwijder personen met veel missende waardes (b.v. >10% missende waardes)
Verwijder items met veel missende waardes (b.v. >10% missende waardes)
Overige missende waardes vervangen voor een logische waarde (imputatie). Wat zou er
gestaan kunnen hebben?
Imputatiemethoden:
- Indien een specifiek item veel missende waardes heeft, imputeer je de gemiddelde score van
alle andere personen die het item WEL beantwoord hebben. Deze gemiddelde score vul je
dan dus in op de lege plek bij de personen die niks hebben ingevuld op dat item.
Geen verdedigbare methode omdat het mogelijk is dat iemand veel hoger of lager
dan het gemiddelde zou hebben beantwoord. Erg slechte methode.
- Imputeer neutrale scores, e.g. de score 3 op de Likert schaal.
Het is maar de vraag of de respondent echt 3 zou antwoorden, niet heel
rechtvaardig. Erg slechte methode.
- Imputeer het gemiddelde van een persoons score op de overige items van de schaal die deze
persoon WEL heeft ingevuld.
Enigszins verdedigbare methode.
- Imputeer de voorspelde score op basis van regressie gebaseerd op de score van de overige
items van de schaal die WEL ingevuld zijn en wat random error (stochastic regression
imputation). Het zou kunnen dat sommige items meer samenhangen met het item met de
missende waarde en dat je deze score dan meer mee moet laten wegen voor de
imputatiescore. DUS je voorspelt een score en voegt er nog wat ruis aan toe.
De beste methode!
Validiteit
De mate waarin een meetinstrument meet wat het pretendeert te meten.
In statistiek wordt met name naar construct validiteit gekeken.
CONSTRUCT VALIDITEIT BEPALEN
Construct validiteit = hangt een meetinstrument samen met andere variabelen zoals verwacht
volgens andere empirische studies?
- Discriminatieve validiteit: B.v. zijn er verschillen tussen twee groepen? Wat is het belang van
gezondheid voor chronisch zieken en gezonde mensen? Om construct validiteit te bepalen
moet je bepalen om chronisch zieken gezondheid meer waarderen dan gezonde mensen,
hiervoor de volgende hypotheses:
Let op! Je moet hier dus eenzijdig toetsen. De algemene regel is dat als de relatie of het
effect in lijn is met de alternatieve hypothese, dan is de p-waarde sig./2. Als deze p-waarde
kleiner is dan α dan wordt H0 verworpen en Ha geaccepteerd. MAAR als de relatie of het
effect in het sample NIET in lijn is met de alternatieve hypothese, moet je direct H0
aannemen.
- Correlatie studie: b.v. je theorie is dat werkstress negatief is gecorreleerd met autonomie.
Schalen die werkstress en autonomie meten zouden dan dus ook matig negatief gecorreleerd
moeten zijn. Als dit zo is, dan heb je ondersteuning van construct validiteit van
validity part 2
Reliability/betrouwbaarheid
CODEREN ITEM SCORES
- Zijn er contra-indicatieve items?
Als dit zo is moet je antwoorden hercoderen. Als iemand met 5 antwoord op de eerste vraag
dan vinden mensen gezondheid erg belangrijk, terwijl 5 op de tweede vraag iemand zou
bedoelen dat gezondheid heel onbelangrijk is.
Dit is de reden dat gehercodeerd moet worden, voor het tweede item zou je de codering
kunnen omdraaien zoals hieronder is gedaan:
Hier moet je op letten want als je dit niet zou doen zou je een negatieve Cronbach’s alpha
krijgen
- Komt de codering overeen met de inhoud van de antwoordcategorieën?
Soms heb je antwoordopties zoals ‘ik weet het niet’ of ‘het is niet van toepassing op mij’. Het
beste is om deze waardes als missende waardes te coderen omdat het foutieve resultaten
kan veroorzaken.
EFFECT VAN MISSENDE WAARDES OP ITEMS
Waarom is het een probleem om missende waardes te hebben?
Als SPSS Cronbach’s alpha uitrekent, ziet dat iemand een missende waarde heeft en neemt daardoor
de hele persoon niet meer mee in de analyse (listwise deletion). Dit kan vervelend zijn want als je
100 mensen hebt die een schaal invullen waarvan 50 1 item vergeten zijn in te vullen, heb je de helft
aantal respondenten!
Als er veel missende waardes zijn dan kan dit de indicatie geven dat er sprake is van een ‘slechte
respondent’ of een ‘slecht item’. Het advies is daarom om personen en items te vinden met veel
missende waardes en mogelijk deze verwijderen in de analyse.
Welke strategie moet je hiervoor toepassen?
, Verwijder personen met veel missende waardes (b.v. >10% missende waardes)
Verwijder items met veel missende waardes (b.v. >10% missende waardes)
Overige missende waardes vervangen voor een logische waarde (imputatie). Wat zou er
gestaan kunnen hebben?
Imputatiemethoden:
- Indien een specifiek item veel missende waardes heeft, imputeer je de gemiddelde score van
alle andere personen die het item WEL beantwoord hebben. Deze gemiddelde score vul je
dan dus in op de lege plek bij de personen die niks hebben ingevuld op dat item.
Geen verdedigbare methode omdat het mogelijk is dat iemand veel hoger of lager
dan het gemiddelde zou hebben beantwoord. Erg slechte methode.
- Imputeer neutrale scores, e.g. de score 3 op de Likert schaal.
Het is maar de vraag of de respondent echt 3 zou antwoorden, niet heel
rechtvaardig. Erg slechte methode.
- Imputeer het gemiddelde van een persoons score op de overige items van de schaal die deze
persoon WEL heeft ingevuld.
Enigszins verdedigbare methode.
- Imputeer de voorspelde score op basis van regressie gebaseerd op de score van de overige
items van de schaal die WEL ingevuld zijn en wat random error (stochastic regression
imputation). Het zou kunnen dat sommige items meer samenhangen met het item met de
missende waarde en dat je deze score dan meer mee moet laten wegen voor de
imputatiescore. DUS je voorspelt een score en voegt er nog wat ruis aan toe.
De beste methode!
Validiteit
De mate waarin een meetinstrument meet wat het pretendeert te meten.
In statistiek wordt met name naar construct validiteit gekeken.
CONSTRUCT VALIDITEIT BEPALEN
Construct validiteit = hangt een meetinstrument samen met andere variabelen zoals verwacht
volgens andere empirische studies?
- Discriminatieve validiteit: B.v. zijn er verschillen tussen twee groepen? Wat is het belang van
gezondheid voor chronisch zieken en gezonde mensen? Om construct validiteit te bepalen
moet je bepalen om chronisch zieken gezondheid meer waarderen dan gezonde mensen,
hiervoor de volgende hypotheses:
Let op! Je moet hier dus eenzijdig toetsen. De algemene regel is dat als de relatie of het
effect in lijn is met de alternatieve hypothese, dan is de p-waarde sig./2. Als deze p-waarde
kleiner is dan α dan wordt H0 verworpen en Ha geaccepteerd. MAAR als de relatie of het
effect in het sample NIET in lijn is met de alternatieve hypothese, moet je direct H0
aannemen.
- Correlatie studie: b.v. je theorie is dat werkstress negatief is gecorreleerd met autonomie.
Schalen die werkstress en autonomie meten zouden dan dus ook matig negatief gecorreleerd
moeten zijn. Als dit zo is, dan heb je ondersteuning van construct validiteit van
