Chapter 10: Rigor and validity in Quantitative
Research
1. Validity and Inference
1.1 Types of validity
Studievaliditeit = de mate waarin passende conclusies kunnen worden
getrokken (over oorzaak-gevolg relaties).
→ Introduceer ontwerpelementen om potentiële bedreigingen voor de validiteit
te minimaliseren
• Statistische conclusie validiteit
= de validiteit van gevolgtrekkingen dat er werkelijk een empirische relatie of
correlatie bestaat tussen de veronderstelde oorzaak en het gevolg.
• Interne validiteit
= validiteit van gevolgtrekkingen dat, aangezien er een empririsch verband
bestaat, het de onafhankelijke variabele is, en niet iets anders die de uitkomst
heeft veroorzaakt.
• Constructvaliditeit
= validiteit van gevolgtrekkingen van de waargenomen personen, instellingen en
oorzaak-en gevolgoperaties die in het onderzoek zijn opgenomen tot de
constructies die deze instanties zouden kunnen vertegenwoordigen.
mate waarin een interventie een goede representatie is van het onderliggende
construct waarvan werd aangenomen dat het gunstige resultaten zou kunnen
veroorzaken.
• Externe validiteit
= zullen gevolgtrekkingen over waargenomen relaties gelden voor variaties in
personen, setting of tijd.
Veel van deze validiteitsbedreigingen zijn het gevolg van onvoldoende controle
over de verstorende variabelen.
1.2 Controlling confounders
Confounders: verstorende variabelen.
Confounding kenmerken van deelnemers = kenmerken die zouden kunnen
concurreren met de onafhankelijke variabele als oorzaak van een uitkomst (=
1
, typisch het basisniveau van de uitkomst, belangrijke demografische variabelen,
gezondheidsindicatoren)
6 methoden om kenmerken van deelnemers/confounding te beheersen:
• Randomisatie: groepen gelijk maken met betrekking tot de verstorende
variabele met betrekking tot alle mogelijke bronnen van verwarring.
Om individuele kenmerken te beheersen
• Crossover: gelijkwaardigheid tussen groepen die worden vergeleken en de
deelnemers dienen als hun eigen controle.
Er zijn minder deelnemers nodig ( 50 mensen worden in 2 willekeurige
groepen verdeeld , 25*2 50 data punten)
• Homogeniteit: alleen mensen gebruiken die homogeen zijn met betrekking tot
de verstorende variabele.
uitsluiten van mensen die ziek zijn, bevindingen kunnen niet gegeneraliseerd
worden naar degenen die het meest behoefte heeft aan de interventie.
• Stratificatie / Blokkering: gerandomiseerd blokontwerp (mannen en vrouwen
worden afzonderlijk toegewezen aan behandelingsgroepen)
• Matching: =Pair matching: informatie van mensen worden gebruikt om
vergelijkbare groepen te creëren.
moeilijk, want dan moet je op voorhand de confounders weten.
Oplossing: propensity matching: het vreëren van een propensity score die de
voorwaardelijke kans op blootstelling aan een behandeling vastlegt.
• Statistische controle: analyse van covariantie verwijdert statistisch het effect
van verstorende variabelen op de uitkomst.
1.3 Evaluation of control methods
De voor-en nadelen van de 6 controlemechanismen.
randomisatie is de meest effectieve methode voor het beheren van
verstorende variabelen.
Crossover is een nuttige aanvulling op de randomisatie, maar zijn niet altijd
geschikt.
overige: nadelen, onderzoekers moeten vooraf de relevante verstorende
variabelen kennen en kunnen ze zelden allemaal beheersen.
2
Research
1. Validity and Inference
1.1 Types of validity
Studievaliditeit = de mate waarin passende conclusies kunnen worden
getrokken (over oorzaak-gevolg relaties).
→ Introduceer ontwerpelementen om potentiële bedreigingen voor de validiteit
te minimaliseren
• Statistische conclusie validiteit
= de validiteit van gevolgtrekkingen dat er werkelijk een empirische relatie of
correlatie bestaat tussen de veronderstelde oorzaak en het gevolg.
• Interne validiteit
= validiteit van gevolgtrekkingen dat, aangezien er een empririsch verband
bestaat, het de onafhankelijke variabele is, en niet iets anders die de uitkomst
heeft veroorzaakt.
• Constructvaliditeit
= validiteit van gevolgtrekkingen van de waargenomen personen, instellingen en
oorzaak-en gevolgoperaties die in het onderzoek zijn opgenomen tot de
constructies die deze instanties zouden kunnen vertegenwoordigen.
mate waarin een interventie een goede representatie is van het onderliggende
construct waarvan werd aangenomen dat het gunstige resultaten zou kunnen
veroorzaken.
• Externe validiteit
= zullen gevolgtrekkingen over waargenomen relaties gelden voor variaties in
personen, setting of tijd.
Veel van deze validiteitsbedreigingen zijn het gevolg van onvoldoende controle
over de verstorende variabelen.
1.2 Controlling confounders
Confounders: verstorende variabelen.
Confounding kenmerken van deelnemers = kenmerken die zouden kunnen
concurreren met de onafhankelijke variabele als oorzaak van een uitkomst (=
1
, typisch het basisniveau van de uitkomst, belangrijke demografische variabelen,
gezondheidsindicatoren)
6 methoden om kenmerken van deelnemers/confounding te beheersen:
• Randomisatie: groepen gelijk maken met betrekking tot de verstorende
variabele met betrekking tot alle mogelijke bronnen van verwarring.
Om individuele kenmerken te beheersen
• Crossover: gelijkwaardigheid tussen groepen die worden vergeleken en de
deelnemers dienen als hun eigen controle.
Er zijn minder deelnemers nodig ( 50 mensen worden in 2 willekeurige
groepen verdeeld , 25*2 50 data punten)
• Homogeniteit: alleen mensen gebruiken die homogeen zijn met betrekking tot
de verstorende variabele.
uitsluiten van mensen die ziek zijn, bevindingen kunnen niet gegeneraliseerd
worden naar degenen die het meest behoefte heeft aan de interventie.
• Stratificatie / Blokkering: gerandomiseerd blokontwerp (mannen en vrouwen
worden afzonderlijk toegewezen aan behandelingsgroepen)
• Matching: =Pair matching: informatie van mensen worden gebruikt om
vergelijkbare groepen te creëren.
moeilijk, want dan moet je op voorhand de confounders weten.
Oplossing: propensity matching: het vreëren van een propensity score die de
voorwaardelijke kans op blootstelling aan een behandeling vastlegt.
• Statistische controle: analyse van covariantie verwijdert statistisch het effect
van verstorende variabelen op de uitkomst.
1.3 Evaluation of control methods
De voor-en nadelen van de 6 controlemechanismen.
randomisatie is de meest effectieve methode voor het beheren van
verstorende variabelen.
Crossover is een nuttige aanvulling op de randomisatie, maar zijn niet altijd
geschikt.
overige: nadelen, onderzoekers moeten vooraf de relevante verstorende
variabelen kennen en kunnen ze zelden allemaal beheersen.
2
