Hoorcollege 1: Metingen in voedingsonderzoek: validiteit en reproduceerbaarheid
Validiteit en reproduceerbaarheid
Validiteit = meet ik wat ik daadwerkelijk wil meten. In hoeverre meet een instrument het construct wat
het beoogt te meten.
Reproduceerbaar = als je de meting herhaalt, dan krijg je ongeveer hetzelfde resultaat. De mate
waarin herhaalde metingen bij (onveranderde) personen hetzelfde resultaat geven.
1. Test – retest, twee keer meten en dan kijken of ze ongeveer gelijk zijn.
2. Intra-rater, kijken of je zelf een meting nog een keer hetzelfde kunt doen, hoe reproduceerbaar
ben je zelf?
3. Inter-rater, hoe is de reproduceerbaarheid tussen de verschillende personen die de meting
uitvoeren?
4. Interne consistentie, gebruik maken van verschillende sets van items uit de zelfde multi-item
set.
Synoniemen voor reproduceerbaarheid = betrouwbaarheid, precisie, overeenstemming.
Als een meting niet valide is, dan betekent dat het om een systematische fout gaat. Als de meting niet
reproduceerbaar is, dan is er sprake van een toevalsfout.
Herhaalde metingen zijn zinvol bij een slechte reproduceerbaarheid.
Vormen van validiteit
Content validity (inhoudsvaliditeit): inhoud meting is ongeveer het te meten construct. Op te
delen in:
o Face validity : eerste (subjectieve) indruk.
o Content validity: indruk van inhoud, meer in detail (bijvoorbeeld expert panel).
Criterium validiteit: je eigen meetinstrument vergelijken ten opzichte van de gouden
standaard.
o Concurrent validity: gouden standaard op hetzelfde moment. Bijvoorbeeld totaal
energieverbruik meten met activiteitenmeter en vergelijken met de gouden standaard.
o Predicitve validity: gouden standaard in toekomst. Bijvoorbeeld een risicoprofiel
opstellen en dan nagaan hoe goed je sterfte kunt voorspellen met dit risicoprofiel.
Construct validiteit: er is geen gouden standaard, vergelijken van resultaten van
meetinstrument met resultaten van soortgelijke meetinstrumenten. Hierbij stel je vooraf
hypothesen op en zeg je van tevoren wanneer je jouw meetinstrument valide zou vinden.
Methoden voor validiteit/reproduceerbaarheid
Scatterplot en correlatiecoëfficiënt
- Sterkte van een lineair verband tussen twee variabelen.
- Zit altijd tussen de 0 en 1, waarbij 1 het meest sterke lineaire verband is.
- Y-as de gouden standaard.
- Maak altijd een scatterplot, want dat maakt de uitbijters of fouten zichtbaar.
Nadeel van de correlatiecoëfficiënt:
- Je haalt de toevalsfouten en de systematische fouten er niet uit. Je kunt een hele hoge
correlatie hebben, maar het ‘lijntje’ kan wel continu te hoog zijn. De lijn van de scatterplat moet
door 0 gaan. Er kan sprake zijn van elke keer + 10 meten of elke keer x2 meten. Dat is beide
niet goed.
Brand and Altman plot
Systematische meetfout en mate van overeenstemming.
Voorbeeld validiteit: vezelinname vergeleken via twee gemeten methoden. X-as gemiddelde van twee
methoden en op y-as het verschil tussen de twee methoden. Als alle punten op de 0-lijn liggen dan is
er totaal geen verschil. Het gemiddelde verschil is de systematische meetfout. De andere twee lijnen
liggen op +1,96 en -1,96 SD en geven de spreiding aan van het verschil. Hoe dichter de lijnen naar
het midden liggen, hoe kleiner de toevalsfout is (95% limits of agreement). Limits of agreement moet
je in perspectief zien ten opzichte van het gemiddelde.
- Het kan zijn dat er een meetinstrument is wat in de lage inname een goede validiteit heeft
(punten dichtbij de nullijn) en dat er bij een hoge inname een slechte validiteit (punten liggen
ver uit elkaar).
,Variatiecoëfficiënt
Geeft de mate van spreiding meer van je metingen. Wordt alleen gebruikt voor de
reproduceerbaarheid. Je ziet het vaak bij bloedbepalingen.
= een relatieve spreidingsmaat = gemiddelde spreiding van metingen gerelateerd aan het gemiddelde
van alle metingen. Het is een percentage.
VC = gemiddelde SD / overall gemiddelde
Gemiddelde SD kun je berekenen door middel van de variantie, variantie is SD 2. Gemiddelde SD kun
je berekenen door alle gekwadrateerde SD’s op te tellen en te delen door het aantal SD’s.
Voorbeeld cholesterolinname:
- Allereerst 10% van het gemiddelde nemen. Dat is 14 mg.
- Er is geen systematisch verschil, dus daar ligt het niet aan. Maar de 14 mg valt binnen de
limits of agreement en kan dus een toevallige fout zijn.
,De Vet Hoofdstuk 5 Reliability
Reproduceerbaarheid/betrouwbaarheid = de mate waarin een meting vrij is van metingsfouten. En de
volledige definitie is de mate waarin scores van patiënten die niet veranderd zijn, bij herhaalde
metingen onder verschillende omstandigheden. Herhaalde metingen kunnen variatie laten zien, die
veroorzaakt wordt door verschillende factoren, zoals meetinstrument, persoon die de meting uitvoert,
patiënt die de meting ondergaat of de omstandigheden waaronder de meting is uitgevoerd.
De geobserveerde score van een meting kan samengevat worde in de volgende formule:
Y =η+ ε
Waarbij Y is de geobserveerde score, η is de werkelijke score en ε is de error term van de meting.
Parameters voor continue variabelen
ICC = intraclass correlation coëfficients (geen leerstof).
Pearson’s r. Dit is geen sterenge parameter om de reproduceerbaarheid te bepalen. Dit heeft
te maken met het feit dat de correlatiecoëfficiënt geen rekening houdt met systematische
afwijkingen. Wanneer er alleen toevalfouten zijn, kan de correlatiecoëfficiënt een goede
parameter zijn.
Parameters voor meetfouten van continue variabelen
Standard error of measurement (SEM) – geen leerstof.
Limits of agreement, hierbij wordt een Bland and Altman plot gemaakt waarin de gemiddelde
score van twee beoordelaars geplot wordt tegenover het gemiddelde verschil op de y-as. De
lijn laat dan het gemiddelde systematische verschil tussen de twee beoordelaars zien. De
twee lijnen boven en onder de gemiddelde lijn, zijn de limits of agreement en zitten op +/- 1,96
x SD. De gemiddelde lijn is de systematische error en de limits of agreement zijn de toevallige
fouten. Een belangrijke aanname bij de Bland and Altman methode is dat de verschillen
tussen de beoordelaars niet veranderen wanneer de gemiddelde waarden toenemen. Soms is
het mogelijk om de data te transformeren dat de getransformeerde data voldoet aan de
assumptie van een constante SD van het verschil.
Variatiecoëfficiënt, wordt met name gebruikt om de betrouwbaarheid/reproduceerbaarheid van
een apparaat te bepalen wanneer vele metingen worden uitgevoerd op testobjecten in de fase
van ijking en testen. Hij wordt meestal vermenigvuldigd met 100% en weergegeven als een
percentage. Het is een passende maat wanneer de meetfout groeit in verhouding tot de
gemiddelde waarde. Kan alleen gebruikt worden bij een ratioschaal.
, Hoofdstuk 6 de Vet: Validiteit
Validiteit wordt gedefinieerd als de mate waarin een instrument daadwerkelijk meet wat het zou willen
meten. Drie verschillende typen validiteit kunnen onderscheden worden:
- Content validiteit, concentreert zich met name op het feit of de inhoud van het instrument
overeenkomt met het construct dat men wil meten.
o Face validiteit, de mate waarin een meetinstrument een adequate reflectie lijkt te zijn
van het te meten construct. Vaak gebaseerd op een eerste impressie, zonder te veel
in detail te gaan.
o Content validiteit, dit is de tweede stap na face validiteit. Het bestaat uit de volgende
stappen:
Beschouw de informatie over het construct en de situatie.
Beschouw informatie over de inhoud van het meetinstrument.
Selecteer een expertpanel.
Beoordeel of de inhoud van het meetinstrument overeenstemt met het
construct.
Gebruik een strategie of kader om de correspondentie tussen het instrument
en het construct te beoordelen.
- Criterium validiteit, wanneer er een gouden standaard is om te bepalen in hoeverre de scores
van een meetinstrument overeenkomen met de gouden standaard.
o Concurrent validitiy: De score van het meetinstrument en de gouden standaard
worden op hetzelfde moment bepaald. Voorbeeld: meten van TEE in obese
volwassenen. Dubbel gelabeld water werd gezien als gouden standaard. De RMR
werd gemeten met de indirecte calorimetrie en energieverbruik werd verder gemetne
met de Actireg. De mate van overeenstemming kan dan bepaald worden met een
Bland and Altman plot.
o Predictive validitiy: overwegen of een meetinstrument de gouden standaard in de
toekomst zou kunnen voorspellen.
- Criteriumvaliditeit bestaat uit de volgende stappen:
o Identificeren van een passend criterium en een meetmethode.
o Identificeren van een passende steekproef uit de doelpopulatie waarin het
meetinstrument uiteindelijk gebruikt zal worden.
o Definieer vooraf de vereiste mate van overeenstemming tussen het meetinstrument
en het criterium. Het is lastig om aan te geven wanneer er voldoende relatie is tussen
beide. Soms wordt gezegd vanaf 0,7.
o Verkrijg de scores van het meetinstrument en de gouden standaard, afhankelijk van
elkaar.
o Bepaal de sterkte van de relatie tussen de scores van het meetinstrument en de
criteriumscores. Door middel van bijvoorbeeld correlatiecoëfficiënt en wanneer het
meetinstrument en de gouden standaard dezelfde eenheid hebben, kan een Bland
and Altman plot gemaakt worden.
- Construct validiteit, wanneer er geen gouden standaard is, om te bepalen of een instrument
verwachte scores geeft, gebaseerd op bestaande kennis. Er zijn drie aspecten van construct
validiteit: structurele validiteit, hypothese testen en cross-culturele validiteit.
Het concept validiteit
De discussie over validiteit begon midden in de jaren vijftig. Valideren bestaat uit het testen van
hypothesen. Het issue was dus niet of het instrument meet wat het wil meten, maar of het aansluit bij
een theoretisch model.
Kennis over het construct, het is belangrijk om te rapporteren welke scores je verwacht op
basis van de kennis over het construct.
Complexiteit van het construct, een simpel construct is vaak makkelijker te valideren dan een
meervoudig ingewikkeld construct.
Afhankelijkheid van de situatie, een instrument moet opnieuw gevalideerd worden, wanneer
het gebruikt wordt in een andere situatie of voor een ander doel. Een nieuwe situatie is onder
andere een nieuwe doelgroep, een nieuwe taal, een andere vorm van administratie
(bijvoorbeeld interviews versus zelfrapportage.
Validatie van scores, niet van instrumenten: valideren focust op de scores die geproduceerd
worden door een meetinstrument en niet op het meetinstrument zelf. We kunnen dus nooit
