Samenvatting ARIA
Statistiek
Validiteiten:
-A&A (Auditing & Assurance): interne validiteit: discussie over oorzakelijke verband.
Interne validiteit is de mate waarin je met zekerheid kunt stellen dat een vastgestelde
oorzaak-gevolgrelatie niet door andere factoren kan worden verklaard. Als de interne
validiteit hoog is, is het aannemelijk dat de gevonden causale relatie tussen je onafhankelijke
variabele en afhankelijke variabele daadwerkelijk aanwezig is.
De interne validiteit is van groot belang bij experimenteel (en quasi-experimenteel)
onderzoek, omdat je zeker wilt weten dat jouw manipulatie van de onafhankelijke variabele de
verandering in de afhankelijke variabele heeft veroorzaakt. Je resultaten zijn pas valide als je
andere mogelijke oorzaken hebt uitgesloten.
Stappenplan interne validiteit (kan in tentamen komen):
1. Geef / herken / benoem / definieer de theorie (in het artikel staat het meestal in
abstract en onder theoretical background).
2. Onderbouw:
a. Wat is de betekenis voor de validiteit?
b. Wat is het theoretisch onderbouwd oorzakelijke verband (causaliteit)?
c. Onderbouwd met meting?
3. Evaluatie: zit er logica achter?
A&A onderzoek gaat over een theorie.
-BIV (Bestuurlijke Informatie Verzorging): construct validiteit: discussie over UTOS; wordt er
gemeten wat er gemeten moet worden?
Construct validiteit geeft aan in welke mate het instrument meet wat je wilt meten. Meet
het instrument het bedoelde begrip volledig, gedeeltelijk of meet het (deels) iets anders?
Dit toets je door:
te controleren of constructen die zouden moeten samenhangen ook daadwerkelijk
samenhangen (convergente validiteit).
o Voorbeeld: Je wilt een aardrijkskundetoets afnemen bij scholieren om hun
aardrijkskundige kennis te toetsen. Het is een nieuw type vragen, dus je weet
niet zeker of je het construct “aardrijkskundige kennis” goed meet.
Je onderzoekt de correlatie tussen de resultaten van de aardrijkskundetoets en
die van andere aardrijkskundetoetsen. De samenhang is sterk, dus je
concludeert dat de begripsvaliditeit hoog is.
te controleren of constructen die niet zouden moeten samenhangen ook daadwerkelijk
niet samenhangen (discriminante validiteit).
o Voorbeeld: Je wilt een scheikundetoets afnemen bij scholieren om hun
scheikundige kennis te toetsen. De toetsvragen zijn erg lang met veel tekst,
waardoor het zo zou kunnen zijn dat je niet alleen scheikundekennis meet,
maar ook de leesvaardigheid.
Je onderzoekt de correlatie tussen de resultaten van de scheikundetoets en die
van een leesvaardigheidstoets. De resultaten correleren, waardoor je kunt
, vaststellen dat je niet alleen de scheikundevaardigheden hebt gemeten. De
begripsvaliditeit is dus laag.
BIV onderzoek wordt vaak toegepast op een kwalitatief case study.
Kwantitatieve dataverzameling en -analyse richt zich op numerieke data (getallen) en
statistiek, terwijl bij kwalitatief onderzoek wordt gefocust op woorden en betekenissen.
Voorbeelden:
- Kwantitatieve data worden uitgedrukt in getallen, tabellen, grafieken en diagrammen.
Dit type onderzoek wordt gebruikt om theorieën en hypothesen te bevestigen of te
verwerpen. Kwantitatief onderzoek kan worden ingezet om feiten te verzamelen die
kunnen worden gegeneraliseerd naar een grotere populatie.
Veelgebruikte kwantitatieve dataverzamelingsmethoden zijn experimenten,
kwantitatieve observaties en enquêtes met gesloten vragen.
- Kwalitatieve data hebben vaak de vorm van woorden. Dit type onderzoek wordt
gebruikt om concepten, gedachten of ervaringen te begrijpen. Met kwalitatief
onderzoek kun je inzicht verkrijgen in onderwerpen waar nog weinig kennis over is.
Veelgebruikte kwalitatieve dataverzamelingsmethoden zijn interviews met open
vragen, kwalitatieve observaties en literatuurstudies over concepten of theorieën.
Bij een kwalitatief onderzoek kan geen causaliteit bewezen worden, omdat het is niet mogelijk
om een correlatie te berekenen. In dat geval ga je zoeken naar plausibiliteit (als het
geloofwaardig klinkt).
Een case study is een gedetailleerd onderzoek naar een specifiek onderwerp, zoals een
persoon, groep, plaats, gebeurtenis, organisatie of fenomeen. Voor het onderzoeksontwerp
van een case study worden vaak kwalitatieve, maar soms ook kwantitatieve
dataverzamelingsmethoden gebruikt. Met een case study kun je verschillende aspecten van
een probleem beschrijven, vergelijken, evalueren of begrijpen. Een case study is een
,geschikte onderzoeksmethode als je concrete, contextuele en diepgaande kennis wilt
vergaren over een specifiek onderwerp (oftewel een case). Met deze methode kun je de
kenmerken, betekenissen en implicaties van een case achterhalen.
Bij BIV onderzoek wordt vaak meta data gebruikt.
Metadata zijn gegevens die de karakteristieken van bepaalde gegevens beschrijven. Het zijn
dus eigenlijk data over data. De metadata bij een bepaald document (de gegevens) kunnen
bijvoorbeeld zijn: de auteur, de datum van schrijven, de uitgever, het aantal pagina's en de
taal waarin de gegevens zijn opgesteld.
-EV (Externe Verslaggeving): externe validiteit: discussie over generaliseerbaarheid.
Externe validiteit is de mate waarin je de resultaten van je onderzoek kunt generaliseren
naar andere omstandigheden en groepen. In andere woorden: zijn je resultaten te
generaliseren naar een bredere context? Het doel van wetenschappelijk onderzoek is om
generaliseerbare kennis over de echte wereld te verzamelen.
EV onderzoek gaat vaak over invloed van wet- en regelgeving.
Conceptueel model: Een conceptueel model is de visuele weergave van de verwachte
oorzaak-gevolgrelatie tussen onafhankelijke en afhankelijke variabelen, eventueel met de
toevoeging van modererende variabelen, mediërende variabelen en controlevariabelen.
X
Beïnvloedt Y
Independent
Dependent variable
variable
Variabelen: een factor of eigenschap van een onderzoeksobject die kan worden
gemanipuleerd en/of gemeten. Bij experimenteel onderzoek is het selecteren van je
variabelen een essentiële stap. Je variabelen bepalen namelijk welke statistische toetsen je
kunt gebruiken.
Correlatie: Correlatie geeft de mate van samenhang
tussen twee variabelen weer, ofwel in hoeverre twee
variabelen elkaar beïnvloeden. De correlatie wordt
uitgedrukt in de correlatiecoëfficiënt . De waarde van
de correlatiecoëfficiënt ligt altijd tussen -1 en +1. Met
de correlatiecoëfficiënt kun je de verbanden tussen de
onafhankelijke en de afhankelijke variabelen in je
conceptueel model testen. Voor het berekenen van de
correlatiecoëfficiënt kun je twee toesten gebruiken,
namelijk ‘Pearson’s r’ en ‘Spearman’s r’.
Je kunt correlatiecoëfficiënt als volgt interpreteren:
, Correlatie duidt slechts op een samenhang en niet op een oorzakelijk verband
Correlatie kan twee reeksen metingen zijn of ook mogelijke waarde van twee toevals
variabelen. In het laatste geval spreekt men meestal van een spurious correlation.
Pearson’s r is de meest gebruikte correlatiecoëfficiënt. Pearson’s r meet lineaire correlatie
en kan gebruikt worden wanneer de variabelen op een continue schaal (‘scale’) gemeten
worden, zoals gewicht en lengte. Pearson’s r testen alleen of er een lineair verband bestaat
tussen twee variabelen. Een gebrek aan correlatie betekent echter niet dat er geen enkel
verband bestaat tussen de variabelen.
Elke statistische toets is gebaseerd op een aantal aannames over de data waarop je de toets
wil uitvoeren. Zo heeft de Pearson correlatietoets vier assumpties, namelijk:
1. Dat beide variabelen continu zijn;
2. Dat er een lineair verband bestaat tussen de variabelen;
3. Dat de variabelen normaal verdeeld zijn;
4. En dat de variabelen geen outliers hebben.
Als geconstateerd moet worden dat er geen sprake is van een normale verdeling van (een van
de) variabelen kun je overwegen correlaties te berekenen met de Spearman’s rank test.
Spearman’s r kan gebruikt worden wanneer variabelen op de ordinale schaal gemeten
worden zoals een 5-puntsschaal van ‘zeer mee oneens’ tot ‘zeer mee eens’.
Causaliteit: een verandering in de
ene variabele de verandering in de
andere variabele veroorzaakt. Er is
dus een oorzaak-gevolgrelatie tussen
variabelen. De twee variabelen zijn
gecorreleerd én er is sprake van een
causale relatie.
Een correlatie impliceert dus geen
causaliteit, maar causaliteit impliceert wel altijd een correlatie. Er zijn twee redenen waarom
een correlatie niet hetzelfde is als causaliteit.
-Het eerste probleem is de derde variabele (third variable problem). Dit betekent dat een
confounding variabele beide variabelen beïnvloedt, waardoor er een causale relatie lijkt te
bestaan die er niet is. Een confounding variabele valt onder externe variabelen. Dit type
beïnvloedt niet alleen de afhankelijke variabele, maar is ook gerelateerd aan de
onafhankelijke variabele. Met andere woorden, deze variabelen beïnvloeden de output van
