Hoorcollege 1 – 24 oktober 2018 – Technieken voor Causale Analyse
Centrale vraag binnen cursus: waarom is er varia(n)tie in de afhankelijke variabele(n) van
een onderzoek?
Voorbeeld: tentamencijfers – Y is examscore. Niet iedereen heeft hetzelfde cijfer. Een
wetenschapper onderzoekt de reden hierachter. Hiervoor zijn verschillende dingen te
bedenken: het aantal studie-uren, het IQ, angst/ spanning etc.
- Dit doen we ook binnen deze cursus. We benaderen variabelen en gaan vervolgens
onderzoeken door welke voorspellende variabelen een verband wordt beïnvloed. Dit
is wat je in de cursus leert: hoe analyseer je verschillende situaties in modellen?
Voorbeeld: One-Way Between-Subjects Analysis of Variance
Team waarin iemand werkt (X) → Organizational Commitment (Y).
Wanneer je een fijn team hebt, kan de organizational commitment hoger zijn dan
wanneer je een team hebt die vervelend is. Dit kan een voorspelling zijn van
organizational commitment.
Technieken die antwoord kunnen geven op deze vraag:
- One-way Between-Subjects Analysis of Variance
- Bivariate en Multiple Regressie-Analyse
- Padanalyse
- Logistische Regressie-Analyse
Technieken verschillen wat betreft:
- Het meetniveau van de afhankelijke variabele die je ermee kunt analyseren
- Het meetniveau van de onafhankelijke variabele die je kunt opnemen ter verklaring
- De complexiteit van verbanden (theorie) die je ermee kunt onderzoeken.
Meetniveaus, complexiteit theorie en analysetechnieken
Welke van de methoden gebruikt, is afhankelijk van de
manier waarop de variabelen worden gemeten.
Voorbeeld: het is afhankelijk van de manier waarop de
afhankelijke variabele wordt gemeten. Is dit een
kwalitatieve manier of een kwantitatieve?
We maken dus een verschil tussen nominale en
variabelen en ratio’s.
Ook hebben we independent variabelen. De techniek
die je gebruikt is ook afhankelijk van de manier waarop
je deze meet.
Complexiteit van verbanden
1
,Analysis of variance
1. Logica van de analyse van variantie
One-Way Between-Subjects Analysis of Variance
Inhoudelijke hypothese: de mate van organizational commitment (Y)
is afhankelijk van het team waarin iemand werkt (X).
- De variabele “team waarin iemand werkt” is nominaal. Dit
komt doordat er verschillende teams zijn. Je zit in A, B of C.
- De variabele “organizational commitment” is een interval
variabele. Denk hierbij aan de Likert-schaal: het kan hierop
gerangschikt worden.
- Kijken in diagram: welke techniek gebruiken we?
Wanneer er een model gepresenteerd wordt, moet je dus altijd kijken wat het
meetniveau van de variabelen daadwerkelijk zijn. Dit is iets wat je zelf moet kunnen
doen aan het eind van de cursus.
Vraag: als hypothese juist is, wat zou je dan moeten vinden met betrekking tot gemiddeld
commitment tussen teams?
Hypothese: de mate van organizational commitment hangt af van de team waarin iemand
werkt.
- Je bent niet geïnteresseerd in de individuele scores, maar in de individuele teams. Je
gaat dus kijken naar de gemiddelde scores van groepen.
- Je gaat kijken naar de gemiddelde scores. Centrale vraag: is er verschil tussen de
gemiddelde scores? Als we het simpel bekijken, zeggen we: natuurlijk is er een groot
verschil in samples. De hoofdvraag hierin is: is er een significant verschil? Een
‘gewoon’ verschil is namelijk niet goed genoeg voor de statistiek.
- De verschillen zijn aanwezig. De variantie in groep 1 is groter dan in groep 2. Dit
betekent dat de groepsleden van groep 1
meer verschillen binnen de groep is dan in
groep 2. Gebaseerd op deze scenario’s: waar
is het sterkste verschil tussen de groepen? Dit
is groep 2. We zien relatief kleine verschillen
tussen de groepen. Grote verschillen tussen
de groepen zorgen ervoor dat de gemiddelde
waarde geen goede voorspeller is van wat er
gebeurt binnen de groep.
- We moeten op zoek gaan naar een statistiek
die meet wat er gebeurt tussen de groepen en
binnen de groepen.
Stel we hebben data verzameld met meting van organizational commitment bij drie teams
- Twee scenario’s wat betreft de data…
- Bij welk van beide data-scenario zou je eerder concluderen dat er een verband
bestaat tussen het team waarin men werkt en organizational commitment?
o Scenario 2.
- Idee achter variantie analyse is het volgende: indien er twee of meer groepen zijn,
kunnen we dan een uitspraak doen over mogelijke (significante) verschil tussen de
gemiddelden van de groepen?
Fundamenteel principe van ANOVA:
ANOVA analyseert verhouding van de twee componenten van totale varia(n)tie in de data –
tussengroepvariantie en binnengroepvariantie:
- We kijken naar twee verschillende dingen. We kijken naar verschillen tussen
groepen: dit is de variantie of standaardvariatie.
2
, We willen hier informatie over die relatief is aan informatie van varianties binnen
groepen. Het is als kijken in twee directions.
Het is dus de combinatie van de variaties: tussengroepvariantie en
binnengroepvariantie.
- Basisidee van de analyse van variantie is dat we altijd hopen grote
tussengroepvariantie is en een kleine binnengroepvariantie. Via deze wijze kun je
onderscheid maken tussen de groepen en heb je groepen die zich ook zo gedragen,
en die niet onderling enorm veel verschillen. Er wordt dus gehoopt op een groot
verschil tussen gemiddelde waarden van groepen en een klein verschil binnen de
waarden van de groepen, zodat ze zich ook daadwerkelijk gedragen als groepen.
- Waarbij tussengroepvariantie systematische verschillen tussen groepen én alle
andere variabelen die van invloed zijn op Y (‘residual variance’ of ‘error’) meet en
- Binnengroepvariantie invloed van alle andere variabelen die van invloed zijn op Y
(‘residual variance’ of ‘error’) meet.
Statistische nulhypothese voor One-Way Between-Subjects ANOVA:
Gemiddelden van k populaties waarmee groepen in de studie corresponderen zijn allemaal
aan elkaar gelijk:
Intermezzo
We hebben drie groepen.
- M1: 2.8
- M2: 10.4
- M2: 5.4
- My = 6.2 (= gemiddelde score)
In theorie zijn dit random samples die van wel/ niet van verschillende populaties afkomen.
Als je kijkt naar de populatie, wat is dan de nulhypothese?
- H0: er is geen verschil tussen de groepen.
H1: er is verschil tussen de groepen.
- → Deze manier van redeneren is incorrect. Deze hypothese
beweert dat de H1 verschilt van H2 en H3, dat H2 verschilt van H3, H1 verschilt van
H2 en van H3 etc. Alles verschilt significant. Dit hoeft niet waar te zijn! Het enige wat
je zegt: er hoeft maar een simpel verschil te zijn.
Het enige wat je kunt zeggen voor je alternatieve hypothese is dat H1 is niet de
nulhypothese. Er is op zijn minst één verschil.
Hoe testen we de nulhypothese?
Je zoekt naar verschillen tussen groepen, dus kun je twee groepen tegelijk testen.
Hier is een probleem mee! We zoeken naar significante
verschillen tussen deze groepen. Dit is toch wat je wil? Ja en
nee. Als we dit testen, dan is dit drie keer een T-Test.
Als je kijkt naar de eerste, zie je dat de T-Test gebruikt wordt.
Waarom liever Oneway Between-S ANOVA en niet allemaal losse t-toetsjes voor
gemiddelden?
- In ons voorbeeld met drie teams zouden we ook drie afzonderlijke t-toetsen voor
gemiddelden kunnen uitvoeren:
- Probleem van deze aanpak: hoe groter het aantal toetsen dat wordt uitgevoerd op
een dataset, des te groter dat we de nulhypothese verwerpen terwijl deze juist is
(Type I fout).
- Type 1 fout: de waarschijnlijkheid dat we een nulhypothese afwijzen gegeven het feit
dat de nulhypothese eigenlijk waar is.
3
, - Waarom? Volgt uit logica van hypothesetoetsing: we verwerpen de nulhypothese als
een resultaat uitzonderlijk is, maar hoe meer toetsen we uitvoeren, des te
eenvoudiger het is om uitzonderlijke resultaten te vinden.
- Men maakt dus makkelijker de fout om te concluderen dat er een effect is, terwijl het
er niet is.
- Dit heet: ‘inflated risk of Type I error’
Wanneer je C testen uitvoert, dan zal de totale ∝ gelijk zijn aan de inflated risk of
Type I error.
o Berekening: ∝: 1 – (1 - ∝)c
Formule voor berekening op kans op 1 of meer Type 1 fouten bij een reeks van C toetsen
met significantieniveau ∝: 1 – (1 - ∝)c
- Dus bij drie afzonderlijke toetsen met steeds ∝ = 0.05 is de kans om onterecht de
nulhypothese te verwerpen:
- Oplossing: One-Way ANOVA → één Enkele omnibus toets voor de nulhypothese
dat de gemiddeldes van K populaties aan elkaar gelijk zijn, waarbij kans op Type 1
fout = 0.05.
Voorbeeld – Sum of Squares hoorcollege:
Deze houden we aan. We kunnen aantonen dat de “totale type 1” gelijk
is aan 1-(1-0.5)3 = 0.143 (ongeveer 14%).
14 van de 100 conclusies zouden dus fout zijn. Als je later consultant
bent, en zegt: ik denk dat je je organisatie compleet moet herorganiseren, maar ik kan het
fout hebben (en maar liefst 14 van de 100 keer)! Daarom zijn we altijd angstig voor wat er
gebeurt wanneer je meerdere testen doet.
- De kans op het maken van fouten stijgt. Dit is dus niet handig om te doen.
- Wat willen we dan wel?
o We willen één test met ∝=0,05 en dat is wat ANOVA doet.
In plaats van het doen van meerdere testen, hebben we één test met een ∝
van 0.05.
We beschikken over deze getallen. We zijn nog steeds op zoek naar verschillen. Je zoekt
dus naar verschillen tussen en binnen groepen. Je kunt dit doen door te kijken naar deviatie.
- Deviatie: iemand heeft een score en het is het verschil tussen iemands score en de
gemiddelde waarde van de totale groep.
Voorbeeld: iemand scoort een 9, de overall score is 7.
Deviatie = 9 – 7 = + 2.
- Yij – My = derde persoon van eerste groep.
Y = 3, My = 6.2
3 – 6.2 = -3.2
- Deze persoon scoort dus 3.2 punt lager dan het gemiddelde van de groep.
Een andere manier om erna te kijken: er is verschil in de deviatie tussen groepen. Dit
betekent dat we kijken naar een bepaalde groep die vergeleken wordt met het totale
gemiddelde.
- Mi – My = M1 – My
- 2.8 – 6.2 = -3.4
De groep zit dus beneden de gemiddelde commitment.
De derde manier: de methode binnen groepen. Deze wijken af van het gemiddelde van hun
groep.
- Yij – Mi
- 3 – 2.8 = 0.2
De persoon zit dus 0.2 boven het gemiddelde van zijn eigen groep.
4
,We kunnen aantonen dat 1 verschillend is aan 2 en drie.
- (1) = (2) + (3)
- -3.2 = -3.4 + 0.2
Dit is een voorbeeld van ANOVA. Het is een belangrijk onderdeel, want nu kun je zeggen:
totale deviatie = tussen groepen + binnen groepen.
Probleem
Hier zit echter een probleem aan. Je wil een totale meetmethode, waarin iedereen betrokken
wordt. Wat is het verschil als je gebruik maakt van deviatie-scores?
- Deviatie werkt erg goed, maar er is één probleem. Je kunt zeggen: je wilt de totale
deviatie, dus ga je ze optellen. Echter, de som van deviaties is altijd nul!
- Dit komt doordat je positieve en negatieve deviaties hebt.
Het is allemaal gebaseerd op de gemiddelde waarde. De
hoeveelheid positieve en negatieve deviatie is even groot,
waardoor het altijd nul is.
- Dus: je hebt positieve en negatieve deviatie. De plus en de min worden samen
opgeteld tot 0. Laten we daarom de sum of square deviaties.
o Je neemt de deviaties en neemt daaruit de squared value. De sum of squares
deviaties is meer dan 0.
o Conclusie: in plaats van het gebruiken van de sum of
deviations, neem je de sum of squares of deviations
(SS). Dit is zeer fundamenteel!
Dus:
Echter: dit is nog stééds geen variantie!
Variantie: iemands score – gemiddelde waarde / n – 1
Het vervelende hieraan is dat er een andere naam aan zit: de mean sqaures
(= MS).
1. In plaats van kijken naar de SS tussen groepen, kun je zeggen:
als we gedeeld door de df tussen groepen, krijgen we
uiteindelijk de Mean Square Tussen
o K = het aantal groepen.
2. Nu gaan we kijken naar de Mean Square Binnen groepen.
3. Stel: we hebben drie groepen met géén significant verschil.
De nulhypothese zal niet verworpen worden.
De relatie tussen tussen en binnen is meer gelijkwaardig.
o De nulhypothese wordt opnieuw opgesteld: de
nulhypothese zal zeggen – de variantie tussen en de
variantie binnen is ongeveer hetzelfde.
o De alternatieve hypothese zegt: er is écht verschil tussen
groepen. Als dit waar is, dan zal Tussen groter zijn dan
Binnen.
5
,Er is een reden waarom het de analyse van varianties wordt genoemd. Dit komt omdat het
eigenlijk een variantie is van twee verschillende varianties: tussen en binnen.
- Teststatistic: F-verdeling.
Je hebt twee varianties. Je F-verdeling is de sample variantie van
groep 1 gedeeld door de sample variantie van groep 2.
- In ons geval: onze test statistic zal anders zijn, omdat we andere
tekens gebruiken. Het concept is dus precies hetzelfde als de F-
verdeling, alleen worden er anderen tekens gebruikt omdat het
over varianties gaat!
Voorbeeld: de MST = 74.6, de MSB = 11.6.
F = 74..6 = 6.4.
- Dit betekent dus F is gelijk aan 6.4. Is dit een grote waarde?
Wat we hiermee kunnen doen, is kijken naar de F-distribution.
o Het is een probability distribution.
Het totale gebied onder de cure is gelijk aan 1.
o We hebben twee df, namelijk df1 en df2.
▪ Df1 = dfT = k – 1
▪ Df2 = dfB = N – k
In dit voorbeeld zitten 15 mensen. Df2 = 15 – 3 = 12.
- De grafiek start altijd bij nul en kan niet negatief zijn! Dit komt omdat men spreekt
over het ratio tussen twee varianties, namelijk MST en MSB. Een variantie is altijd
positief en als je deze deelt door elkaar, krijg je ook een positief getal als uitkomst. Je
begint altijd bij 0 en het is oneindig.
- Vervolgens is de vraag: is het directional/ richting of non-directional/ geen richting?
Je moet kijken naar wat je wil. Het is tussen / binnen. Wil je kleine of grote waarden?
Liever groot! We hopen dat de varianties tussen groepen groter zal zijn dan de
variantie binnen groepen.
o We willen een grote waarde. Daarom gaan we alfa niet
links gebruiken. Dan gaat hij namelijk richting de 0, dus
krijgt het ook zeer kleine F-waarden.
o In dit geval is het dus logisch om de gehele alfa op rechts
te zetten. Je maakt daarmee een directional test.
▪ Je moet nagaan wat je in deze case wil: grote
waarden. Het enige wat je dan moet doen is
zoeken naar de F critical value.
▪ Opzoeken in de tabel. Hier komt 3.88 uit.
F = 6.4, Fcv = 3.88.
De F-value ligt rechts van de critical value. Er is
een grote waarde en de nulhypothese zal
verworpen worden.
o Conclusie: H0 wordt verworpen want niet alle gemiddelde scores binnen
organizational commitment zijn hetzelfde.
Rekenen: Sums of Squares slides
Als we met een ANOVA de statistische nulhypothese willen toetsen, dan
wordt daarvoor de F-verdeling gebruikt.
- Om te bepalen of een bepaald steekproefresultaat uitzonderlijk (‘significant”) is
(onder de aanname dat de statistische nulhypothese juist is), moet een test-statistic
F (toetsingsgrootheid F) worden berekend.
- Hoe doe je dit? Eerst ‘droog formulewerk’, daarna inhoudelijk rekenvoorbeeld.
6
, Strategie: opsplitsen van scores in componenten.
- Component van score wel geassocieerd met ‘groep’
- Component van score niet geassocieerd met ‘groep’.
Hoe doe je dat? Bereken de deviatiescores
1. Deviatie van score van individu t.o.v. algemene gemiddelde:
2. Deviatie van score van individu t.o.v. groepsgemiddelde:
3. Deviatie van groepsgemiddelde t.o.v. algemene gemiddelde:
o wordt ook wel ‘effect van groep i’ genoemd.
Illustratie:
Voorafgaande formule heeft betrekking op één enkele
observatie.
- Om informatie van deviatiescores samen te
vatten over alle respondenten in de dataset
wordt elke afzonderlijke deviatie
gekwadrateerd (waarom?) en worden de
gekwadrateerde deviaties gesommeerd over
alle observaties en alle groepen in de dataset,
zodat geldt:
o SS = Sum of Squares
(‘kwadratensom’)
De F ratio test statistic is een ratio van twee verschillende Mean Squares,
MS, waarbij in het algemeen: Mean Squares = Sum of Squares/df:
- Met k = aantal groepen en N = totaal aantal observaties.
Bepaal hoe deze waarde van de test statistic F ligt in de F-verdeling
ten opzichte van de critical F-value behorend bij significantieniveau ∝
- Dit was het ‘droge formulewerk’, nu de toepassing:
Rekenvoorbeeld:
Data van scenario 1 uit het voorbeeld;
Stap 1: bereken SSbetween, SSwithin en SStotal
7
, Stap 2: Bereken MSbetween door SSbetween te delen door de bijbehorende df, k-1
Stap 3: Bereken MSwithin door SSwithin te delen door de bijbehorende df, N-k
Stap 4: Bereken F-ratio test statistic: MSbetween / MSwithin
Stap 5: Vergelijk de waarde van F ratio test statistic met kritieke F waarde en bijbehorende df
(gewoonlijk bij ∝ = 0.05) en trek een conclusie.
Assumpties van One-Way Between-S ANOVA
1. Kwantitatieve afhankelijke variabele van interval/ ratio meetniveau; onafhankelijke
variabele heeft nominaal meetniveau.
2. In hele steekproef en binnen elke groep zijn scores van afhankelijke variabele bij
benadering normaal verdeeld – checken door maken van grafiek.
3. Geen outliers/ uitschieters
o Probleem: stijging van de variantie én stijging van het gemiddelde, waardoor
het geen duidelijke reflectie meer vormt van de groep.
4. Variantie tussen scores van afhankelijke variabele zijn bij benadering gelijk tussen
groepen (homogeneity of variance assumption) (scenario 2 in plaatje)
o Probleem te veel variantie: meer variantie binnen dan tussen groepen.
o Toetsen met Levene’s Test (homogeinity of variances).
5. Onafhankelijke waarnemingen: zowel tussen als binnen groepen.
o Tussen: je mag slechts in één groep zitten. De scores zijn daardoor
onafhankelijk van elkaar.
o Binnen: scores mogen niet gerelateerd worden aan elkaar – onafhankelijk.
Hier is geen test voor. Dit kun je zelf uitzoeken door te kijken naar design en wat er
gebeurt. Probleem bij bijvoorbeeld echtgenoten in één groep.
Assumpties moeten altijd gecheckt worden! Wanneer je de meeste assumpties namelijk
schendt en doorgaat met je analyse en varianties, dan heb je geen duidelijke manier om uit
te leggen wat de outcome betekent.
Effect size
Effect size: is het verschil groot/ belangrijk?
Bij grote samples blijkt alles significant verschillend te zijn. Het is dus afhankelijk van de
grootte van je sample size.
- Voor iedere test zul je deze nodig hebben.
- Is vraag naar proportie verklaarde variantie: welk deel (proportie) van de variantie van
de afhankelijke variabele kan verklaard worden vanuit het feit dat er verschillende
groepen zijn (onafhankelijke variabele)?
Significant bij p-waarde (n2 < ∝ ) betekent: 2 of meer groepen zijn niet gelijk aan elkaar.
- Maat voor effect size in ANOVA literatuur:
- Richtlijnen Cohen (1988)
o Small: .01
o Medium: .059
o Large: .138
- Dus in dit geval is het effect ‘huge’.
- Causale interpretatie afhankelijk van onderzoeksdesign en/ of theoretische
aannames.
8
