The goals of statistical inference (blz. 479-495)
Inferentiële statistieken zijn kansberekende technieken om onderzoekers te helpen bij het nemen van
beslissingen over de betekenis van de data en de inferenties (generalisaties) die zij met deze data
kunnen maken. Het gaat hierbij om welk deel van de resultaten door kans bepaald kunnen worden. Er
wordt gebruikt gemaakt van een steekproef waarmee we kunnen infereren naar de gehele populatie.
Een bekende techniek is Null Hypothesis Significance Testing (NHST). Er kan hiermee bepaald
worden of de resultaten statistisch significant zijn. NHST bestaat uit 4 stappen:
1. Aannemen dat er geen effect is. Dit heet de nulhypothese. Deze stelt dat er geen verband of
relatie tussen de variabelen bestaat.
2. Data verzamelen
3. Berekenen van de waarschijnlijkheid dat je dit soort resultaten krijgt als de nulhypothese waar
zou zijn
4. Beslissen of je nulhypothese wel of niet verwerpt
Het punt waarop onderzoekers beslissen dat de p-waarde te hoog is (niet verwerpen nulhypothese) of
te laag is (verwerpen nulhypothese) noemen we het alpha level. Meestal wordt uitgegaan van a = 0.05.
Er kunnen ook fouten gemaakt worden in de keuze van het wel of niet verwerpen van de nulhypothese.
Dit kan op 2 manieren:
1. Type 1 fout (false positive): er wordt aangenomen dat er in de populatie een verschil is, die er
in werkelijkheid niet is. Ook wel het onterecht verwerpen van de nulhypothese
2. Type 2 fout (miss): er wordt aangenomen dat er in de populatie geen verschil is, die er in
werkelijkheid wel is. Ook wel het onterecht niet verwerpen van de nulhypothese
Het alpha level is ook wel de waarschijnlijkheid op het maken van een type 1 fout als de nulhypothese
waar is. Dus normaal gesproken zou in 5% van alle gevallen de nulhypothese onterecht worden
verworpen. Door het verlagen van het alpha level, maak je de kans op een type 1 fout kleiner (als je
a= 0.01 ervan maakt is er dus maar 1% kans op het maken van een type 1 fout).
Het tegengaan van type 2 fouten hangt af van meerdere factoren. Power is de kans op het juist
verwerpen van de nulhypothese. Factoren die van invloed zijn op power zijn:
• Alpha level: een lager alpha level maakt het moeilijker om te nulhypothese te verwerpen. Als
de kans op een type 1 fout afneemt, neemt de kans op een type 2 fout juist toe.
• Steekproefgrootte: een grote steekproef zorgt voor meer power als er een verschil is. De kans
op een type 2 fout neemt dan dus af. Ook is bij een grote steekproef het onderzoek beter
repliceerbaar.
• Effectgrootte: een grote effectgrootte zorgt voor kleinere kans op een type 2 fout.
• Steekproef- en effectgrootte: grote steekproeven zijn nodig om kleine effectgroottes te
identificeren. Hoe kleiner de effectgrootte in de populatie, hoe grotere steekproef je nodig hebt
om de nulhypothese te verwerpen en daarmee een type 2 fout te vermijden.
• Mate van onsystematische variabiliteit: bij meer onsystematische variabiliteit is er minder
power om effecten te vinden die er in werkelijkheid zijn. Er zijn 3 soorten onsystematische
validiteit:
- Meetfouten
- Individuele verschillen
- Situationele ruis
• Statistische keuzes: sommige statistische testen maken het moeilijk om significante resultaten
te vinden en verhogen daardoor de kans op een type 2 fout. Zo heeft bijvoorbeeld een
eenzijdige toets een hogere power dan een tweezijdige toets omdat het een goed beeld geeft
van de richting van een effect
,Met een t-test wordt getoetst of het verschil in de gemiddeldes van de groepen, statistisch significant
is. Er worden 4 stappen doorlopen:
1. Het opstellen van de nulhypothese
2. Het berekenen van de t-test voor onafhankelijke groepen. De t-test helpt bij het bepalen of het
verschil in de groepen significant groter is dan 0. De t-test geeft een ratio van het verschil
tussen de 2 groepen en de hoeveelheid variantie binnen elke groep. De formule:
T = M1 – M2 / √(𝑆𝐷2 pooled/N1 + SD 2 pooled/N2)
- T is groter als het verschil tussen M1 en M2 groter is
- Hoe kleiner de variantie (SD) hoe groter t
- Hoe groter de steekproef (N), hoe groter t
3. Het berekenen van de waarschijnlijkheid van de resultaten als de nulhypothese waar is. We
vergelijken de t-waarde van de steekproef met de t-waarde als de nulhypothese waar zou zijn.
Dit wordt gedaan met een steekproefverdeling. Als de nulhypothese waar is, zal deze altijd
rondom 0 liggen hoe vaak je de steekproefverdeling ook maakt. De breedte van de
steekproefverdeling hangt af van de grootte van de steekproef. Een kleinere steekproef zorgt
voor een bredere verdeling (blz. 493). In een tabel worden de kritische waarde van t
weergegeven. Dit is de t-waarde geassocieerd met het alpha level (het punt van verwerpen).
4. Beslissen om de nulhypothese wel of niet te verwerpen. Als de t uit de steekproef groter is
dan de kritische t-waarde geassocieerd met het alpha level, dan kan de nulhypothese worden
verworpen.
Een betrouwbaarheidsinterval geeft het bereik waarin de waarde uit een populatie waarschijnlijk ligt.
Bij a = 0.05 geeft het betrouwbaarheidsinterval 95% zekerheid dat het interval de waarde van de
populatie bevat. Ze kunnen gebruikt worden om te beslissen om de nulhypothese wel of niet te
verwerpen. Als deze een 0 bevat dan verwerp je de nulhypothese niet. Daarnaast geeft het een beeld
over de precisie. Een smal betrouwbaarheidsinterval geeft meer precisie dan en breed
betrouwbaarheidsinterval.
More on experiments: confounding and obscuring variables (blz. 311-346)
Bij experimenteel onderzoek is de interne validiteit belangrijk. Mogelijke bedreigingen zijn:
• Design confounds: er is een alternatieve verklaring voor de resultaten omdat het onderzoek
niet goed in ontworpen
• Selectie effecten: er is een alternatieve verklaring voor de resultaten omdat de participanten
verschillen bij aanvang van het onderzoek
• Volgorde effecten: een alternatieve verklaring voor de resultaten kan komen door de manier
waarop de levels van de variabelen worden gepresenteerd
Een one group pretest/posttest design is een onderzoeksdesign waarbij bij 1 groep participanten
een voor- en nameting wordt gedaan. Er is dus geen controlegroep om de resultaten mee te
vergelijken. Omdat de interne validiteit heel laag zal zijn zal je niet snel dit soort experimenten
tegenkomen. Er zijn namelijk verschillende bedreigingen voor de interne validiteit. Deze worden in het
Engels gegeven, omdat ze in het college aangeven dat je deze in het Engels moet kennen).
• Maturation threat: een verandering in gedrag die spontaan plaatsvindt. We denken dat de
behandeling de verbetering veroorzaakt, maar in werkelijkheid gebeurt dit dus spontaan
(bijvoorbeeld spontaan herstel bij depressie). Dit kan worden voorkomen door het toevoegen
van een controlegroep
• History threat: een externe factor die invloed heeft op alle participanten. Dit kan een
alternatieve verklaring zijn voor de verkregen resultaten. Dit kan worden voorkomen door het
toevoegen van een controlegroep. Als zij deze verandering ook hebben, is er dus geen
behandeleffect, maar een history threat.
, • Regression threat: een statistisch concept die ook wel regression to the mean wordt
genoemd. Als bij de eerste meting het gemiddelde extreem is, zal dit de 2e keer waarschijnlijk
minder extreem zijn. Een voorbeeld hiervan is met 7-1 een voetbalwedstrijd winnen,
waarschijnlijk gebeurt dit daarna niet zo snel weer. Een ander voorbeeld is als mensen op de
voormeting heel hoog scoren op depressie, kan dit eigenlijk alleen nog maar beter worden.
Echter lijkt het dan of de behandeling zin heeft gehad. Dit kan worden voorkomen door het
toevoegen van een controlegroep.
• Attrition threat: het gaat hierbij om participanten die tussen de metingen door uitvallen. Dit
wordt een probleem voor de interne validiteit als uitval systematisch is, dus als alleen
bepaalde soort participanten uitvallen. Bijvoorbeeld bij behandeling voor overgewicht. Als
tussendoor de zwaarste mensen uitvallen, lijkt het bij de nameting alsof het gemiddelde heel
erg is gedaald, terwijl in werkelijkheid het gemiddelde zo is gezakt door het wegvallen van
deze participanten. Dit kan voorkomen worden door de voormeting van deze participanten niet
mee te nemen bij de resultaten.
• Testing threat: er verandert iets bij de participant door het afnemen van de testen i.p.v. door
de behandeling. Dit is een vorm van volgorde effect. Participanten presteren bijvoorbeeld
beter op de nameting omdat ze de meting al eerder hebben uitgevoerd. Dit kan voorkomen
worden door het toevoegen van een controlegroep of alleen het invoeren van een nameting.
Ook kan er gekozen worden om verschillende meetinstrumenten te gebruiken bij de voor- en
nameting.
• Instrumentation threat: komt door het veranderen van het meetinstrument. Bijvoorbeeld
doordat de observant gedurende de tijd kritischer leert kijken en dus anders codeert. Kan ook
komen doordat er in de voor- en nameting verschillende meetinstrumenten worden gebruikt
die niet gelijk zijn aan elkaar. Kan worden voorkomen door alleen een nameting te gebruiken
of ervoor te zorgen dat de meetinstrumenten gelijk zijn aan elkaar.
• Selection-history threat: een externe factor die alleen effect heeft op 1 conditie van de
onafhankelijke variabele
• Selection-attrition threat: er vindt uitval plaats bij slechts 1 van de 2 groepen
Veel van deze bedreigingen kunnen worden opgelost door het toevoegen van een controlegroep. Er
zijn ook bedreigingen die bij elk soort onderzoek van invloed zijn:
• Observer bias: de verwachtingen van de onderzoeker beïnvloeden de interpretatie van de
resultaten. Dit heeft invloed op de interne- en constructvaliditeit
• Demand characteristics: participanten willen dat de behandeling effectief is, waardoor ze
zich beter zullen voelen na de behandeling
Om deze 2 te voorkomen kan er een double-blind study worden gedaan. Zowel de onderzoekers als
de participant weet niet wat de controle- en de experimentele groep is. Soms is dit niet mogelijk en
wordt er gebruik gemaakt van een masked design. Hierbij weet de participant in welke groep hij of zij
zit, maar de onderzoeker niet.
Een placeboeffect vindt plaats wanneer mensen een behandeling krijgen die werkt, maar alleen
omdat zij denken dat ze een echte behandeling krijgen. Onderzoek laat zien dat placebo’s
daadwerkelijk fysieke en psychologische problemen verminderen. Om dit effect te controleren kan er
een double-blind placebo control study worden uitgevoerd. Hierbij krijgt 1 groep de behandeling en
1 groep de placebo waarbij zowel de onderzoeker als de participant niet weten wie in welke groep zit.
Daarnaast kan er ook nog een 3e groep worden toegevoegd die zowel geen behandeling als placebo
krijgt. Hiermee kunnen de andere groepen vergeleken worden.
Wanneer de onafhankelijke variabele geen invloed heeft op de afhankelijke variabele, is er sprake van
een nul effect. Dit kan komen doordat er werkelijk geen verschil is of omdat het design niet goed
genoeg is. Ook kan er te veel variatie zijn in een groep. Het kan ook zijn dat er een nul effect bestaat,
maar er in werkelijkheid wel een verschil is. Mogelijke oorzaken zijn:
• Weak manipulations: mogelijk is de manipulatie niet sterk genoeg. In onderzoek met maakt
geld gelukkig zal er in de groepen €0,-, €0,50 en €1,- niet veel verschil zijn maar mogelijk wel
bij de groep €0,-, €100,- en €1000,-. Het gaat hierbij vooral om de construct validiteit
• Insensitive measures: je meetinstrument is niet gevoelig genoeg
• Ceilig effect: alles scores samen zijn aan de hoge kant. Het krijgen van een schok zorgt
bijvoorbeeld voor angst ongeacht of dit 10V, 40V of 100V is.
Inferentiële statistieken zijn kansberekende technieken om onderzoekers te helpen bij het nemen van
beslissingen over de betekenis van de data en de inferenties (generalisaties) die zij met deze data
kunnen maken. Het gaat hierbij om welk deel van de resultaten door kans bepaald kunnen worden. Er
wordt gebruikt gemaakt van een steekproef waarmee we kunnen infereren naar de gehele populatie.
Een bekende techniek is Null Hypothesis Significance Testing (NHST). Er kan hiermee bepaald
worden of de resultaten statistisch significant zijn. NHST bestaat uit 4 stappen:
1. Aannemen dat er geen effect is. Dit heet de nulhypothese. Deze stelt dat er geen verband of
relatie tussen de variabelen bestaat.
2. Data verzamelen
3. Berekenen van de waarschijnlijkheid dat je dit soort resultaten krijgt als de nulhypothese waar
zou zijn
4. Beslissen of je nulhypothese wel of niet verwerpt
Het punt waarop onderzoekers beslissen dat de p-waarde te hoog is (niet verwerpen nulhypothese) of
te laag is (verwerpen nulhypothese) noemen we het alpha level. Meestal wordt uitgegaan van a = 0.05.
Er kunnen ook fouten gemaakt worden in de keuze van het wel of niet verwerpen van de nulhypothese.
Dit kan op 2 manieren:
1. Type 1 fout (false positive): er wordt aangenomen dat er in de populatie een verschil is, die er
in werkelijkheid niet is. Ook wel het onterecht verwerpen van de nulhypothese
2. Type 2 fout (miss): er wordt aangenomen dat er in de populatie geen verschil is, die er in
werkelijkheid wel is. Ook wel het onterecht niet verwerpen van de nulhypothese
Het alpha level is ook wel de waarschijnlijkheid op het maken van een type 1 fout als de nulhypothese
waar is. Dus normaal gesproken zou in 5% van alle gevallen de nulhypothese onterecht worden
verworpen. Door het verlagen van het alpha level, maak je de kans op een type 1 fout kleiner (als je
a= 0.01 ervan maakt is er dus maar 1% kans op het maken van een type 1 fout).
Het tegengaan van type 2 fouten hangt af van meerdere factoren. Power is de kans op het juist
verwerpen van de nulhypothese. Factoren die van invloed zijn op power zijn:
• Alpha level: een lager alpha level maakt het moeilijker om te nulhypothese te verwerpen. Als
de kans op een type 1 fout afneemt, neemt de kans op een type 2 fout juist toe.
• Steekproefgrootte: een grote steekproef zorgt voor meer power als er een verschil is. De kans
op een type 2 fout neemt dan dus af. Ook is bij een grote steekproef het onderzoek beter
repliceerbaar.
• Effectgrootte: een grote effectgrootte zorgt voor kleinere kans op een type 2 fout.
• Steekproef- en effectgrootte: grote steekproeven zijn nodig om kleine effectgroottes te
identificeren. Hoe kleiner de effectgrootte in de populatie, hoe grotere steekproef je nodig hebt
om de nulhypothese te verwerpen en daarmee een type 2 fout te vermijden.
• Mate van onsystematische variabiliteit: bij meer onsystematische variabiliteit is er minder
power om effecten te vinden die er in werkelijkheid zijn. Er zijn 3 soorten onsystematische
validiteit:
- Meetfouten
- Individuele verschillen
- Situationele ruis
• Statistische keuzes: sommige statistische testen maken het moeilijk om significante resultaten
te vinden en verhogen daardoor de kans op een type 2 fout. Zo heeft bijvoorbeeld een
eenzijdige toets een hogere power dan een tweezijdige toets omdat het een goed beeld geeft
van de richting van een effect
,Met een t-test wordt getoetst of het verschil in de gemiddeldes van de groepen, statistisch significant
is. Er worden 4 stappen doorlopen:
1. Het opstellen van de nulhypothese
2. Het berekenen van de t-test voor onafhankelijke groepen. De t-test helpt bij het bepalen of het
verschil in de groepen significant groter is dan 0. De t-test geeft een ratio van het verschil
tussen de 2 groepen en de hoeveelheid variantie binnen elke groep. De formule:
T = M1 – M2 / √(𝑆𝐷2 pooled/N1 + SD 2 pooled/N2)
- T is groter als het verschil tussen M1 en M2 groter is
- Hoe kleiner de variantie (SD) hoe groter t
- Hoe groter de steekproef (N), hoe groter t
3. Het berekenen van de waarschijnlijkheid van de resultaten als de nulhypothese waar is. We
vergelijken de t-waarde van de steekproef met de t-waarde als de nulhypothese waar zou zijn.
Dit wordt gedaan met een steekproefverdeling. Als de nulhypothese waar is, zal deze altijd
rondom 0 liggen hoe vaak je de steekproefverdeling ook maakt. De breedte van de
steekproefverdeling hangt af van de grootte van de steekproef. Een kleinere steekproef zorgt
voor een bredere verdeling (blz. 493). In een tabel worden de kritische waarde van t
weergegeven. Dit is de t-waarde geassocieerd met het alpha level (het punt van verwerpen).
4. Beslissen om de nulhypothese wel of niet te verwerpen. Als de t uit de steekproef groter is
dan de kritische t-waarde geassocieerd met het alpha level, dan kan de nulhypothese worden
verworpen.
Een betrouwbaarheidsinterval geeft het bereik waarin de waarde uit een populatie waarschijnlijk ligt.
Bij a = 0.05 geeft het betrouwbaarheidsinterval 95% zekerheid dat het interval de waarde van de
populatie bevat. Ze kunnen gebruikt worden om te beslissen om de nulhypothese wel of niet te
verwerpen. Als deze een 0 bevat dan verwerp je de nulhypothese niet. Daarnaast geeft het een beeld
over de precisie. Een smal betrouwbaarheidsinterval geeft meer precisie dan en breed
betrouwbaarheidsinterval.
More on experiments: confounding and obscuring variables (blz. 311-346)
Bij experimenteel onderzoek is de interne validiteit belangrijk. Mogelijke bedreigingen zijn:
• Design confounds: er is een alternatieve verklaring voor de resultaten omdat het onderzoek
niet goed in ontworpen
• Selectie effecten: er is een alternatieve verklaring voor de resultaten omdat de participanten
verschillen bij aanvang van het onderzoek
• Volgorde effecten: een alternatieve verklaring voor de resultaten kan komen door de manier
waarop de levels van de variabelen worden gepresenteerd
Een one group pretest/posttest design is een onderzoeksdesign waarbij bij 1 groep participanten
een voor- en nameting wordt gedaan. Er is dus geen controlegroep om de resultaten mee te
vergelijken. Omdat de interne validiteit heel laag zal zijn zal je niet snel dit soort experimenten
tegenkomen. Er zijn namelijk verschillende bedreigingen voor de interne validiteit. Deze worden in het
Engels gegeven, omdat ze in het college aangeven dat je deze in het Engels moet kennen).
• Maturation threat: een verandering in gedrag die spontaan plaatsvindt. We denken dat de
behandeling de verbetering veroorzaakt, maar in werkelijkheid gebeurt dit dus spontaan
(bijvoorbeeld spontaan herstel bij depressie). Dit kan worden voorkomen door het toevoegen
van een controlegroep
• History threat: een externe factor die invloed heeft op alle participanten. Dit kan een
alternatieve verklaring zijn voor de verkregen resultaten. Dit kan worden voorkomen door het
toevoegen van een controlegroep. Als zij deze verandering ook hebben, is er dus geen
behandeleffect, maar een history threat.
, • Regression threat: een statistisch concept die ook wel regression to the mean wordt
genoemd. Als bij de eerste meting het gemiddelde extreem is, zal dit de 2e keer waarschijnlijk
minder extreem zijn. Een voorbeeld hiervan is met 7-1 een voetbalwedstrijd winnen,
waarschijnlijk gebeurt dit daarna niet zo snel weer. Een ander voorbeeld is als mensen op de
voormeting heel hoog scoren op depressie, kan dit eigenlijk alleen nog maar beter worden.
Echter lijkt het dan of de behandeling zin heeft gehad. Dit kan worden voorkomen door het
toevoegen van een controlegroep.
• Attrition threat: het gaat hierbij om participanten die tussen de metingen door uitvallen. Dit
wordt een probleem voor de interne validiteit als uitval systematisch is, dus als alleen
bepaalde soort participanten uitvallen. Bijvoorbeeld bij behandeling voor overgewicht. Als
tussendoor de zwaarste mensen uitvallen, lijkt het bij de nameting alsof het gemiddelde heel
erg is gedaald, terwijl in werkelijkheid het gemiddelde zo is gezakt door het wegvallen van
deze participanten. Dit kan voorkomen worden door de voormeting van deze participanten niet
mee te nemen bij de resultaten.
• Testing threat: er verandert iets bij de participant door het afnemen van de testen i.p.v. door
de behandeling. Dit is een vorm van volgorde effect. Participanten presteren bijvoorbeeld
beter op de nameting omdat ze de meting al eerder hebben uitgevoerd. Dit kan voorkomen
worden door het toevoegen van een controlegroep of alleen het invoeren van een nameting.
Ook kan er gekozen worden om verschillende meetinstrumenten te gebruiken bij de voor- en
nameting.
• Instrumentation threat: komt door het veranderen van het meetinstrument. Bijvoorbeeld
doordat de observant gedurende de tijd kritischer leert kijken en dus anders codeert. Kan ook
komen doordat er in de voor- en nameting verschillende meetinstrumenten worden gebruikt
die niet gelijk zijn aan elkaar. Kan worden voorkomen door alleen een nameting te gebruiken
of ervoor te zorgen dat de meetinstrumenten gelijk zijn aan elkaar.
• Selection-history threat: een externe factor die alleen effect heeft op 1 conditie van de
onafhankelijke variabele
• Selection-attrition threat: er vindt uitval plaats bij slechts 1 van de 2 groepen
Veel van deze bedreigingen kunnen worden opgelost door het toevoegen van een controlegroep. Er
zijn ook bedreigingen die bij elk soort onderzoek van invloed zijn:
• Observer bias: de verwachtingen van de onderzoeker beïnvloeden de interpretatie van de
resultaten. Dit heeft invloed op de interne- en constructvaliditeit
• Demand characteristics: participanten willen dat de behandeling effectief is, waardoor ze
zich beter zullen voelen na de behandeling
Om deze 2 te voorkomen kan er een double-blind study worden gedaan. Zowel de onderzoekers als
de participant weet niet wat de controle- en de experimentele groep is. Soms is dit niet mogelijk en
wordt er gebruik gemaakt van een masked design. Hierbij weet de participant in welke groep hij of zij
zit, maar de onderzoeker niet.
Een placeboeffect vindt plaats wanneer mensen een behandeling krijgen die werkt, maar alleen
omdat zij denken dat ze een echte behandeling krijgen. Onderzoek laat zien dat placebo’s
daadwerkelijk fysieke en psychologische problemen verminderen. Om dit effect te controleren kan er
een double-blind placebo control study worden uitgevoerd. Hierbij krijgt 1 groep de behandeling en
1 groep de placebo waarbij zowel de onderzoeker als de participant niet weten wie in welke groep zit.
Daarnaast kan er ook nog een 3e groep worden toegevoegd die zowel geen behandeling als placebo
krijgt. Hiermee kunnen de andere groepen vergeleken worden.
Wanneer de onafhankelijke variabele geen invloed heeft op de afhankelijke variabele, is er sprake van
een nul effect. Dit kan komen doordat er werkelijk geen verschil is of omdat het design niet goed
genoeg is. Ook kan er te veel variatie zijn in een groep. Het kan ook zijn dat er een nul effect bestaat,
maar er in werkelijkheid wel een verschil is. Mogelijke oorzaken zijn:
• Weak manipulations: mogelijk is de manipulatie niet sterk genoeg. In onderzoek met maakt
geld gelukkig zal er in de groepen €0,-, €0,50 en €1,- niet veel verschil zijn maar mogelijk wel
bij de groep €0,-, €100,- en €1000,-. Het gaat hierbij vooral om de construct validiteit
• Insensitive measures: je meetinstrument is niet gevoelig genoeg
• Ceilig effect: alles scores samen zijn aan de hoge kant. Het krijgen van een schok zorgt
bijvoorbeeld voor angst ongeacht of dit 10V, 40V of 100V is.
