STATISTIEK II AANTEKENINGEN
Statistiek II aantekeningen
College 0: Opfriscursus over stat-I t.b.v. start Statistiek II
Doel stat II: inferential methods
Stat I: wat is een betrouwbaarheidsinterval en wat is een significantietoets? Hier wordt bij stat II ook
veel naar gekeken.
- Statistiek is hoe we onzekerheid modelleren (standaarddeviaties en varianties).
- Statistiek vat kwantitatieve gegevens samen (descriptive statistics), correlatie, gemiddelde,
mediaan, modus…. Plaatjes maken die inzicht geven in de samenhang tussen variabelen.
- Elke keer dat we een steekproef nemen, willen we iets te weten komen over een populatie.
We zien maar een klein stukje van de populatie. We hopen dat de onnauwkeurigheid die erin
zit zo klein mogelijk is.
- Normaal gesproken kunnen we niet de hele populatie onderzoeken, dus we hebben te
maken met onzekerheid.
- Het mooie aan statistiek is de mogelijkheid om uitspraken te doen, rekening houdend met
onzekerheid.
Overzicht → terugkijken voor uitleg
Inferentiële statistiek – Inferential statistics
- Wat is inferente/inference?
- Sampling distributions.
- Significantie toetsen / significance tests
- Betrouwbaarheidsintervallen / confidence intervals
Inferential statistics
Inference = to derive as a conclusion from facts or premises. In statistiek ga je kijken naar de feiten,
observaties, metingen en die ga je gebruiken om een conclusie te trekken uit een populatie. Je wil
een gegeneraliseerd statement maken over de hele populatie. Kan op twee manieren:
Confidence intervals (Cis)
- Een C% CI geeft je een interval schatting, een range van waardes die geloofwaardig zijn.
Bevat een (onbekende) parameter met C% zekerheid (certainty).
- Als het onderzoek heel vaak herhaald wordt, dan zal ongeveer C% van de Cis de parameter
bevatten.
Hypothese toetsing
- Je gaat uit van een statement, uitgangspunt, nulhypothese. Ik heb iets gevonden in mijn
steekproef en hoe waarschijnlijk en onwaarschijnlijk is dit als de nulhypothese waar is.
- Je gaat een P-value uitrekenen. De kans op het huidige steekproefresultaat (of extrremer) is
zo klein, onder de nulhypthese, dat het onwaarschijnlijk is dat de parameter een bepaalde
waarde heeft (gedefinieerd in H0)
, STATISTIEK II AANTEKENINGEN
Inferential statistics – voorbeeld
6.6 is een goede gok, maar er zit een onnauwkeurigheid in omdat we niet de hele populatie hebben
onderzocht. Vandaar dat we een bhi maken: we kunnen met 95% zekerheid zeggen dat het
gemiddelde binnen het interval ligt.
Bij een hypothesetoets neem je vooraf al een aanname, bijv. het gemiddelde is 1 in de populatie. We
nemen een standpunt in: stel het is 1 en we hebben 6,6 gevonden, hoe waarschijnlijk is het dat dit
klopt.
Een bhi geeft veel meer informatie, omdat we een range van values krijgen die allemaal
geloofwaardig zijn.
Populatie en steekproef (sample)
We hebben feiten over de steekproef gebruikt om
uitspraken over de gehele populatie te maken. Om
de werkelijkheid over de gehele populatie te
schatten.
We hebben hier te maken met belangrijke notatie:
onderscheid maken tussen het gemiddelde van de
steekproef en het gemiddelde van de populatie.
Hiervoor gebruiken we verschillende symbolen:
populatie is griekse letters (parameter), steekproef
zijn gewone letters. Hierdoor kun je bij
vraagstellingen het verschil tussen de populatie en
de steekproef zien.
Voorbeeld: steekproefgemiddelde ӯ en populatie gemiddelde µ
Het steekproefgemiddelde ӯ kan gebruikt worden om:
- Het populatiegemiddelde µ schatten.
- Kansuitspraken over µ te doen:
o “Het 95% CI voor µ is (4.4; 8.8)
, STATISTIEK II AANTEKENINGEN
o We verwerpen de hypothese dat µ = 1 bij α = 5%.
Om dergelijke kansuitspraken te kunnen doen is kennis over sampling distribution van de statistic
nodig.
Sampling distribution
Begrijpen van de sampling distribution van het steekproefgemiddelde (voor vaste steekproefgrootte
n).
Je krijgt allemaal verschillende steekproefgemiddelde, het is een random variable, omdat hij telkens
anders is. Dit lever een set van steekproefgemiddelden: {ӯ1, ӯ2, ӯ3, ….)
Deze set van scores heeft een bepaalde verdeling = the sampling distribution of the sample mean.
Hier zit de variabiliteit al in verdeeld.
Dit principe kan natuurlijk gegeneraliseerd worden naar elke andere statistic dan het
steekproefgemiddelde (de sample mean).
Dus, the sampling distribution is de kansverdeling van een statistic in de steekproef.
Wat weten we over sampling distribution van ӯ waardoor we deze
kunnen gebruiken om µ te schatten?
Sampling distribution van ӯ
- Gemiddelde / mean: = µӯ = µ, µ van y gemiddelde is gelijk aan µ zelf.
𝜎
- SD: = ơӯ = 𝑛: standard error (SE) van het gemiddelde. Ơ is
√
standaarddeviatie van de populatie, n is steekproefgrootte.
- Is normaal verdeeld als de populatie van y waardes ook
normaal verdeeld is (ongeacht de steekproefgrootte n):
Als de populatie van y-waardes niet normaal verdeeld is, gebruik dan de central limit theorem (CLT):
Voor een random sample van grootte n uit een arbitraire verdeling met gemiddelde µ en
standaarddeviatie ơ, is de sampling distribution van het steekproefgemiddelde (sample mean) bij
benadering (approximately) normaal verdeeld (hiervoor moet n wel groot genoeg zijn) met
gemiddlede µ en standaarddeviatie ơ / n, als n groot is.
Inference: basics
Vraag: wat is het nut van een sampling distribution voor inferential statistics?
Antwoord: sampling distributions helpen bij het kwantificeren welke waardes van de statistics
meest/minst waarschinlijk zijn. Hierdoor kunnen we kansen toekennen aan steekproefresultaten:
- Signfiicance tests: P-values
- Confidence intervals: de onder- en bovengrenzen.
, STATISTIEK II AANTEKENINGEN
Signficiance tests
Onderliggende principes:
- Een formele procedure voor het vergelijken van waargenomen data met een hypothese
waarvan we de werkelijkheid willen beoordelen.
- Het is de bedoeling dat bewijs geleverd door de data TEGEN H0 en ten gunste van Hα wordt
beoordeeld.
Er zijn twee soorten hypotheses in significance testing:
- Nulhypothese (H0): een uitspraak over de waarde van populaiteparameter. Er komt een =
- Alternatieve hypothese (Hα): een uitspraak die in tegenspraak met de nulhypothese is
(kleiner, groter, verschillend).
De alternatieve is altijd in tegenspraak met de nulhypothese. Bijv.
Bij een significantietoets kijken we naar wat we hebben gekregen in
de steekproef en hoe ver dat van de nulhypothese af ligt. Er zal altijd een test statistic zijn die je
berekent.
Elke significantietoets is gebaseerd op een test statistic. Algemene vorm van een test statistic voor z-
tests en t-tests:
Voorbeeld:
Hypothesized value|h0 is true: uit de populaite.
Estimate statistic en SEstatistic: uit de steekproef.
De kans op een exact resultaat, dus bijv. de kans op 1, is altijd nul, omdat we een constante verdeling
hebben. Daarom gaan we naar de p-value kijken: de kans op dit resultaat of extremer.
p-value: de kans op een uitkomst zoals waargenomen in de steekproef of extremer, gegeven dat H0
waar is.
Hoe kleienr de P-value, hoe sterker het bewijs tegen H0, ofwel hoe onwaarschijnlijker H0 is. Wat is
“klein”?
- Vergelijk P met het significantieniveau (significance level) α (e.g., α = 5%).
Significance tests: one sample t-test
- y~N (µ, ơ) zowel µ als ơ is onbekend.
- H0: µ - µ0
- Een t-verdeling heeft dikkere staarten dan een normale verdeling, dat komt door de extra
onnauwkeurigheid. Je hebt extra kans om hoge of lage waardes te vinden.
-
, STATISTIEK II AANTEKENINGEN
- Schat ơ met s =
- Test statistic:
n-1 is het aantal vrijheidsgraden. Dan moeten we naar de upper-tail,
of lower-tail, of allebei probability kijken. De t-verdeling wordt gebruik
voor de P-value.
Significance tests: pooled two-sample t test
Als we er vanuit gaan dat de standaarddeviaties van beide populaties
gelijk zijn dan gaan we gebruik maken van de pooled sample t.
Test statistic: als we kunnen aannemn dat ơ1 = ơ2
Waarbij sp = pooled SD =
Anders:
(k geschat door software)
De t verdeling wordt gebruik voor de p-value.
Voorbeeld pooled two-sample t test: sesamstraat data
Significance tests welke en wanneer
- Regressie:
o T-test: parameters (o.a., regressiecoëfficenten)
o F tests: mdel fit
- Correlatie:
o T test: special geval (H0: p = 0)
, STATISTIEK II AANTEKENINGEN
o Z test: Fisher’s z transformation
- Analysis of variance (ANOVA) (meer gemiddeldes vergelijken).
o T-tests: contrasts, multiple comparison
o F-tests: model fit
Confidence intervals (Cis)
Onderliggende principes:
Wat is onze beste gok en wat is de fout wat erin zit (beste gok + of – margin of error).
- Numeriek interval dat, met een bepaalde
zekerheidniveau, de waarde van de
populatieparameter bevat.
- Confidence level: het zekerheidsniveau, vaak 95%.
- Bij heel vaak herhalen van het experiment, zal 95%
van de tijd het CI de populatieparameter bevatten.
Confidence intervals: mean of one population
Bekende ơ: z confidence interval
- In de populatie: y~N(µ,ơ), ơ is onbekend.
z* = kritieke waarde uit N(0,1)
Onbekende ơ: t confidence interval
- In de populatie y~N(µ,ơ) zowel µ als ơ onbekend.
- Schat ơ met s =
t* = kritieke waarde uit t(n-1)
Confidence intervals: comparing two means
- Neem aan “equal variances”,
- Alle µ’s en ơs onbekend.
- Steekproefgroottes: n1, n2.
- Recall test statistic:
- Confidence interval:
t* = kritieke waarde uit t(n1+n2 – 2)
, STATISTIEK II AANTEKENINGEN
Voorbeeld sesamstraat
Verschil tussen pooled en niet pooled staat altijd aangegeven in de output. → equal variances
assumed. Als je test-value 0 binnen het betrouwbaarheidsinterval ligt, kun je al zien of je de
nulhypothese gaat verwerken. Zoals hier zie je dat mogelijke data -3 tot 2.8, als dan onze
nulhypothese 0 is, dan gaan we deze niet verwerpen omdat hij binnen ons betrouwbaarheidsinterval
ligt.
De margin of error van een CI wordt kleiner (ie., het CI wordt smaller) als:
- Het betrouwbaarheidsniveau (confidence level) afneemt. Kleiner interval, maar minder
betrouwbaarheid.
- De steekproefgrootte toeneemt. Hierdoor wordt je SE steeds kleiner. Hoe groter je
steekproef, hoe preciezer je meting.
- De SD afneemt.
Mogelijke correcte interpretaties van een 95% CI = (a,b):
- We zeggen dat, met 95% betrouwbaarheid, de onbekende parameter tussen a en b ligt.
- We hebben deze getallen verkregen met een methode die in 95% van de tijd correcte
resultaten levert.
- Op de lange duur, in the long run, leiden 95% van alle steekproeven tot een interval dat de
onbekende parameter bevat.
Wat mag je niet zeggen voer een 95% CI: er is een 95% kans dat de onbekende populatieparamter
binnen het CI ligt.
Waarom niet?
- De populatieparameter die men wil schatten, wordt verondersteld vast te zijn (en natuurlijk
onbekend). Parameter µ staat vast, daar hebben wij geen invloed op. Dus als je de
bovenstaande uitspraak zou benoemen, dan zou µ variëren, maar dat doet µ niet.
- Een specifiek CI bevat wel of niet de parameter.
- Dit heeft niets met kans te maken.
, STATISTIEK II AANTEKENINGEN
Confidence intervals vs. significance tests
Eigenschap:
Een tweezijdige significantietoets met significantieniveau α verwerpt de hypothese
H0: µ = µ0
Dan en slechts dan (if and only if) als de waarde h0 buiten het (1 – α)% CI voor µ ligt.
Als wij het betrouwbaarheidsinterval weten, hoeven wij geen significantietoets meer uit te voeren,
want met de informatie van het BHI weten we alle antwoorden op welke significantietoets dan ook.
Je kunt simpelweg checken als je een tweezijdige significantietoets hebt en een bhi, je kunt gewoon
kijken of de waarde binnen het bhi ligt, of je h0 verwerpt of niet. Je gaat h0 niet verwerpen voor elke
waarde die binnen het interval valt. Alles wat buiten het bhi ligt ga je wel verwerpen.
Bij een significantietoets ligt de top van de verdeling vast, want die ligt bij de hypothetische waarde.
Een bhi zegt niets over die hypothetische waarde, wij leggen de waarde niet vast bij een bepaalde
top. Als we kijken naar de verdeling onder de nulhypothese, als je in de staart terecht komt met je
uitkomst van de je steekproef, dan vind je een interval dat de waarde van µ0 niet in het interval ligt.
Dan bevat je interval de waarden niet meer, dus dan verwerp je h0.
Voorbeeld:
Stel 95% CI voor het verschil tussen gemiddelde van twee groepen is
95% CI = (-0.97;2.80)
Er kan geconcludeerd worden dat de nulhypothese H0: µ1= µ2 niet verworpen wordt voor α = 5%
omdat 0 (= µ1 - µ2) binnen het CI ligt.
Conclusie college 0
Herhaling stat1:
- P value
- Hypothese testing
- Confidence intervals
- Populatie / steekproef
- Normale en t verdelingen
- T test
- Mean, sd, pooled sd, …
, STATISTIEK II AANTEKENINGEN
Overzicht onderwerpen stat2
Statistical methods in a nutshell:
- Regression: simple (1 predictor) en multiple.
- Multivariate relationships.
- Model assumpations: diagnostics & model validity.
- Code variables.
- ANOVA (analysis of variance).
o One-way ANOVA & Two-way ANOVA.
- Introduction to Bayesian statistics
- The replication crisis. Wat kan fout gaan bij onderzoek? Quastionable research practices.
De cursus stat2
- Eerste college: week 37.
- Eerste practicum: week 38.
- Bereid je voor:
o Lees de cursusinformatie in ‘course details stat2.pdf’ (Nestor).
o Zorg dat je correct geregistreerd staat voor de cursus en practica.
- Het is je eigen verantwoordelijkheid om tijdens de gehele cursus up-to-date te blijven.
College 1: Simple Linear Regression I: Estimation (Ch9: 9.1-9.4)
e.m.l.a.van.krimpen-stoop@rug.nl docent stat2 en stat3
Practicum coördinator: Karing Siebenga, k.siebenga@rug.nl
Lees course details stat2 PDF (Nestor).
Eerste en laatste week geen practica. Practica zijn verplicht. 10 practica moet je aanwezig zijn. Je mag
dus 2 keer afwezig zijn. Als je meer dan 2 keer mist, moet je contact opnemen met Karin en Edith, om
gezamenlijk naar een oplossing te zoeken, zodat je statistiek 2 nog wel mag afronden.
Dit jaar geen JASP toetsen.
Eén tentamen aan het einde van het tweede blok. Herkansing is pas aan het einde van het 3e blok,
dus als je statistiek 2 nodig hebt voor andere vakken, moet je er echt voor zorgen dat je hem bij de
eerste kans haalt.
Nestor in de gaten houden, want hier wordt de aanwezigheid van de practica op geregisterd worden.
Maar ook als Edith bijv. geen college kan geven, zal dat op nestor staan.
Geen huiswerk meer, maar alleen practica. Nog geen extra opgaven. In het boek van Agresti staan
een groot aantal opgaven, hiervan zullen ook uitwerkingen gegeven worden op Nestor. Je zou het
statistiek boek van vorig jaar kunnen gebruiken ter introductie van alle onderwerpen. Het is geen
vervanging van het boek van Agresti. In het boek van vorig jaar staan ook een heleboel opgaven.
We veronderstellen dat je stat1a en stat1b kennis actief en volledig is! Fris je kennis zo snel mogelijk
op, als dit nodig blijkt. Er zijn geen ingangseisen voor stat2, maar dat betekent niet dat stat2
“appeltje-eitje” is zonder voldoende kennis van stat1a en stat1b.
, STATISTIEK II AANTEKENINGEN
Simple Linear Regression I: Estimation
Regressieanalyse: we hebben een puntenwolk en we gaan proberen zo goed mogelijk een rechte lijn
door die puntenwolk heen te plotten.
INTRODUCTIE IN M&M: CH2 (STAT1A) & DEEL VAN CH10 (INFERENCE FOR REGRESSION)
Voorbeeld van wat je met een regressieanalyse kan doen:
Simple Linear Regression – SLR
Soorten variabelen binnen simple linear regression:
- Eén continue predictor (independent, onafhankelijke of x, variabele, op x-as)
- Eén continue outcome (dependent, afhankelijke of y, variabele, op y-as)
Hoofdpunten regressieanalyse:
1. Onderzoeken of er een lineaire relatie bestaat tussen predictor en outcome (existence).
2. Bestuderen van deze relatie (e.g., sterkte, richting). Kijken of je deze relatie kunt bestuderen
via een model.
3. Voorspellen (prediction) van waardes van de outcome met waardes van de predictor.
o Om dit te kunnen doen, moeten we een MODEL opstellen.
Denk aan de predictor Cell Phone Use en de outcome Anxiety.
