Samenvatting ARMS (Advanced Reasearch Methods and Statistics)
Hoorcolleges: 2-17
Werkgroepen: 18-20
Seminars: 21-27
Helpende tabellen: 28-30
Oefenvragen 31-35
Alle schuingedrukte woorden zijn belangrijke begrippen in het Engels.
, 2
Hoorcolleges:
Hoorcollege 1: Frequentist vs bayesian statistics 13 november 2023
2 statistische kaders:
1. Frequentist framework:
- Nog steeds mainstream
- Is gebaseerd op H0
- Maakt gebruik van confidence intervals
- Heeft p-waardes, effectgroottes en power analyses
Alle relevante info voor conclusies zitten in de likelihood function (normaalverdeling).
2. Bayesian framework:
- Krijgt meer aandacht sinds de replicatiecrisis p-hacking, overamphasis op studies en
underpowered studies.
- Heeft credible intervals
Naast de data in de likelihood function heb je voorafgaande infor over µ voorafgaande
kennis is geupdate met info in de data en zorgen samen voor de posterior distribution voor µ
Beide vallen onder empirisch onderzoek: gebruikt verkregen/verzamelde data om van te leren. Deze
data zit vast in een likelihood function.
Bayesiaanse schattingen:
De posterior distriution van de parameters die van belang zijn bieden alle gewenste schattingen aan.
Posterior mean or mode: het gemiddelde of de modus van de posterior distribution.
Posterior 95% credible interval: zorgen voor grenzen van het deel van de posterior waarin
95% van de posterior massa in ligt.
Bayesiaanse oplossing:
Bayes bestaat uit geobserveerde data. Frequentist daarentegen baseren tests op de H0.
Pr(Hj|data): waarschijnlijkheid dat hypothese Hj ondersteund wordt door data ≠ Pr(data|H0): p-waarde
= waarschijnlijkheid van observatie dezelfde of extremere data gegeven dat H0 waar is. welke
waarschijnlijkheid is het meest interessant?
Onderzoekers met hypothesen hebben voorkeur voor informatie over de waarschijnlijkheid dat hun
hypothese correct zijn.
PMP (Posterior Model Probability): de (bayesiaanse) waarschijnlijkheid van de hypothese na de data
observaties de waarheid hangt af van 2 punten:
1. Hoe gevoelig het is, gebaseerd op huidige kennis (de prior)
2. Hoe goed past het nieuwe bewijs (de data)
Bayesiaans testen is vergelijkend (comperative): hypothesen worden tegen elkaar op getest, niet op
, 3
zichzelf Bayes factor:
BF10 = 10 steun voor H1 is 10 keer sterker dan voor H0
BF10 = 1 steun voor H1 is even sterk als steun voor H0
Beide frameworks zijn waarschijnlijkheidstheorieën
- Frequentists: waarschijnlijkheid is relatief frequent.
- Bayesiaans: waarschijnlijkheid is mate van geloof.
Dit leidt tot debat: hetzelfde woord gebruiken met een andere betekenis en de verschillende
interpretaties van resultaten.
Frequentists 95% confidence interval (CI): experiment vaak herhalen en CI iedere keer berekenen, 95%
van de intervallen zal de ware parameter waarde bevatten (en 5% niet)
Bayesian 95% credible interval: er is 95% kan dat de ware waarde in het credible interval ligt
Deel 2:
Lineaire regressie vergelijking:
Model aannames:
-Alle resultaten zijn alleen betrouwbaar als de aannames en benaderingen van het model het volgende
bevat:
Serieuze overtredingen leiden tot incorrecte resultaten.
Soms zijn er makkelijke oplossingen (uitschieters verwijderen) en soms niet.
Per model weet je wat de aannames zijn en worden deze zorgvuldig gecheckt.
-Multiple lineair regressions (MLR) hebben interval/ratio meetniveau variabelen
Je hebt bijvoorbeeld de volgende 3 variabelen:
1. Rapportcijfer (educatie) = goed
2. Leeftijd = goed
3. Gender = niet goed
In een MLR kun je gebruik maken van dummy variables. Hierin geef je een getal aan de factoren van de
variabele man = 1 en vrouw = 0.
, 4
Educatie is een sterkere voorspeller gezein deze een hogere B heeft dan leeftijd (kijk naar
Unstandardized).
B en β representeren altijd de unieke bijdrage van hun voorspeller gegeven alle voorspellers in het
model.
Output Bayesian analyse:
‘Null model’: model met Bage = 0 en Beduc = 0.
Model 1: age + educ bevat voorspellers zonder beperkingen.
BF10 = 28.181 model 1 heeft 28x waarschijnlijker de data gegenereerd dan model 0.
‘BFinclusion’: evalueerd of het model vooruit gaat met deze voorspeller (bijvoorbeeld BF = 5.467 als
age wordt toegevoegd)
R2change = de verandering in R2 vergeleken met het vorige model.
R2 = hoeveel van de variantie van de afhankelijke variabele er verklaard wordt door het model ex.
Tevredenheid is 17% verklaard door leeftijd, gender en sport. 83% wordt dus verklaard door andere
factoren.
Hoorcolleges: 2-17
Werkgroepen: 18-20
Seminars: 21-27
Helpende tabellen: 28-30
Oefenvragen 31-35
Alle schuingedrukte woorden zijn belangrijke begrippen in het Engels.
, 2
Hoorcolleges:
Hoorcollege 1: Frequentist vs bayesian statistics 13 november 2023
2 statistische kaders:
1. Frequentist framework:
- Nog steeds mainstream
- Is gebaseerd op H0
- Maakt gebruik van confidence intervals
- Heeft p-waardes, effectgroottes en power analyses
Alle relevante info voor conclusies zitten in de likelihood function (normaalverdeling).
2. Bayesian framework:
- Krijgt meer aandacht sinds de replicatiecrisis p-hacking, overamphasis op studies en
underpowered studies.
- Heeft credible intervals
Naast de data in de likelihood function heb je voorafgaande infor over µ voorafgaande
kennis is geupdate met info in de data en zorgen samen voor de posterior distribution voor µ
Beide vallen onder empirisch onderzoek: gebruikt verkregen/verzamelde data om van te leren. Deze
data zit vast in een likelihood function.
Bayesiaanse schattingen:
De posterior distriution van de parameters die van belang zijn bieden alle gewenste schattingen aan.
Posterior mean or mode: het gemiddelde of de modus van de posterior distribution.
Posterior 95% credible interval: zorgen voor grenzen van het deel van de posterior waarin
95% van de posterior massa in ligt.
Bayesiaanse oplossing:
Bayes bestaat uit geobserveerde data. Frequentist daarentegen baseren tests op de H0.
Pr(Hj|data): waarschijnlijkheid dat hypothese Hj ondersteund wordt door data ≠ Pr(data|H0): p-waarde
= waarschijnlijkheid van observatie dezelfde of extremere data gegeven dat H0 waar is. welke
waarschijnlijkheid is het meest interessant?
Onderzoekers met hypothesen hebben voorkeur voor informatie over de waarschijnlijkheid dat hun
hypothese correct zijn.
PMP (Posterior Model Probability): de (bayesiaanse) waarschijnlijkheid van de hypothese na de data
observaties de waarheid hangt af van 2 punten:
1. Hoe gevoelig het is, gebaseerd op huidige kennis (de prior)
2. Hoe goed past het nieuwe bewijs (de data)
Bayesiaans testen is vergelijkend (comperative): hypothesen worden tegen elkaar op getest, niet op
, 3
zichzelf Bayes factor:
BF10 = 10 steun voor H1 is 10 keer sterker dan voor H0
BF10 = 1 steun voor H1 is even sterk als steun voor H0
Beide frameworks zijn waarschijnlijkheidstheorieën
- Frequentists: waarschijnlijkheid is relatief frequent.
- Bayesiaans: waarschijnlijkheid is mate van geloof.
Dit leidt tot debat: hetzelfde woord gebruiken met een andere betekenis en de verschillende
interpretaties van resultaten.
Frequentists 95% confidence interval (CI): experiment vaak herhalen en CI iedere keer berekenen, 95%
van de intervallen zal de ware parameter waarde bevatten (en 5% niet)
Bayesian 95% credible interval: er is 95% kan dat de ware waarde in het credible interval ligt
Deel 2:
Lineaire regressie vergelijking:
Model aannames:
-Alle resultaten zijn alleen betrouwbaar als de aannames en benaderingen van het model het volgende
bevat:
Serieuze overtredingen leiden tot incorrecte resultaten.
Soms zijn er makkelijke oplossingen (uitschieters verwijderen) en soms niet.
Per model weet je wat de aannames zijn en worden deze zorgvuldig gecheckt.
-Multiple lineair regressions (MLR) hebben interval/ratio meetniveau variabelen
Je hebt bijvoorbeeld de volgende 3 variabelen:
1. Rapportcijfer (educatie) = goed
2. Leeftijd = goed
3. Gender = niet goed
In een MLR kun je gebruik maken van dummy variables. Hierin geef je een getal aan de factoren van de
variabele man = 1 en vrouw = 0.
, 4
Educatie is een sterkere voorspeller gezein deze een hogere B heeft dan leeftijd (kijk naar
Unstandardized).
B en β representeren altijd de unieke bijdrage van hun voorspeller gegeven alle voorspellers in het
model.
Output Bayesian analyse:
‘Null model’: model met Bage = 0 en Beduc = 0.
Model 1: age + educ bevat voorspellers zonder beperkingen.
BF10 = 28.181 model 1 heeft 28x waarschijnlijker de data gegenereerd dan model 0.
‘BFinclusion’: evalueerd of het model vooruit gaat met deze voorspeller (bijvoorbeeld BF = 5.467 als
age wordt toegevoegd)
R2change = de verandering in R2 vergeleken met het vorige model.
R2 = hoeveel van de variantie van de afhankelijke variabele er verklaard wordt door het model ex.
Tevredenheid is 17% verklaard door leeftijd, gender en sport. 83% wordt dus verklaard door andere
factoren.
