,Lecture 1
Model comparison approach → all traditional tests (t-tests, ANOVA, regression) can be reformulated
as model comparisons
→ do more than traditional tests and also prevent p-hacking
Nested models = all terms of a smaller model are also included in a larger model
→ Model 1: 𝑦 = 𝑏0 + 𝑏1𝑥1
→ Model 2: 𝑦 = 𝑏0 + 𝑏1𝑥1 + 𝑏2𝑥2
→ how much do I improve fit if I include 𝑏2𝑥2 into the model, above and beyond what’s already in
the model?
P-value = probability of obtaining test results at least as extreme as the result actually observed,
under the assumption that the null hypothesis is correct
P-hacking = running lots of statistical tests on the same data and reporting only those results that are
significant.
→ better not to use p-values (instead: estimation of effect by use of means, standard deviations,
correlations, effect sizes, cohen’s d, and CI’s OR graphical analysis OR model comparison OR bayesian
statistics)
Lecture 2
Idea of simple linear regression:
1. draw a scatterplot of your bivariate data
2. draw a straight line that comes as close as possible to the points (minimize prediction errors
aka residuals, thus ordinary least squares criterion (OLS))
3. find out what the equation of this straight line is
Confidence interval to examine the size of the effect
→ CI for the slope parameter β1: 𝑏1 + 𝑡 * 𝑆𝐸(𝑏1) use t-distribution with 𝑑𝑓 = 𝑛 − 2
NOT ON FORMULA SHEET (n - estimated parameters)
Significance test to test whether or not there is an effect
𝑏1
→ test statistic to test if β1 = 0: 𝑡 = 𝑆𝐸(𝑏1)
NOT ON FORMULA SHEET
, Different but equivalent representations of simple linear regression model:
1. Statistical model (population): µ𝑦 = β0 + β1𝑥
2. Statistical model (population): 𝑦 = β0 + β1𝑥 + ε
Linear regression can be used to describe many such relationships:
1. Simple linear regression: 1 DV & 1 IV
2. Multiple linear regression: 1 DV & multiple IV’s plus possible interactions
3. 1-ANOVA: 1 DV & 1 categorical IV using code variables
4. 2-ANOVA: 1 DV & 2 categorical IV’s using code variables for each factor
Interpreting regression coefficients in:
→ simple linear regression: A slope in bivariate regression describes the effect of that variable on
the response variable
→ multiple linear regression: A slope describes the effect of an explanatory variable while
controlling effects of the other explanatory variables in the model
Multiple linear regression:
𝑠𝑦 𝑠𝑦
𝑏1 = 𝑏1 * · 𝑠1
and 𝑏2 = 𝑏2 * · 𝑠2
𝑏0 = 𝑦 − 𝑏1𝑥1 − 𝑏2𝑥2
Where 𝑏1 * and 𝑏2 * are standardized regression coefficients
𝑟𝑦1−𝑟𝑦2·𝑟12 𝑟𝑦2−𝑟𝑦1·𝑟12
𝑏1 *= 2 and 𝑏2 *= 2
1−𝑟 12
1−𝑟 12
ALL ON FORMULA SHEET
Examining association using multiple linear regression
→ how well do all IVs together explain/estimate y?
→ use multiple R (correlation between y and 𝑦12) and R2 (percentage of explained variance)
2 2
2 𝑟 𝑦1
+𝑟 𝑦2
−2𝑟𝑦1𝑟𝑦2𝑟12 2
𝑅 𝑦·12
= 2 OR 𝑅 𝑦·12
= 𝑏1 * 𝑟𝑦1 + 𝑏2 * 𝑟𝑦2
1−𝑟 12
BOTH ON FORMULA SHEET
2 𝑆𝑆𝑀𝑜𝑑𝑒𝑙
OR 𝑅 = 𝑆𝑆𝑇𝑜𝑡𝑎𝑙
NOT ON FORMULA SHEET
2
a: the unique contribution of 𝑥1to 𝑦 → 𝑠𝑟1
2
c: the unique contribution of 𝑥2to 𝑦 → 𝑠𝑟2
b: the common contribution of 𝑥1and 𝑥2 to 𝑦
e: error: unexplained part of 𝑦
Les avantages d'acheter des résumés chez Stuvia:
Qualité garantie par les avis des clients
Les clients de Stuvia ont évalués plus de 700 000 résumés. C'est comme ça que vous savez que vous achetez les meilleurs documents.
L’achat facile et rapide
Vous pouvez payer rapidement avec iDeal, carte de crédit ou Stuvia-crédit pour les résumés. Il n'y a pas d'adhésion nécessaire.
Focus sur l’essentiel
Vos camarades écrivent eux-mêmes les notes d’étude, c’est pourquoi les documents sont toujours fiables et à jour. Cela garantit que vous arrivez rapidement au coeur du matériel.
Foire aux questions
Qu'est-ce que j'obtiens en achetant ce document ?
Vous obtenez un PDF, disponible immédiatement après votre achat. Le document acheté est accessible à tout moment, n'importe où et indéfiniment via votre profil.
Garantie de remboursement : comment ça marche ?
Notre garantie de satisfaction garantit que vous trouverez toujours un document d'étude qui vous convient. Vous remplissez un formulaire et notre équipe du service client s'occupe du reste.
Auprès de qui est-ce que j'achète ce résumé ?
Stuvia est une place de marché. Alors, vous n'achetez donc pas ce document chez nous, mais auprès du vendeur mariekeboerendonk. Stuvia facilite les paiements au vendeur.
Est-ce que j'aurai un abonnement?
Non, vous n'achetez ce résumé que pour €5,49. Vous n'êtes lié à rien après votre achat.
