100% tevredenheidsgarantie Direct beschikbaar na je betaling Lees online óf als PDF Geen vaste maandelijkse kosten
logo-home
Eerder door jou gezocht
Eerder door jou gezocht
logo
Class notes Lecture 6 Statistics 2/Statistiek 2 (P_BSTATIS_2) €2,99
In winkelwagen
Snel navigeren naar
Voorbeeld
  2.  
  3. Vrije Universiteit Amsterdam (VU)
  4.  
  5. Statistiek 2 (P_BSTATIS_2)

College aantekeningen

Class notes Lecture 6 Statistics 2/Statistiek 2 (P_BSTATIS_2)

 1 keer verkocht

This document provides a detailed breakdown of model selection procedures, assumptions, and regression diagnostics, focusing on: 1. Model Selection in Regression Analysis ️ Exploratory vs. Explanatory Approaches (Hypothesis-Driven vs. Data-Driven) ️ Backward Elimination, Forward Selection ...

[Meer zien]

Voorbeeld 2 van de 7  pagina's

Document informatie

  • 9 februari 2025
  • 7
  • 2023/2024
  • College aantekeningen
  • Dr. debby ten hove
  • Alle colleges

Onderwerpen

Geschreven voor

Alle documenten voor dit vak (36)

Verkoper

avatar-seller
kanayadyarataqiiya

Voorbeeld van de inhoud

Modelling Procedures and Assumptions for Regression Models


Learning Objectives:
● Describe various model selection procedures for explanatory and exploratory research
● Name common pitfalls of various selection procedures
● Draw conclusions about the assumptions of a (multiple) regression model
● Identify influential observations


(1) Model Selection

We first discuss criteria for selecting a regression model by deciding which of a possibly large
collection of variables to include in the model
→ exploratory approach: ie finding a good set of explanatory variables
→ confirmatory (explanatory) approach: based on theory and hypotheses, to test a theoretical model

Types of model selection procedures:
1. Hypothesis-driven (explanatory) research
2. Exploratory research

3 Rules for Model Selection:
1. Include the relevant variables to make the model useful for theoretical purposes, so you can
address hypotheses posed by the study, with sensible control (and mediating) variables
2. Include enough variables to obtain good predictive power (ie include all effects that
contribute to R2)
3. Keep the model simple, avoiding unnecessary (higher-order) effects
○ Parsimonious principle: entities should not be multiplied beyond necessity

1.1 Explanatory Research

2 Options for Model Selection for Explanatory Research:
1. Model building
○ Start with effect for control variables
○ Add focal (ie main) predictor
○ Add hypothesised interaction-effect
2. Model trimming
○ Start with hypothesised (complete) model
○ If included, test if interaction-effect contributes to R2

Conclusively,
● If the model has interaction-effect, report the effect of the focal predictor at relevant levels of
the moderator (eg M - SD, M, and M + SD)
● If the model doesn't have interaction-effect, test and interpret the effect (b) of your focal
predictor

, 1.2 Exploratory Research

Model Selection for Exploratory Research
1. Identify relevant processes
2. Search for accurate predictions in practice
3. After explanatory research: what other factors play a role in this phenomena?

→ automated model selection is useful: 3 options of model selection
1. Backward elimination
○ Start with model with all predictor variables
○ Repeatedly remove variable that contributes least to R2
○ Stop if all included predictors have a significant (partial) effect on y (given
pre-determined a-level)
2. Forward selection
○ Start with a model without predictors
○ Repeatedly add variable that contribute most to R2
○ Stop when none of the remaining variables contributes significantly to the
predictive power of the model (given pre-determined a-level)
3. Stepwise regression
→ combination of backward and forward
○ Start with a model without predictors
○ Repeatedly add variables that contribute most to R2
○ In-between, remove variables that lost their (partial) explanatory power
(given pre-determined a-level)
○ Stop if none of the remaining variables contribute significantly to the
predictive power of the model (given pre-determined a-level)

Pitfalls of Automated Model Selection:
● These procedures do not always yield meaningful models (eg interaction-effect without main
effect)
● R2 in the sample ≠ R2 in the population
2 s 2 y −s2 s 2 y −MSE MSR
○ Alternative measure for R : R
2
adj = 2
= 2
=
s y s y s2 y
→ Corrects for the number of predictors in the model, and can decrease when we
add
Predictors
● Chance capitalisation: drawing a conclusion from data wholly or partly biassed in a particular
direction by chance
○ Use cross-validation to test predictive power outside the sample

Dit zijn jouw voordelen als je samenvattingen koopt bij Stuvia:

Bewezen kwaliteit door reviews

Bewezen kwaliteit door reviews

Studenten hebben al meer dan 850.000 samenvattingen beoordeeld. Zo weet jij zeker dat je de beste keuze maakt!

In een paar klikken geregeld

In een paar klikken geregeld

Geen gedoe — betaal gewoon eenmalig met iDeal, creditcard of je Stuvia-tegoed en je bent klaar. Geen abonnement nodig.

Direct to-the-point

Direct to-the-point

Studenten maken samenvattingen voor studenten. Dat betekent: actuele inhoud waar jij écht wat aan hebt. Geen overbodige details!

Veelgestelde vragen

Wat krijg ik als ik dit document koop?

Je krijgt een PDF, die direct beschikbaar is na je aankoop. Het gekochte document is altijd, overal en oneindig toegankelijk via je profiel.

Tevredenheidsgarantie: hoe werkt dat?

Onze tevredenheidsgarantie zorgt ervoor dat je altijd een studiedocument vindt dat goed bij je past. Je vult een formulier in en onze klantenservice regelt de rest.

Van wie koop ik deze samenvatting?

Stuvia is een marktplaats, je koop dit document dus niet van ons, maar van verkoper kanayadyarataqiiya. Stuvia faciliteert de betaling aan de verkoper.

Zit ik meteen vast aan een abonnement?

Nee, je koopt alleen deze samenvatting voor €2,99. Je zit daarna nergens aan vast.

Is Stuvia te vertrouwen?

4,6 sterren op Google & Trustpilot (+1000 reviews)

Afgelopen 30 dagen zijn er 71250 samenvattingen verkocht

Opgericht in 2010, al 15 jaar dé plek om samenvattingen te kopen

Begin nu gratis
€2,99  1x  verkocht
  • (0)
In winkelwagen
Toegevoegd