College 1: Inleiding in multiple regressie
• In een regressievergelijking verklaar je het verband van een continue variabele met een
willekeurige andere variabele
• De regressielijn komt tot stand door de Least Squares Estimates: de lijn die het minste residu
kent; waar de optelsom van de gekwadrateerde verschillen van alle waarnemingen tov de lijn het
kleinst is.
• De standaardvergelijking van regressie is y=a+bx y=de afhankelijke variabele, a=de gemiddelde
waarde van y als de onafhankelijke variabelen 0 zijn. b=het verschil in y als x met één toeneemt,
gegeven de andere onafhankelijke variabelen
• Wat ‘gegeven dat’ betekent kun je mooi zien in een hiërarchische regressie. Daarin kun je zien
dat het effect van ‘oude’ variabelen verandert met het toevoegen van nieuwe. De oude variabele
gaf het gewogen gemiddelde, door nieuwe variabelen toe te voegen krijg je dus een
nauwkeuriger beeld.
• Je werkt in regressie met verschillende fouten ten opzichte van de werkelijkheid: Total Sum of
Squares (SST/Total) is de fout van de waarnemingen tov het steekproefgemiddelde. Error Sum
of Squared (SSE/Residual) is de fout van de waarnemingen tov de regressielijn. Model Sum of
Squares (SSM/Regression) is de fout van de regressielijn tot het gemiddelde, oftewel de
verbetering van SSE tov SST Hier geldt de formule: SSM=SST – SSE.
• R2 is die verbetering (SSM) als percentage van SST. Het verschil tussen de gewone R2 en de
adjusted R2 is dat laatstgenoemde niet automatisch beter wordt door het toevoegen van
onafhankelijke variabelen doordat een correctie van n en k wordt toegepast.
College 2: Multiple regressie
• De Beta is de gestandaardiseerde slope van onafhankelijke variabelen, die houdt dus rekening
met meeteenheden en gaat uit van standaarddeviaties ipv normale meeteenheden.
• Bij het bepalen van effecten doorloop je vaak drie stappen, het heeft vanzelfsprekend geen zin
om door te gaan als het antwoord op de vorige vraag ‘nee’ is: 1. Is er überhaupt een effect? 2.
Tussen welke variabelen? 3. In welke richting?
• In het kader van lineaire regressie is stap 1 de algemene F-toets, die bekijkt of één van de
onafhankelijke variabelen effect heeft op de afhankelijke. Je berekent de F-waarde als volgt:
Mean Square Model / Mean Square Error. Bij hiërarchische regressies heb je altijd meerdere F-
toetsen. Om te kijken of een later model de werkelijkheid beter verklaard, kijk je of de F-toets/R2
significant is toegenomen. Als dat niet zo is kies je altijd voor het model met de minste
variabelen.
• Als dat zo is gaan we in stap 2 kijken naar de t-toetsen, het effect van iedere onafhankelijke
variabele los. De t-toets gaat uit van H0=0 en Ha≠0. In stap 3 kunnen we de richting van het
verband aflezen aan de b’s, de coefficienten van de onafhankelijke variabelen.
• Dan iets over de 6 assumpties van lineaire regressie: 1. Aselecte steekproef 2. Geen
multicollineariteit 3. Geen autocorrelatie 4. Lineariteit 5. Normaliteit 6. Homoscedasticiteit.
• 2. Multicollineariteit manifesteert zich door een significante F-toets, maar geen significante t-
toetsen. Daaruit kun je opmaken dat de onafhankelijke variabelen met elkaar correleren,
waardoor de standaardfouten groter worden en de t-toetsen onbetrouwbaar worden. Je meet
multicollineariteit door de variantie van X1 te meten die wordt verklaard door X2, uitgedrukt in
een R2. Daarbij werk je met Tolerance (1-die R2) en VIF (1/Tolerance). Als geldt dat Tolerance
<0,10 en VIF>10, is er sprake van multicollineariteit. De oplossing is een grotere steekproef.
• In een regressievergelijking verklaar je het verband van een continue variabele met een
willekeurige andere variabele
• De regressielijn komt tot stand door de Least Squares Estimates: de lijn die het minste residu
kent; waar de optelsom van de gekwadrateerde verschillen van alle waarnemingen tov de lijn het
kleinst is.
• De standaardvergelijking van regressie is y=a+bx y=de afhankelijke variabele, a=de gemiddelde
waarde van y als de onafhankelijke variabelen 0 zijn. b=het verschil in y als x met één toeneemt,
gegeven de andere onafhankelijke variabelen
• Wat ‘gegeven dat’ betekent kun je mooi zien in een hiërarchische regressie. Daarin kun je zien
dat het effect van ‘oude’ variabelen verandert met het toevoegen van nieuwe. De oude variabele
gaf het gewogen gemiddelde, door nieuwe variabelen toe te voegen krijg je dus een
nauwkeuriger beeld.
• Je werkt in regressie met verschillende fouten ten opzichte van de werkelijkheid: Total Sum of
Squares (SST/Total) is de fout van de waarnemingen tov het steekproefgemiddelde. Error Sum
of Squared (SSE/Residual) is de fout van de waarnemingen tov de regressielijn. Model Sum of
Squares (SSM/Regression) is de fout van de regressielijn tot het gemiddelde, oftewel de
verbetering van SSE tov SST Hier geldt de formule: SSM=SST – SSE.
• R2 is die verbetering (SSM) als percentage van SST. Het verschil tussen de gewone R2 en de
adjusted R2 is dat laatstgenoemde niet automatisch beter wordt door het toevoegen van
onafhankelijke variabelen doordat een correctie van n en k wordt toegepast.
College 2: Multiple regressie
• De Beta is de gestandaardiseerde slope van onafhankelijke variabelen, die houdt dus rekening
met meeteenheden en gaat uit van standaarddeviaties ipv normale meeteenheden.
• Bij het bepalen van effecten doorloop je vaak drie stappen, het heeft vanzelfsprekend geen zin
om door te gaan als het antwoord op de vorige vraag ‘nee’ is: 1. Is er überhaupt een effect? 2.
Tussen welke variabelen? 3. In welke richting?
• In het kader van lineaire regressie is stap 1 de algemene F-toets, die bekijkt of één van de
onafhankelijke variabelen effect heeft op de afhankelijke. Je berekent de F-waarde als volgt:
Mean Square Model / Mean Square Error. Bij hiërarchische regressies heb je altijd meerdere F-
toetsen. Om te kijken of een later model de werkelijkheid beter verklaard, kijk je of de F-toets/R2
significant is toegenomen. Als dat niet zo is kies je altijd voor het model met de minste
variabelen.
• Als dat zo is gaan we in stap 2 kijken naar de t-toetsen, het effect van iedere onafhankelijke
variabele los. De t-toets gaat uit van H0=0 en Ha≠0. In stap 3 kunnen we de richting van het
verband aflezen aan de b’s, de coefficienten van de onafhankelijke variabelen.
• Dan iets over de 6 assumpties van lineaire regressie: 1. Aselecte steekproef 2. Geen
multicollineariteit 3. Geen autocorrelatie 4. Lineariteit 5. Normaliteit 6. Homoscedasticiteit.
• 2. Multicollineariteit manifesteert zich door een significante F-toets, maar geen significante t-
toetsen. Daaruit kun je opmaken dat de onafhankelijke variabelen met elkaar correleren,
waardoor de standaardfouten groter worden en de t-toetsen onbetrouwbaar worden. Je meet
multicollineariteit door de variantie van X1 te meten die wordt verklaard door X2, uitgedrukt in
een R2. Daarbij werk je met Tolerance (1-die R2) en VIF (1/Tolerance). Als geldt dat Tolerance
<0,10 en VIF>10, is er sprake van multicollineariteit. De oplossing is een grotere steekproef.
