Hoorcollege 1
Aan het eind van de cursus:
Weet je welke analysetechnieken voor niet-experimentele gegevens er zijn;
Welke technieken je gebruikt bij een bepaalde onderzoeksvraag en een bepaalde dataset;
Kun je uitleggen hoe deze technieken ‘werken’ (met een minimum aan formules);
Kun je deze technieken uitvoeren in STATA;
En kun je de resultaten inhoudelijk interpreteren.
Introductie (hoofdstuk 1 boek)
Causaliteit
Als we beleid gaan maken, willen we dat als je beleidsregel toepast, het leidt tot gevolg dat beleid
effectief is. We willen zeker zijn dan gevolgen van bepaalde oorzaken.
Drie voorwaarden:
1) X (oorzaak) gaat vooraf aan Y (gevolg)
2) X correleert met Y we hebben theoretische ideeën over oorzaken en gevolgen, maar dat
moeten we in de praktijk toetsen en waarmaken. In de praktijk moeten we echt kunnen zien dat
X correleert met Y (correlatie, verband, samenhang)
3) Er is geen andere verklaring voor de samenhang tussen X en Y deze voorwaarde is het
lastigste. De eerste twee zijn redelijk eenvoudig te beredeneren. We weten niet of er andere
verklaring is. We kunnen hier nooit zeker van zijn. Er is wel eens sprake van spurieuze verbanden:
het gevonden verband komt door een derde variabele, variabele Z. Er is dan verband tussen X en
Y via Z. Z is oorzaak van X en oorzaak van Y.
Je kan ook een ketenverband hebben: X Z Y.
Reciproke relatie: onderzoek naar werk en delinquentie. We weten dat delinquentie ervoor zorgt
dat je geen werk hebt en als je geen werk hebt, veroorzaakt dat ook weer delinquentie. Er is een
soort van cirkel tussen X en Y.
Suppressor variabele: we zien eigenlijk geen verband tussen X en Y, terwijl dat er wel is. Het
verband wordt gedrukt door variabele Z. Deze variabele heeft dus een invloed op het verband
dat we zien. Als we Z weghalen, zou het verband hoger worden of lager worden.
Causaliteit
Controleren door partiële correlatiecoëfficiënt, voor plausibele verstoorders. Je kunt echter niet de
hele wereld uitpartialiseren, dus de (evidente) overt bias (gemeten bias) kun je controleren, maar de
hidden bias (ongemeten bias/ongeobserveerde bias, we weten wel dat deze variabelen er zijn en
effect kunnen hebben, maar deze kunnen we niet meten) niet.
Het klassieke experiment
Over het algemeen wordt het lastige van hidden bias opgelost door klassiek experiment te doen. Er is
dan altijd sprake van een experimentele groep (voor- en nameting) en controlegroep (voor- en
nameting). Experimentele groep krijgt een treatment (W), controlegroep krijgt dat niet. Daarna
meten wat het effect is. De kracht van klassieke experiment is random toewijzing: tussen E en C
bestaan alleen toevallige en dus geen systematische verschillen, dus geen bias. De hidden bias is dan
door het experiment zo klein mogelijk.
1
,Als er bepaalde selectie is voor de kans dat mensen in bepaalde groep terecht komen, dan kan je het
experiment niet goed uitvoeren. Als je aan bepaalde eisen moet voldoen om gedragsinterventie te
krijgen, krijg je selectie. In zo’n geval zie je dat random toewijzing van belang zou moeten zijn, maar
dus niet altijd mogelijk is (werken met bestaande groepen; sommigen krijgen gevangenisstraf en dat
kan je zelf niet uitdelen).
C is de counterfactual van E: C is wat de E was geweest als ze de treatment niet hadden gehad.
Netto-effect van interventie: (E2-E1) – (C2-C1)
Bij bruto-effect hebben we het alleen over de experimentele groep; het houdt geen rekening met
controlegroep. Het laat alleen zien dat we bepaalde toename of afname hebben, maar dat zegt niet
zoveel. Het kan ook toevallig zijn en we willen juist de vergelijking met controlegroep.
In sommige gevallen is voormeting niet zo belangrijk. Bij gedragsinterventie voor geweldsdelict om
recidive te verkleinen zou de voormeting het geweldsdelict zijn, maar dat hebben ze allemaal
gepleegd. In zo’n geval is voormeting niet per se noodzakelijk en kunnen we vooral naar de nameting
gaan meten. De random toewijzing is dan nog wel steeds altijd nodig. We willen zeker weten dat we
hidden bias zo klein mogelijk maken. Is random toewijzing ook voldoende? Nee, bij voorkeur ook
(maar niet altijd mogelijk):
Placebo-controlled experiment: houdt in dat controlegroep wel iets moet krijgen. Alleen al het
idee dat er iets gedaan wordt, zorgt ervoor dat bepaald effect ontstaat. Het is altijd goed om de
controlegroep ook iets aan te bieden, bijv. treatment as usual = de normale, oude
gedragsinterventie die je dan voor de controlegroep gaat gebruiken. Beide groepen hebben dan
het gevoel dat er iets gedaan wordt, waardoor effect ook vergelijkbaar wordt. Ook kan nep
treatment worden gebruikt, maar in criminologie gebruiken ze meestal treatment as usual.
Onderzoeker kan van invloed zijn op experiment. Als je weet wie tot welke groep behoort, kan je
ook, zonder dat je het weet, het experiment beïnvloeden. Bijvoorbeeld dat je meer positieve
dingen gaat zien/registreren dan die er eigenlijk zijn of andersom. Daar moet je altijd op letten.
Ook onderzoekers moeten niet weten wie daadwerkelijke interventie krijgt en wie niet. Dit wordt
dubbelblind genoemd = respondent noch onderzoeker/toediener weet wie in welke groep zit.
Als je aan bovenstaande punten voldoet, zijn alle alternatieve verklaringen geëlimineerd.
Bovenaan staat het klassieke experiment of randomized controlled trial (RCT): onderzoeker heeft
volledige controle; samenstelling groepen en toediening treatment.
Daar onder staat het quasi-experiment: groepen zijn al gevormd, onderzoeker controleert alleen
toediening treatment. In criminologie zijn de groepen vaak al gevormd (bijv. bepaalde schoolklassen
gebruiken in je onderzoek; je kan niet zelf klassen door elkaar gaan wisselen om het random te
maken).
Daar onder staat de observationele studie (hiermee kan je minste causaliteit aantonen): geen
controle, groepen zijn gevormd en treatment is toegediend.
Maryland Scientific Measurement Scale
5 punten: Klassieke experiment/RCT
4 punten: Quasi-experiment met vergelijkbaar gemaakte groepen
3 punten: Quasi-experiment met onvergelijkbare groepen
Scores 2 en 1 zijn te laag voor ‘evidence’ (bijv. alleen experimentele groep of duidelijk
onvergelijkbare controlegroep)
Propensity score matching = een 3 naar een 4 opkrikken; voor elke persoon die je hebt, ga je
persoon met dezelfde kenmerken zoeken en met elkaar vergelijken.
In criminologie en sociale wetenschappen hebben we vooral studies met score 2 en 1. We doen
vaak observationele studies.
2
,Klassieke experiment kan vaak dus niet (onethisch, praktisch; beleid onderzoeken duurt vaak lang en
die tijd hebben we niet, niet te handhaven), tenzij een natuurlijk experiment zich voordoet. Verder
speelt uitval ook een rol en uitval is altijd selectief. Uitval is van invloed op random toewijzing. Soms
wil je bovendien geen klassiek experiment (externe / ‘ecologische’ validiteit).
Dus in praktijk toch vaak observationele studies.
Observationele studie
Is dat erg? Nee helemaal niet, maar levert wel wat issues op als je causaliteitsuitspraken wilt doen.
Om toch beetje in die richting te komen, moet je voldoen aan de SUTVA assumptie:
De waarde Yiw van respondent i die interventie W heeft gekregen wordt niet beïnvloed door de wijze
waarop de interventie is toebedeeld of door het feit dat anderen dan i de interventie wel of niet
hebben gekregen.
2e deel = geen interferentie E en C groep - kun je redelijk controleren. Kunnen de groepen elkaar
beïnvloeden doordat ze bijv. in hetzelfde gebouw zijn en samen bij koffiemachine staan?
1e deel = toewijzing respondenten aan condities onafhankelijk van hun verwachte score op de
uitkomstvariabele - kun je lastig nalopen, controleren voor alles wat je gemeten hebt, maar weer niet
voor de ongemeten kenmerken (hidden bias). Het moet niet zo zijn dat je bepaalde score van iemand
verwacht en om die reden iemand in een bepaalde groep stopt. Je moet altijd onafhankelijk van
verwachte score op de uitkomstvariabele mensen indelen.
2 voorbeelden van vertekening door dit soort hidden bias overschatting van effect:
De deelnemers die meedoen aan werktoeleidingsproject (experimentele groep) hebben veel meer
motivatie dan de gehele groep ex-gedetineerden. In zo’n geval zou je verwachten dat Y (de uitkomst)
beïnvloed is hierdoor. Ze zullen harder werken en op zoek gaan naar een baan etc. In zo’n geval zie je
een overschatting van het effect.
Onderschatting van effect
3
, Mensen met hoog risico hebben gedragsinterventie gehad. Ze komen ongeveer gelijk uit, dus dan
zou je zeggen dat gedragsinterventie niet zoveel invloed heeft. Dit is natuurlijk niet het geval, want
de behandelde groep had hoger risico op recidive. We krijgen dan een onderschatting van het effect.
Terminologie
Treatment W noemen we in dat geval
endogeen ~ selectie, (hidden) bias, endogeneity bias, confounded
bij endogeen hebben we het over datgene dat we niet kunnen zien en niet kunnen meten en dus niet
willen.
In klassiek experiment gegarandeerd
exogeen -> dan geen bias! We hebben dan geen endogeneity bias.
We streven naar exogeniteit (zo min mogelijk bias), maar we hebben heel vaak te maken met
endogeniteit.
Hoofdstuk 2 regressie analyse
Enkelvoudige regressie
Voorspellen X Y
X gebruiken om Y te voorspellen.
Het basismodel is Y = a + bX.
a = intercept en b = regressiegewicht van variabele X.
Doordat we schatten, kunnen we er ook naast zitten. Daarom voegen we ook altijd e i toe (errorterm
per persoon): kijken in hoeverre de schatting van die persoon afhangt van Y en invloed heeft op
daadwerkelijke Y. Errorterm is belangrijk, omdat we dan zo goed mogelijke schatting kunnen maken
van effect. We gaan voor elk persoon de errorterm schatten en deze meenemen in het model.
Bij enkelvoudige regressie gebruiken we het schattingsmodel ‘Ordinary Least Squares’ (OLS). Dit
houdt in dat we zo klein mogelijke errortermen. Het model gaat dan zoeken naar de X die zo min
mogelijk error geeft en dus de X die zo goed mogelijk voorspelt. We gaan op zoek naar wat de minst
grote fout geeft. De OLS wordt ook wel kwadratant genoemd, omdat we de errortermen
kwadrateren en die tellen we op. We schatten met dit model a (intercept) en b (hellingshoek).
Intercept is startpunt waar vanuit we gaan rekenen. Hellingshoek houdt in dat als het met 1
toeneemt, hoeveel het dan naar boven of onder gaat. Je kan kijken hoeveel iets toeneemt of
afneemt en wat dan het effect is van Y. Dat is een correlatiecoëfficiënt tussen X en Y.
OLS: geen andere schatting mogelijk met kleinere som van de gekwadrateerde errortermen.
b - ongestandaardiseerd regressiegewicht
voordeel: goed inhoudelijk te interpreteren toename in centimeters is goed te
interpreteren.
nadeel: schaalafhankelijk
- gestandaardiseerd regressiegewicht = beta is gelijk gemaakt voor verschillende X-en. We
kunnen die met elkaar gaan vergelijken. We kunnen dan zeggen: die bepaalde X, die variabele,
4
