M&TII kwantiatieve deel
Week 5: herhaling M&TI
Hoorcollege + werkgroep + verplichte literatuur: H1, H2, H6 (t/m 6.8), H8, H10, H19 (t/m 19.8) en H9
(blackboard). Deze week dus veel stof maar ook veel herhaling vorig jaar.
HOORCOLLEGE + H9 BLACKBOARD
Evaluatieonderzoek = wetenschappelijk evalueren van een bepaald onderzoek.
• Twee soorten:
a. Effectevaluatie (Ex post): stelt vast wat de maatregelen hebben opgeleverd en of de maatregelen
als geslaagd kunnen worden beschouwd. Of doelen behaald zijn. Achteraf bekijken, hiervoor moet
situatie vooraf goed in kaart gebracht worden.
b. Procesevaluatie: verloop van project aan een kritische beschouwing onderwerpen. Hierbij kunnen
volgende onderzoeksvragen gesteld worden:
o hoe wordt samengewerkt?
o is de afstemming tussen partners goed?
o voldoet communicatie tussen projectleider en leden projectgroep?
o komt iedereen verantwoordelijkheden taakuitvoering na?
Kan helpen de resultaten van een effectevaluatie te begrijpen en leidt tot aanbevelingen ten aanzien
van de organisatie.
c. Ex ante: van tevoren, vanuit de theorie, bepalen of manier van observeren of manier van uitvoeren
goed zal zijn en de beoogde doelen zal bereiken.
• Waarom gebruik je het?
a. (potentiële) effectiviteit meten
b. Verwerven van nieuwe kennis
c. Verbeteringen aanbrengen
d. Verantwoording afleggen
• Voorbeeld evaluatievragen:
1. Wat is het probleem?
2. Wat is de interventie?
3. Wat is het beoogde effect?
4. Wordt dit effect bereikt? = kwantitatief
5. Hoe komt dit? = kwalitatief
6. Zijn er rivaliserende verklaringen? = andere verklaringen die effect verklaren.
7. Zijn er neveneffecten? = andere onbedoelde effecten van interventie. Bv:
- Verplaatsingseffect: wanneer door interventie ene specifieke crimineel gedrag wel daalt, maar
vervolgens andere criminele gedragingen stijgen.
- Registratie-effect: een afhankelijke variabele kan hoger scoren door meer registratie.
• Evaluatieonderzoek dus niet zo simpel: vaak rivaliserende variabelen en neveneffecten die effect zouden
kunnen verklaren , want geen puur empirische setting
o Neveneffecten en rivaliserende verklaring zijn uit te sluiten met regressieanalyse (hiermee kun je
kijken of je effect niet verklaart kan worden door een ander, maar beperking in onderzoek is vaak dat
je niet weet of je met alle verklaringen rekening houdt (kunnen erg veel zijn).
o Interne validiteit: in hoeverre is zeker dat er sprake is van een causale relatie tussen X en Y?
↓
Met een experimenteel design wordt geprobeerd alternatieve verklaringen onder controle te houden.
• Experiment = een onderzoeksmethode gericht op het vaststellen van een causale relatie, waarbij er
meestal sprake is van een gemanipuleerde experimentele onafhankelijke variabele (X) en een
afhankelijke testvariabele (Y)
• Belangrijke begrippen:
,• Soorten experimenten, van weinig controle naar veel controle. Maryland Scientific Methods Scale,
sterktes onderzoek niveaus:
- Niveau 1: experimentele en controlegroep, alleen nameting (pre-experimenteel design)
- Niveau 2: experimentele groep, voor- en nameting, geen controlegroep (pre-experimenteel design)
- Niveau 3: experimentele en controlegroep, voor- en nameting (quasi-experimenteel design)
- Niveau 4: experimentele en controlegroep, voor- en nameting, gecontroleerd voor andere variabelen
(quasi-experimenteel design)
- Niveau 5: experimentele en controlegroep, voor- en nameting, waarbij groepen at random in één van
de twee groepen worden ingedeeld (experimenteel design)
• Experimenteel vs. observationeel onderzoek: heeft geen controlegroep, geen voormeting en selectieve
samenstelling van groepen.
Twee bewegingen binnen evaluatieonderzoek:
1. Campbell collaboration: betrouwbaarheid onderzoek heel belanhrijk, op experimentele manier.
o Evidence based policy
o Voortbouwen op elkaars onderzoek, gebruik systematic review: overzichten van resultaten
onderzoek, must have:
- Een duidelijke criteria voor inclusie en exclusie
- Een expliciete zoek-strategie
- Meta-analyses
- Systematische codering end analyse van bijgevoegde studies
o Hernieuwde aandacht interne validiteit: what works and what doesn’t
o Baseren zich alleen op niveau 3 t/m 5 MSMS
o Voordelen:
- alleen genoegen nemen met hard evidence
- overzicht creeëren: wat weten we nu concreet over effectiviteit?
o Nadelen:
- externe validiteit?
- interventie als ‘black box’
- waaróm werkt het wel of niet?
2. Realistic evaluation: gaat niet om óf het werkt, maar onder welke condities werkt het? Aandacht voor
mechanismen.
o Sociale en gedragsmechanismen die aan interventie ten grondslag ligt
o CMO-model: context-mechanism-outcome: hoe en waarom werkt een interventie uit in een
specifieke context?
o Openen black box van interventies:
1) Vaak onvoldoende inzicht in de precieze mechanismen die interventie in werking zet
2) Mechanismen zijn niet universeel, maar contextgebonden
3) Mechanismen kunnen elkaar tegenwerken
4) Combinatie van kwalitatief en kwantitatief onderzoek
o Voordelen:
- helpt begrijpen waarom effecten zich voordoen
Kan omgaan met veranderingen in de interventies
o Nadelen:
- uitvoerige dataverzameling nodig
, - resultaten minder gewaardeerd in termen van wetenschappelijkheid
- beleidsmakers willen vaak alleen weten OF iets werkt, niet hoe en wanneer
Bedreigingen goede beleidsevaluatie in criminologisch onderzoek:
1. Onheldere doelen
2. Selectie
3. Geen controlegroep
4. Afhankelijkheid van registraties door anderen
5. Politieke context en mediagevoeligheid
6. Geen micromodel, waardoor ‘black box’: waarom iets werkt.
7. Caseflow: hoe kleiner het experiment, hoe meer controle de onderzoeker uit kan oefenen en hoe beter
hij of zij storende invloeden kan uitschakelen, maar hoe minder statistische kracht – en vice versa.
8. Treatment integrity: interventies neigen dynamisch te zijn en kunnen veranderen tijdens het onderzoek,
waardoor onduidelijk is vast te stellen welke interventies nou precies werkten en waarom.
9. Confounding: als het verband dat je vindt geen causaal verband is maar wordt veroorzaakt door een
derde factor / stoorfactor.
WERKGROEP
Invoeren van data:
Stap 1: ‘new dataset’
Stap 2: ‘variable view’ → kolommen invullen:
• Name: vul de naam in van de variabelen (bv. ‘leeftijd’, of ‘geslacht’)
• Type: variabelen kunnen in verschillende typen komen, de meeste gebruikte zijn nummeric: de
variabelen bevatten nummers. Andere zijn (o.a.):
o String variables: bevatten letters, bv. namen. Altijd nominaal.
o Currency variables: bevatten valuta (euro, dollar, yen etc.)
o Data variables: bevatten datum
• Width: geeft wijdte (in aantal digits) aan waarin variabelen verschijnen (in data view)
• Decenimals: je bepaald op hoeveel decimalen SPSS de variabele weergeeft
• Label: passend label geven (vooral bij variabelen als ‘uitgerust’, zodat je later nog weet wat hiermee
bedoeld wordt).
• Values: waarden van jouw variabele definiëren/coderen: aangeven wat bv. de waarden 0 en 1
betekenen. Bj leeftijd is ‘18’ duidelijk, maar bij geslacht is ‘1’ niet duidelijk. Te doen in venster ‘value
labels’ (rechtervakje onder ‘Values’)
- Geef nominale variabelen bestaande uit 2 waarden daarom altijd dezelfde naam als het label
van waarde 1, zodat je altijd in een oogopslag kunt zien wat de waarde 1 betekent (‘geslacht’
wordt dus ‘man’)
- Met het knopje ‘value labels’ (rood met een A en een 1 erop) kun je nummers in data view
omwisselen voor de values die je de nummers hebt gegeven.
• Missing: hier zet je variabelen neer die je als outliers ziet, hierover straks meer.
• Colums: geeft breedte van de kolommen waarin variabelen verschijnen (in data view)
• Align: hoe je wilt dat de tekst staat.
• Measure: meetniveau aangeven per variabele (ordinaal, nominaal, of ‘scale’ [ratio of interval])
• Role: n.v.t.
➢ Tip: je kunt kopiëren en plakken in SPSS (handig bij vaak dezelfde nummers)
Stap 3: klik op ‘data view’ en vul vervolgens je vragenlijsten in
➢ Voor het opsporen van outliers/uitbijters [waarden die substantieel afwijken van de overige waarden in
je variabele] kan het handig zijn om een aparte variabele ‘respondentnummer’ toe te voegen zodat je de
respondenten kan identificeren aan een uniek nummer.
Verkenning data:
1) Data analyseren in ‘variable view’, wat er allemaal staat en of alles klopt.
2) Het uitdraaien van een frequentietabel: laat zien hoe vaak alle waarden in een variabele voorkomen,
zo te zien hoe je data verdeeld zijn (bv. normale verdeling) en controleren op outliers. De data komt weer
in een apart document: je output.
, ‘Analyse’ → ‘descriptive statistics’ → ‘frequencies’ → kies variable → ‘charts’ → ‘histograms’ → ‘show
normal curve on histogram →‘continue’ → ‘paste’ → ‘run’ (groene icoon in de syntax)
• Syntax: een bestand waarin alle commando’s die jij aan SPSS geeft worden opgeslagen, zo kun je altijd
achterhalen hoe je tot bepaalde uitkomsten gekomen bent en evt. fouten opsporen in je analyses. Doe
dit door ipv. op ‘ok’ bij commando op ‘paste’ te drukken.
• Vervolgens goed te zien of er een outlier is. Hierbij analyseren of dit het gevolg is van een fout. Wanneer
je te maken hebt met een outlier die geen fout betreft, is het verstandig je analyse zowel met als zonder
de outlier te draaien. Zo kun je duidelijk zien wat het effect is van het meenemen van de outlier in je
analyses: ‘variable view’ → ‘missing’ bij kolom y → x invullen bij ‘discrete missing values’
3) Het opvragen van descriptives: geeft een meer samenvattend overzicht van je variabele. Geeft N,
minimale waarde, maximale waarde, het gemiddelde en standaarddeviatie weer.
‘Analyse’ → ‘descriptive statistics’ → ‘descriptives’ → kies variable → ‘paste’ → ‘run’
Univariatie analyse
• Tendenties opzoeken, bedenk hier wel bij welke tendetie het beste past bij je variable (zie hoorcollege)
‘Analyse’ → ‘descriptice statistics’ → ‘frequencies’ → kies variable → ‘statistics’ → vink ‘Mean’
(gemiddelde), Median (median)’ en/of ‘Mode’ (modus) aan → zorg dat ‘charts’ op ‘none’ staat → paste
→ run
• Naast het berekenen van de gemiddelde leeftijd (x) van de groep als geheel, kun je ook de gemiddelde
leeftijd van mannen en vrouwen apart berekenen door leeftijd samen te voegen met geslacht (y):
‘Analyse’ → ‘compare means’ → ‘means’ → vul x in ‘depedent list’ en y in ‘independent list’ → ‘paste’ →
‘run’
Grafische weergave
• Soms wil je in één opslag een aantal kenmerken van je steekproef weergeven:
‘Graphs’ → ‘legacy dialogs’ → ‘pie’ (cirkeldiagram) of ‘bar’ (staafdiagram) → ‘summaries for groups of
cases’ → ‘define’ → selecteer variabelen en verplaats deze naar ‘define slices by’ → bij ‘slices represent’
kies je ‘% of cases → paste → run
• Het vergelijken van twee groepen van verschillende variabelen kan via de optie ‘crosstabs’ bij ‘descriptive
statistics’
Belangrijk voor het weergeven van data is:
• Dat de data duidelijk af te lezen is en zo de kijker motiveert om te begrijpen waar de data om gaat
• Er geen afleidingen zijn: patterns, cylinfers, of 3D plots (nooit doen)
• Het geen valse indrukken creëert
• Er niet teveel inkt gebruikt wordt
H1
Proces kwantitatieve data-verzameling
Observatie, theorie verwerken & hypothese opstellen:
• Observatie gebeurd in de ‘echte’ wereld, je bent nieuwsgierig naar iets
• Theorie verzamelen en op basis hiervan een hypothese stellen
• Verificatie = door middel van wetenschappelijk onderzoek hypothese onderbouwen
• Falsificatie = het weerleggen van een hypothese, als dit niet lukt dat heb je een goede
Data verzamelen:
1. Wat ga je meten?
• Variabelen:
a. Onafhankelijke variabele: de oorzaak (X)
b. Afhankelijke variabele: het gevolg (Y), verandert bij verandering X
• Meetniveaus:
a. Categorisch:
