30
Diversity in Working Arrangements
Twee posities (insider-outsider debat): evaluator moet zo onafhankelijk mogelijk zijn van invloed
van programmamanagement en -personeel vs. contact tussen beleids- en programmapersoneel
verbetert het evaluatiewerk door beter begrip.
Inside Versus Outside Evaluations
Toename in evaluaties die binnen een programma worden uitgevoerd.
De een is niet beter dan de ander, het doel van evaluatie is wel vaak verschillend.
Organizational Roles
Evaluatoren moeten begrijpen wat hun rol is ten opzichte van sponsoren en personeel.
o Adviesgroep of consultant om evaluatieontwerp, implementatie en bevindingen te
bekijken is goede manier om geschikte werkrelaties te ontwikkelen en behouden.
The Leadership Role of Elite Evaluation Organizations
Evaluatieorganisaties hebben een strategische positie in het evaluatieveld, kwaliteit is veel
toegenomen en methodologische inzet is gestegen.
Studenten worden weinig blootgesteld aan grootschalige, technisch ingewikkelde
evaluatieprojecten omdat deze organisaties verwijderd zijn van universiteiten.
Evaluation Standards, Guidelines, and Ethics
Verschillende professionele verenigingen hebben standaarden voor evaluatie geformuleerd en
gepubliceerd.
Vijf principes: systematisch onderzoek; competentie; integriteit en eerlijkheid; respect voor
mensen; algemeen welzijn en gelijkheid.
o Deze vervangen niet de ethische standaarden van universiteiten.
Utilization of Evaluation Results
Evaluaties zijn een soort sociale interventies, want ze zijn gericht op verbetering van sociale
omstandigheden via verbeterd beleid en programma’s.
o Direct instrumental use: aanpassingen aan programmahandelingen of andere acties op
basis van evaluatieprocessen en -bevindingen.
Maar evaluaties kunnen ook invloed hebben doordat ze de manier van denken
van besluitvormers beïnvloede (enlightenment).
Vervanging van ‘gebruik’ van evaluatie door evaluation influence.
Guidelines for Maximizing Utilization
Betrokkenheid van stakeholders is erg belangrijk om het gebruik van evaluatie-bevindingen
mogelijk te maken (interactie & communicatie met evaluatoren).
Epilogue: The Future of Evaluation
Evidence-based practice movement/evidence-based programs movement: prioriteit in
implementatie van programma’s die ondersteund worden door bewijs van effectiviteit, zowel als
nieuwe programma’s als als vervanging van bestaande programma’s zonder zulk bewijs.
Shadish, Cook & Campbell H1: Experiments and Generalized Causal Inference
Drie ontwikkelingen in de wetenschappelijke revolutie van de 17 e eeuw:
o Toename van gebruik van observatie om theoriefouten te corrigeren (weg van dogma’s);
o Experiment als bewuste actie gevolgd door systematische observatie van wat erna
gebeurde;
o Bewustzijn dat het gewenst is om overige invloeden te controleren.
, 31
Controlesystemen uit natuurwetenschappen werken slecht in sociale
wetenschappen nieuwe manieren zoals random asssignment of een niet-
gerandomiseerde control group.
Meer vormen van bias geïdentificeerd, meer methoden om ermee om te gaan.
Experiments and Causation
Bespreken van experimenten vereist vocabulaire en begrip van belangrijke concepten.
Defining Cause, Effect, and Causal Relationships
Causale oorzaken en gevolgen in het dagelijks leven herkenbaar, soms is er een reciprocal
relationship: cirkelrelatie, een variabele is zowel de oorzaak als het gevolg (bv. lage cijfers werken
demotiverend minder leren lage cijfers).
Definitie van causale relatie niet eenduidig, net als oorzaak en gevolg.
o Locke: oorzaak is iets wat een idee produceert, gevolg is het geproduceerde.
Cause
Een oorzaak voor een gebeurtenis is niet noodzakelijk, want er zijn andere oorzaken voor
dezelfde gebeurtenis mogelijk.
Daarnaast is het niet voldoende, er zijn randvoorwaarden om de gebeurtenis werkelijk te laten
ontstaan.
Inus condition: insufficient but non-redundant part of an unnecessary but sufficient condition.
o Insufficient: de oorzaak is niet voldoende zonder de randvoorwaarden.
o Non-redundant: het draagt iets bij aan het gevolg dat uniek anders is van andere factoren
(randvoorwaarden) in de samenstelling.
o Unnecessary: andere samenstellingen van condities hadden het gevolg ook kunnen
veroorzaken.
o Sufficient: het gevolg is in combinatie met de randvoorwaarden voldoende om het gevolg
te veroorzaken.
Effect
Gevolg begrijpen via een counterfactual model (tegenstelling van de waarheid): effect is het
verschil tussen de werkelijkheid en de counterfactual.
Meten werkelijkheid en counterfactual op hetzelfde moment bij dezelfde persoon niet mogelijk
daarom experimenten om een benadering van de counterfactual te krijgen en een redelijke
schatting te maken van het effect.
o Mogelijke manier is via case-control studies.
Causal Relationship
Mill: een causaal verband bestaat als:
1. De oorzaak vooraf ging aan het gevolg;
2. De oorzaak gerelateerd is aan het gevolg;
3. Er geen aannemelijke alternatieve verklaring is voor het effect behalve de oorzaak.
Logic of causal relationships
Causation, Correlation, and Confounds
In correlationeel onderzoek vaak niet duidelijk welke variabele eerst kwam, dus kunnen geen
causale verbanden worden vastgesteld.
o Correlation sluit ook weinig alternatieve verklaringen uit voor de relatie tussen twee
variabelen.
Relatie kan dus ook komen door een derde variabele (confound) experimenten
moeten deze variabelen dus identificeren.
Manipulable and Nonmanipulable Causus
Experimenten onderzoeken het effect van dingen die gemanipuleerd kunnen worden, niet-
manipuleerbare variabelen kunnen geen oorzaak zijn in een experiment het effect van niet-
manipuleerbare variabelen is daardoor ook veel moeilijker te vinden.
, 32
o Niet-manipuleerbare oorzaken moeten wel onderzocht worden, want hierdoor kunnen
manipuleerbare variabelen gevonden worden die gebruikt kunnen worden om een
probleem te verbeteren.
Analogue experiments: experiment dat een agent manipuleert die gelijk is aan de oorzaak waarin
interesse is.
Natural experiment: eerdere gebeurtenissen worden gebruikt om verschillende uitkomsten te
onderzoeken.
In experimenten worden condities soms aangepast, waardoor de overeenkomst tussen
testsituatie en werkelijkheid (waarnaar gegeneraliseerd wordt) kleiner wordt.
Case-control design: observeren van bepaalde uitkomst in een groep die niet voorkomt in een
andere groep gerelateerde oorzaken proberen te vinden.
Causal Description and Causal Explanation
Causal description: beschrijven van consequenties die toe te schrijven zijn aan een bewust
verschillende interventie.
Causal explanation: verklaring hoe en onder welke voorwaarden een causale relatie bestaat.
Molar oorzaak: samenstelling van verschillende factoren die samen leiden tot een gevolg
(beschrijvend oorzakelijk verband).
Moleculair oorzaak: losbreken van molaire oorzaken in moleculaire oorzaken, alle aparte
onderdelen (verklarend oorzakelijk verband).
Onderscheid tussen beschrijvend en verklarend oorzakelijk verband is in sociale wetenschappen
niet zo strikt, vaak bestaat een causaal verband uit een ketting van beschrijvende verbanden
waarin het ene het andere veroorzaakt.
o Experimenten testen de verschillende verbanden, de validiteit van verbanden, het
verschil tussen verbanden in verschillende omstandigheden (moderator) en voegen soms
kwantitatieve/kwalitatieve observaties toe om uitleg voor het beschrijvende effect te
krijgen (mediator).
Modern Descriptions of Experiments
In alle experimenten is er sprake van controle over interventie (manipulatie van een of meerdere
variabelen).
Randomized Experiment
Randomized experiment: de verschillende interventies worden toegewezen aan units op basis van
kans hierdoor twee of meer groepen die gemiddeld gelijk aan elkaar zijn.
o Verschil tussen de groepen na interventie daarom waarschijnlijk gevolg van de
interventie.
True experiment: soms synoniem voor randomized experiment, soms breder gebruikt voor elk
onderzoek waarin een independent variable gemanipuleerd wordt en een dependent variable
onderzocht wordt.
Quasi-Experiment
Quasi-experiment: geen random toewijzing aan treatment group, maar toewijzing door self-
selection of administrator selection.
o Nog wel controle over uitvoer van niet-random toewijzing, soort comparison groups,
manier van geven van de interventie.
Minder sterke counterfactual-informatie (verschil tussen groepen mogelijke alternatieve
verklaringen).
Uitsluiten van alternatieve oorzaken is gelinkt aan falsification.
o Confirmation is moeilijk, conclusies worden gebruikt tot er beter bewijs komt.
o Uitsluiten van alle mogelijke alternatieve oorzaken is niet mogelijk, focus is uitsluiten van
aannemelijke alternatieven.
Natural Experiment
, 33
Natuurlijk voorkomend contrast tussen een interventieconditie en een vergelijkingsconditie.
o Interventie is vaak niet manipuleerbaar (bv. aardbevingen).
Nonexperimental Designs
Correlational design/passive observationale design/nonexperimental design: verwachte oorzaak en
gevolg worden geïdentificeerd en gemeten, maar structurele kenmerken van een experiment
ontbreken.
o Geen design elements zoals pretest, controlegroep.
Experiments and the Generalization of Causal Connections
Sterkte van een experiment is de mogelijkheid om causale relaties te belichten.
Most Experiments Are Highly Local But Have General Aspirations
Experimenten zijn vaak heel lokaal, in beperkte omgevingen met een bepaalde versie van de
interventie.
o Ook vaak geen complete metingen, geen representatieve steekproef.
Om theorieën met brede toepasbaarheid te formuleren, is generalisatie nodig op taalniveau, meer
van constructs dan van operations die gebruikt zijn om de constructen te representeren in het
experiment.
Conflict tussen lokale causale kennis en gegeneraliseerde causale doelen van onderzoekers
(causal generalization).
Utos: gevallen waarover data verzameld wordt (units, treatments, observations, settings).
o Twee vormen van generalisatie hiervan:
Construct validity generalisatie: constructen die gerepresenteerd worden door
de onderzoeksactiviteiten.
External validity generalisatie: bestaan van de causale relatie in een variatie van
personen, omgevingen, interventies en gemeten variabelen.
Construct Validity: Causal Generalization as Representation
Hoe ga je van specifiek gemeten eenheden, interventies, observaties en omgevingen naar hogere
constructen die hierdoor gerepresenteerd worden?
o Constructen zijn abstracter.
o Soms moeten concepten opnieuw geformuleerd worden, op basis van wat is onderzocht.
Vraag van causale generalisatie: hoe kunnen we van de steekproef en de daaruit voortkomende
datapatronen generaliseren naar de doelconstructen die gerepresenteerd worden?
External Validity: Causal Generalization as Extrapolation
Bestaat een causale relatie ook in variaties van personen, omgevingen, interventies en
uitkomsten?
o Generalisatie is niet hetzelfde als breder toepassen, want de populatie waarnaar je wilt
generaliseren is niet per se breder dan de steekproefpopulatie.
Het kan soms wel breder zijn, maar generalisatie kan ook van breed naar smal
gaan: onderzoek naar een groep, om conclusies te trekken over/voor individuen.
Approaches to Making Causal Generalizations
Experimenten zijn sterk contextgebonden (eenheden, interventies, uitkomsten, omgevingen), dus
waarom is het juist om aan te nemen dat de steekproef past bij de algemene constructen en
variaties?
Sampling and Causal Generalization
Om dit goed bij elkaar te laten passen, worden formele kanssteekproeven voor eenheden,
interventies en omgevingen gebruikt steekproeven voor elk van deze populaties (random
selectie).
Niet vaak random selectie voor mensen, nog minder vaak voor interventie, uitkomsten en
omgevingen.
