Samenvattingen literatuur
Beleids- en evaluatieonderzoek
Inhoud
College 1.................................................................................................................................................1
Policy evaluation in Europe.................................................................................................................1
Ex Ante and Ex Post Evaluations: Two Sides of the Same Coin? The Case of Gender Mainstreaming
in EU Research Policy":.......................................................................................................................4
Sloot, D., Jans, L., & Steg, L. (2019). In it for the money, the environment, or the community?.........4
College 2.................................................................................................................................................8
WHAT WORKS IN EVALUATION RESEARCH? RAY PAWSON and NICK TILLEY........................................8
Methodology A realistic evaluation: the case of protocol-based care Jo Rycroft-Malone, Marina
Fontenla, Debra Bick, and Kate Seers................................................................................................11
College 3...............................................................................................................................................14
Leeuw, F. L. (2003). Reconstructing program theories: Methods available and problems to be
solved. American journal of evaluation, 24(1), 5-20. https://doi.org/10.1016/S1098-
2140(02)00271-0..............................................................................................................................14
Van Heffen, O. (2003) Beleidstheorieën in de beleidspraktijk. In: Hoogerwerf & Herwijer (red.).
Overheidsbeleid. Een inleiding in de beleidswetenschap, 7de druk.................................................17
Rogers, P. J., Petrosino, A., Huebner, T. A., & Hacsi, T. A. (2000). Program theory evaluation: Practice,
promise, and problems. New directions for evaluation, 2000(87), 5-13...........................................18
College 4...............................................................................................................................................19
"Zonder context geen bewijs: Over de illusie van evidence-based practice in de zorg.....................19
College 5...............................................................................................................................................21
College 1
Policy evaluation in Europe
Dit hoofdstuk bespreekt het belang van beleidsevaluaties in de publieke sector in Europa. De auteurs
onderzoeken of het groeiende belang van beleidsevaluaties daadwerkelijk overeenkomt met de
,evaluatiecapaciteit en -cultuur in Europa. Ze onderscheiden twee 'golven van evaluatie': landen in
Noordwest-Europa die sinds de jaren 1960 evaluaties hebben uitgevoerd, en landen elders in Europa
waar evaluatie een recentere ontwikkeling is. De auteurs analyseren de evaluatiecultuur en -
capaciteit in drie politieke systemen die de nationale, regionale en internationale niveaus
vertegenwoordigen: het Verenigd Koninkrijk, Vlaanderen (België) en de Europese Unie. Het hoofdstuk
eindigt met een reflectie op huidige trends in evaluatieonderzoek en mogelijke toekomstige
onderzoeksmogelijkheden.
30.2 & 30.3.1
Dit deel van het hoofdstuk bespreekt de twee golven van beleidsevaluatie in Europa. De eerste golf,
geïnitieerd in de jaren 1960-1970, vond zijn oorsprong in de Verenigde Staten en concentreerde zich
voornamelijk in Noordwest-Europa, waaronder het Verenigd Koninkrijk, Duitsland en Scandinavische
landen. Deze golf werd aangewakkerd door de behoefte aan evaluaties in nieuwe sociale
programma's en beleid na de Tweede Wereldoorlog. De nadruk lag op empirische en statistische
informatie om toekomstige interventies te plannen. Niet alle landen in Noordwest-Europa werden
evenveel beïnvloed, waarbij sommige, zoals Nederland en Zwitserland, relatief onaangetast bleven.
De tweede golf, gestart in de jaren 1990, verschoof de aard van beleidsevaluatie naar meer efficiëntie
en zakelijkheid, beïnvloed door het New Public Management-paradigma. De EU oefende druk uit op
landen om evaluaties uit te voeren, vooral in verband met fondsenbesteding.
Het hoofdstuk onderzoekt ook de huidige evaluatiecultuur en -capaciteit in drie politieke systemen:
het Verenigd Koninkrijk, Vlaanderen en de Europese Unie. Hierbij worden zes indicatoren gebruikt om
de evaluatiecultuur en -capaciteit te analyseren. Het blijkt dat landen die tijdens de eerste golf van
evaluatiecultuurontwikkeling betrokken waren, hun positie als pioniers in evaluatiebehoud hebben
gehandhaafd. De tweede golf, gedreven door het New Public Management-paradigma en EU-druk,
heeft de aard van evaluaties veranderd naar meer nadruk op verantwoording en kwantitatieve
prestatiebeoordeling. Het hoofdstuk concludeert met een reflectie op de uitdagingen bij het
definiëren en meten van evaluatiecultuur en -capaciteit, en presenteert drie casestudies om deze
concepten in de praktijk te illustreren.
30.3.2
Dit gedeelte richt zich op een casestudy van het Verenigd Koninkrijk (VK) met betrekking tot
beleidsevaluatie. In de jaren 1970 begon evaluatie in het VK gedreven door twee krachten: de
toenemende professionalisering van het openbaar bestuur en de behoefte om de overheidsuitgaven
onder controle te houden, wat resulteerde in een IMF-bailout in 1976. In de jaren 1980 evolueerde
het evaluatieproces met de oprichting van de Effciency Unit en Financial Management Initiative, die
zich richtten op waarde voor het geld in de overheid.
De tweede helft van de jaren 1990 bracht formalisering en routinisering van evaluatieprocedures met
de publicatie van de 'Green Book' in 1997 en de formele adoptie van impactbeoordelingen in het
beleidsproces in 1998. Na de financiële crisis en het tijdperk van New Labour richt evaluatie zich nu
meer op het leveren van waarde, met een combinatie van sleutelmomenten en routinematig gebruik
van kosten-batenanalysetechnologieën.
Het VK heeft sterke institutionele regelingen voor evaluatie, met gedecentraliseerde evaluatietaken
naar afdelingen en, waar van toepassing, gedevolveerde besturen. Er zijn specifieke normen
vastgelegd in de 'Green Book' en 'Magenta Book', met sterke institutionele regelingen voor evaluatie
binnen het parlement en de aanwezigheid van het National Audit Office (NAO) dat rapporten levert
aan parlementaire commissies. De evaluatiecultuur wordt weerspiegeld in organisaties zoals het UK
Evaluation Society (UKES), opgericht in 1994, en gespecialiseerde lichamen zoals de Social Research
Association (SRA).
Ondanks deze sterke regelingen wordt de evaluatie in het VK beïnvloed door politieke agenda's, en
evaluatie in het parlement is meer reactief, vaak geïnitieerd door crises of beleidsmislukkingen. Het
VK heeft aanzienlijke uitgaven en werkgelegenheid in evaluatie, maar er is variatie in hoe
departementen evaluaties plannen en toepassen. De doelstellingen van evaluatie worden benadrukt
door de 'Green Book', maar er is een uitdaging bij het integreren van kostenschattingen (ex ante) met
evaluatieresultaten (ex post).
, 30.3.3
Dit gedeelte behandelt een casestudy van Vlaanderen met betrekking tot beleidsevaluatie.
Vlaanderen behoort tot de tweede golf van evaluatie, gestimuleerd door zowel NPM als de EU. Grote
publieke sectorhervormingen werden geïmplementeerd in 2006, bekend als Beter Bestuurlijk Beleid
(BBB), gemodelleerd naar NPM-richtlijnen. Evaluatie kreeg erkenning binnen dit kader, en nieuwe
instrumenten werden geïntroduceerd. De EU speelde ook een rol door verplichte evaluatievereisten
voor EU-trainingen en handleidingen.
Institutionele maatregelen zijn genomen om evaluatie binnen de uitvoerende macht te verankeren,
maar het parlement volgt niet hetzelfde positieve patroon. Er is geen speciale commissie toegewezen
voor openbaar beleidsevaluatie. De Rekenkamer van België heeft haar bevoegdheden uitgebreid naar
prestatie-audits, die als ex post evaluaties kunnen worden beschouwd. Evaluatieactiviteiten in
Flanders zijn verspreid over verschillende beleidsdomeinen, waarbij sectoren zoals onderwijs, arbeid
en milieu meer ervaring hebben dan andere.
Wat betreft evaluatie-inhoud, is er een pluraliteit aan evaluatievragen, waarbij doelbereiking de
meeste aandacht krijgt. De overgang van externe stimulansen naar intrinsieke beleidsdoeleinden blijft
echter een uitdaging. Over het algemeen heeft de publieke sector in Vlaanderen vooruitgang geboekt
op het gebied van evaluatiecapaciteit en -cultuur, maar er zijn nog steeds verschillen tussen
beleidssectoren, en evaluaties worden voornamelijk uitgevoerd voor beleidsvoorbereiding,
implementatie en juridische verplichtingen.
30.3.4
Dit gedeelte behandelt een casestudy van de Europese Unie (EU) met betrekking tot beleidsevaluatie,
verdeeld in vier periodes van evolutie gedurende de afgelopen 30 jaar.
1. Periode 1980-1994: Evaluatie gebeurde onsystematisch in verschillende DG's (Directoraat-
Generaal) met als doel de beleidseffectiviteit te verbeteren.
2. Periode 1995-1999: Toename van structurele fondsen en de opkomst van Nieuw Publiek
Management (NPM) leidden tot een verschuiving van het evaluatiemotief van beleerdoelen
naar financiële verantwoording. Het aantal evaluaties van EU-structurele fondsen nam sterk
toe.
3. Periode 2000-2006: Uitgebreide hervormingen na het aftreden van de Santer Commissie
richtten zich op het verbeteren van beleidseffectiviteit en verantwoording. Ex-post evaluatie
omvatte regulering en zachte wetgeving, maar ondanks de focus op ex-post evaluatie in NPM,
werd ex-ante impactbeoordeling het belangrijkste instrument.
4. Periode 2007-heden: De introductie van het Smart Regulation-programma plaatste evidence-
based beleidsvorming centraal. De Secretariat-General nam de coördinatie over en
introduceerde het Fitness Check-instrument om volledige beleidsgebieden te evalueren.
Ondanks de evolutie ontbreekt een duidelijk identificeerbare evaluatiegemeenschap binnen de EU.
De institutionele regelingen binnen de Commissie zijn relatief sterk, met coördinatie door DG Budget
en links naar het budgetteringssysteem. Het Europees Parlement heeft echter zwakkere regelingen,
ondanks enkele verbeteringen in de eigen evaluatiecapaciteit.
De Europese Rekenkamer prioriteert strikte auditing maar voert nu ook prestatie-audits uit, waardoor
de scheidslijn tussen evaluatie en audit vervaagt. Ondanks de volwassenheid van het huidige
evaluatiesysteem, zijn er nog uitdagingen, waaronder de tegenstelling tussen ex-post evaluatie en
impactbeoordeling, en de belofte van systematische, hoogwaardige regelgevingsbeoordelingen die
nog niet volledig zijn nagekomen.
30.4
Dit gedeelte behandelt trends, mogelijkheden en uitdagingen in evaluatieonderzoek in Europa.
Trends in Evaluatieonderzoek:
1. Breder Perspectief: Er is een trend naar onderzoek naar evaluaties van beleid als geheel,
inclusief regelgevende instrumenten, in plaats van alleen afzonderlijke maatregelen,
projecten en programma's.
2. Stakeholderbetrokkenheid: Er is meer aandacht voor onderzoek naar de betrokkenheid van
belanghebbenden bij evaluaties, met name in relatie tot het gebruik van evaluaties. Er wordt
