Samenvatting Beleid en Evaluatieonderzoek (BEO)
Week 1
Hoorcollege 1 - Introductie
Programma
● Wat is een beleidsevaluatie?
● Typen beleidsevaluaties
● Trends en afhankelijkheid in evaluatieonderzoek (Europa)
● Weerbarstige beleidspraktijk
● Structuur van cursus
● Project ‘warme wijken’
Beleid Stappenplan
Formative: beleidsevaluatie gebruiken om een situatie te evalueren wat een formatief potentieel
over wat zou kunnen werken.
Summative: hier kijk je wat werkt, wat hebben we gezien wat werkt.
Ex-tempore/durante: mix van formative ex ante evaluatie en ex post summative evaluatie.
Typen beleidsevaluatie: Tijdstip
1
,Typen beleidsevaluatie; ‘hardheid’ uitspraken
Typen beleidsevaluatie: Functie
Er is een trend naar evidence based policy de laatste jaren.
Beleidsevaluatie in Europa: verklaringen
New public management & performance > business like maken
> efficiëntie
Europese Unie (EU): voor alles wat de EU doet moeten ze verantwoording afleggen waarom ze iets
doen.
2
,Beleidsevaluatie in Europa: Wave 1
Jaren 60 en 70 in US & Noordwest Europa
Beleidsevaluatie in Europa: Wave 2
Jaren 90: Two drivers
New performance & based policy >>>>>
Wave 2
EU >>>>>
Accountability is steeds meer van belang in beleid om het te evalueren.
Kritiek?
Typen beleidsevaluatie: weerbarstige praktijk
Nu: verdere beleidscontext
‘Key to an efficient, effective and
coherent policy cycle is that the ex
ante and ex post components of
evaluation are linked’ (Mergaert &
Minto, 2015).
3
,Beleidsonderzoek vs. wetenschappelijk onderzoek
‘Evaluation, unlike the basic sciences, does not aim for ‘truth’ or certainty’. Its aim is to help
improving programmering and policy making’ (Weiss)
Beleidscontext: Hoe is het beleidsonderzoek anders?
- Opdrachtgever in plaats van financier
- Wetenschappers, maar ook consultants
- Much more than ‘basic scientists’, policy researchers have ‘to continually assess the social
ecology of the arena in which they work.’
4
, Artikelen
Artikel Pattyn et al. - Policy evaluation in Europe
Introductie
Terwijl een empirisch onderbouwd beleidsdiscourse aanvankelijk een beperkt aantal
beleidsdomeinen domineerde, zoals gezondheid, onderwijs en sociaal beleid, heeft het nu een
status van bijna gezond verstand bereikt in de hele publieke sector.
De oproep om beleid als bewijsmateriaal te verankeren, kan worden beschouwd als het resultaat
van ten minste drie in elkaar grijpende veranderingen:
Een eerste factor is de toegenomen belangstelling voor de economie, efficiëntie en
doeltreffendheid van overheidsbeleid.
Een tweede factor is dat beleidsvorming steeds complexer is geworden. Beleidsvraagstukken
raken steeds meer met elkaar verweven, zowel horizontaal tussen beleidssectoren als verticaal
tussen verschillende overheidslagen.
Een derde factor is het verlangen naar meer maatschappelijk reactievermogen en
maatschappelijk draagvlak door burgers te betrekken bij het beleidsproces.
Parallel aan de verspreiding van het evidence-based beleidsdiscourse, is de aandacht voor
beleidsevaluatie als een bepaald type bewijs erg gestegen.
De auteurs vatten beleidsevaluatie op als “de wetenschappelijke analyse van een bepaald beleid of
een deel van een beleid, gericht op het bepalen van de verdienste of waarde van het beleid op
basis van bepaalde criteria”. Ze hebben betrekking op alle soorten evaluaties, ex ante, ex durante
en ex post.
Golven van beleidsevaluatie in Europa
De eerste evaluatiegolf in Europa vindt zijn oorsprong in de VS, waar beleidsevaluaties werden
gebruikt om te analyseren hoe staten federaal beleid implementeerden. Getriggerd door de Great
Society (1960-1970), werden evaluatie-eisen structureel opgenomen in nieuwe sociale programma's
en beleid.
In de jaren zestig en daarna nam de vraag naar empirische en statistische informatie over het
functioneren van beleid toe om toekomstige interventies op de juiste manier te plannen. Dit leidde
op zijn beurt tot een behoefte aan beleidsevaluaties.
Tijdens de eerste evaluatiegolf werd het gerandomiseerde experiment beschouwd als de gouden
standaard in evaluatieonderzoek, en van evaluatieonderzoekers werd verwacht dat ze volledig
neutraal bleven.
Niet alle landen in Noordwest-Europa werden in gelijke mate beïnvloed door de hierboven
beschreven ontwikkelingen.
De tweede golf, die begon in de jaren negentig, vond zijn oorsprong in de VS en het Verenigd
Koninkrijk en heeft de aard van de beleidsevaluatie in Noordwest-Europa veranderd. Het
verplaatste de evaluatie ook buiten deze regio naar landen in Midden-, Zuid- en Oost-Europa, die
relatief traag waren geweest om evaluatieculturen te ontwikkelen.
Twee drijfveren drukte tijdens de tweede golf op de evaluatie:
De eerste drijfveer was het NPM-paradigma. In grote lijnen verwijst NPM naar het ideaal om
overheden efficiënter en zakelijker te maken. In de tweede golf werd ‘verantwoording’ het
leidmotief voor evaluaties. Aandacht voor verantwoording van resultaten is belangrijk in het
NPM-paradigma.
De tweede drijfveer achter de tweede golf was de druk van de EU. De hervorming van het
regionaal beleid van de EU omvatte de verplichting voor ontvangende landen om evaluaties uit
te voeren om te bewijzen dat de middelen goed waren besteed.
Huidige evaluatiecultuur en -capaciteit in Europa: drie casestudies
5
, In deze paragraaf bespreken de auteurs hoe de twee drijvende krachten de huidige
evaluatiepraktijk beïnvloedden door de evaluatiecultuur en evaluatiecapaciteit van drie politieke
systemen in kaart te brengen: het Verenigd Koninkrijk, Vlaanderen en de EU.
Het meten van de evaluatiecultuur en capaciteit van landen
Het definiëren en meten van evaluatiecultuur en evaluatiecapaciteit is een uitdagende
onderneming. Evaluatiecapaciteit en evaluatiecapaciteitsopbouw (ECB) is contextueel, wat het
moeilijk maakt om gemeenschappelijke indicatoren te identificeren die gelden voor verschillende
settings.
In dit artikel verwijst evaluatiecultuur naar een gedeeld begrip van het belang, de functies en
rollen van evaluatie. Evaluatiecapaciteit verwijst op zijn beurt naar de middelen en strategieën
die worden gebruikt om evaluaties te realiseren.
De Internationale Atlas meet, scoort en vergelijkt vervolgens de evaluatievolwassenheid van landen
systematisch aan de hand van negen indicatoren. In dit hoofdstuk gaan de auteurs uit van dezelfde
set indicatoren om de huidige staat van evaluatiecultuur en -capaciteit in de drie cases in kaart te
brengen.
Tabel 1 hieronder geeft een lijst van de zes indicatoren die de auteurs systematisch zullen
beschrijven.
Evaluatie cultuur of Indicator
capacitieit
Evaluatie capaciteit Er bestaat een evaluatiemaatschappij
Er zijn institutionele arrangementen in de overheid (uitvoerende
macht) voor het uitvoeren van beleidsevaluaties en het verspreiden
van resultaten.
Er zijn institutionele regelingen in het parlement om
beleidsevaluaties uit te voeren en resultaten te verspreiden.
Beleidsevaluaties vinden plaats binnen de rekenkamer
Evaluatie cultuur Beleidsevaluatie vindt plaats op veel beleidsdomeinen
Beleidsevaluaties richten zich niet alleen op inputs / outputs, maar
ook op resultaten.
Case study: Verenigd Koninkrijk
Toen de evaluatie in de jaren zeventig in het VK begon, werd deze gedreven door twee krachten:
- De eerste was de toenemende professionalisering van het openbaar bestuur, die zich
manifesteerde in de oprichting van de Central Policy Review Staff (CPRS) in 1970 - een vroege
denktank die tot doel had het kabinet strategische input over beleidsprioriteiten te bieden.
- De tweede, krachtigere kracht was de wens om de overheidsuitgaven onder controle te houden
in uitdagende fiscale omstandigheden, die culmineerde in een reddingsoperatie van het
Internationaal Monetair Fonds (IMF) in 1976.
Geleid door een ambitieuze conceptuele evaluatie van evaluatie, richtte de overheid zich niet
alleen op de disciplinerende kracht van evaluatie voor de toewijzing van middelen, maar ook op
het leervermogen dat het genereert met de ambitie om grootschalig sociaal beleid uit te voeren
voordat het volledig wordt geïmplementeerd.
Na New Labour en in de jaren na de financiële crisis is de evaluatie in sommige opzichten
teruggelopen om zich te concentreren op het leveren van waarde - evaluatie moet ‘alomvattend
maar evenredig’ zijn.
6
