Summary
Samenvatting Evaluation Research (Clarke & Dawson)
- Course
- Institution
Samenvatting van h1, h2, h3 van Clarke & Dawson
[Show more]
Seller
Follow
MDCM
Reviews received
Content preview
Hoofdstuk 1 Understanding Evaluation ClarkeWhat is evaluation?
Evaluatie kan een waardeoordeel op allerlei gebieden zijn, vaak zijn het informele,
subjectieve oordelen. Formele, systematische evaluatie van een geplande sociale interventie
wordt gedaan door een professionele evaluator. Het is een gedisciplineerd onderzoek dat
wetenschappelijke procedures toepast bij het verzamelen en analyseren van informatie over
de inhoud, structuur en uitkomsten van programma’s, projecten en geplande interventies.
Het is dus een vorm van toegepast sociaal onderzoek (paradigma), waarvan het doel niet is
om nieuwe kennis op te doen maar de effectiviteit van bestaande kennis te onderzoeken en
praktische actie te sturen. ‘Not to prove, but to improve’. Evaluators gebruiken sociaal
wetenschappelijke onderzoeksmethoden bij het verkrijgen van informatie, maar ze gebruiken
die methoden voor een ander doel. Bij evaluatie gaat het echt om de verdiensten of waarde
van uitgevoerd of gepland beleid. Praktische kennis die kan helpen bij besluit maken door
politiek, evaluatie is dus een politieke activiteit. Er zijn veel groepen die een belang hebben
bij het programma dat geëvalueerd wordt.
Programma en evaluatie onderzoek (Cordray & Lipsey)
Programma evaluatie: service-georiënteerd, praktisch onderzoek, evalueren, reactie op
de behoeften van beleidsmakers. De waarde van een interventie of programma bepalen.
Programma onderzoek: toegepaste sociale wetenschappelijk onderzoek naar sociale
programma’s zonder te evalueren, reactief te zijn en is niet nuttig op korte termijn. Het
gaat dan meer op causale relaties tussen programma en uitkomsten en hoe het werkt in
plaats van óf het werkt. Overlapt wel met programma evaluatie.
Patton maakt onderscheid tussen evaluatie en onderzoek bij programma evaluatie:
Programma evaluatie: informatie verzamelen voor degenen die beleid uitvoeren, dus het
is nuttig en praktijkgericht.
Evaluatie onderzoek: meer nadruk op generaliseerbaarheid, causaliteit en
geloofwaardigheid binnen de onderzoeksgemeenschap.
Auditing, monitoring and inspection as methods of evaluation
Auditing, monitoring en inspectie kunnen data verzamelen die gebruikt kan worden voor
evaluatie, maar zijn zelf geen evaluatie. Evaluatie kijkt niet alleen naar hoe een programma
werkt maar ook naar de onderliggende logica.
Chelimsky stelt dat er drie soorten vragen zijn bij programma effectiviteit evaluatie:
Beschrijvende vragen: hoeveel mensen zijn er bij betrokken en hoe participeren zij.
Normatieve vragen: de mate waarin een programma werkt als bedoeld
Causaliteitsvragen: bepalen of een programma wel of niet heeft gewerkt en in hoeverre
komen de veranderingen door het programma.
Dit verschilt van auditing (controle) omdat daarbij vooral normatieve vragen een rol spelen.
Een controle kijkt alleen naar wat er gebeurt dat niet overeenkomt met voorgeschreven
normen en kijkt niet naar causaliteit of interactie.
Monitoring (toezicht) is het systematisch en continue toezicht op gebeurtenissen. Het richt
zich op de procedures en processen. Er wordt feedback gegeven over mate van werking en
het doel behalen. Dit kan gebruikt worden tijdens implementatie om te kijken waar er
verandering moet plaatsvinden. Monitoring is dus belangrijk bij procesevaluatie, maar het is
,waardenvrij. Evaluatie oordeelt over de waarde van een programma en kijkt naar een
bepaald punt en niet het hele continue proces. Performance monitoring heeft meetbare
indicatoren nodig die informatie geven over input, output of uitkomsten (key performance
indicators). De indicatoren worden gebruikt om accountability (verantwoording) af te leggen
aan het publiek. Het is een top-down aanpak.
Fiscale accountability: input, publieke fonds worden op de juiste manier gebruikt
Proces accountability: output, publieke bronnen worden op efficiënte manier gebruikt.
Programma accountability: uitkomst, of een gefinancierde activiteit zijn doel behaald.
De publieke sector moet jaarlijkse performance blootgeven, maar er zijn vragen over de
validiteit en betrouwbaarheid van deze performance metingen. Je moet eerst performance
definiëren voor het gemeten kan worden. Outcome performance metingen worden vooral
gedaan met kwantitatieve indicatoren, maar het is niet perse objectief en waardenvrij. De
evaluator moet kijken wie de performance indicators maakt en met welk doel. Officiële
statistieken zijn dus niet altijd neutraal en kunnen ervoor zorgen dat managers strategisch de
performance metingen gaan manipuleren (creative reporting).
Inspection als evaluatiemethode is een top-down aanpak die checkt of de praktijk voldoet
aan de standaarden. Dit is vaak externe evaluatie.
Basic types of evaluation
Formatieve en summatieve evaluatie (Scriven)
Formatieve evaluatie: feedback geven aan de mensen die iets proberen te verbeteren,
het gaat dus om informatie geven die kan zorgen voor verbeteren. De nadruk ligt dus op
sterke en zwakke punten van design en implementatie van een programma. Welke
veranderingen moeten plaatsvinden? Gaat om informatie geven en actie-georienteerd.
Summatieve evaluatie: de algemene effectiviteit van een programma bepalen en
aanbevelen om er wel of niet mee door te gaan. Conclusie-georienteerd.
Formatieve evaluatie Summatieve evaluatie
Doelgroep Programma managers, uitvoerders Beleidsmakers en het publiek
Dataverzameling Doelen, inhoud, implementatie, Implementatie problemen, uitkomst
uitkomsten in continu proces op bepaald punt
Evaluator Interactief Onafhankelijk
Methodologie Kwalitatief en beetje kwantitatief (kost tijd) Kwantitatief (indicatoren)
Rapportage Informele feedback aan doelgroep via Formeel rapport over het einde van
discussie en ontmoeting tijdens de evaluatie.
onderzoeksperiode
Doel Informatie over verbetering Effectiviteit bekijken en besluit
nemen
Het is niet zo dat het ene echt om proces gaat en de ander om de uitkomst, dat kan ook
wisselen. Summatieve evaluatie heeft een hogere status, een formatieve evaluatie is meer
een voorbereiding voor een summatieve. Maar beide hebben hun voordelen en het hangt
van de omstandigheden af welke het beste werkt (contextafhankelijk). Je kunt ze ook door
elkaar gebruiken. Sommige activiteiten vallen niet in 1 van deze categorieën.
, Evaluatietypologie (Patton)
Patton zegt dat er ook evaluatie is die algemene kennis over de basisprincipes die onder
effectieve programmaontwikkeling en implementatie liggen verkrijgt. Deze kennis is voor
conceptueel gebruik en niet voor instrumenteel gebruik. Dit geeft inzicht in doelen en van
programma, zonder dat er veranderingen plaatsvinden. Hij heeft 6 types evaluatie die
gecombineerd kunnen worden:
1. Formatieve evaluatie
2. Impact evaluatie: summatieve evaluatie
3. Front-end analyse: evaluaties voor een interventie plaatsvindt, dus informatie voor
planning en implementatie. Soms bepaald dit of een programma uberhaupt plaatsvindt.
4. Evaluability beoordeling: pre-evaluatie voor je een formele evaluatie doet. Je kijkt naar
problemen, implicaties en koten van een evaluatiedesign.
5. Programma monitoring: systematische verzameling van informatie over de performance
van een programma. Niet over de impact, maar over de levering aan de juiste groepen.
6. Evaluatie van evaluatie: meta-evaluatie, evaluators evalueren hun eigen werk of dat van
anderen met een checklist
Evaluatietypologie (Chen)
Chen stelt dat er veel evaluatie types zijn dat breder is dan Scriven’s dichotomie. Zijn
typologie laat zien dat programma implementatie en programma effectiviteit niet de enige
dimensies zijn. Ook planning, design en ontwikkeling zijn belangrijk. De types kunnen gemixt
worden.
Evaluatiefunctie Verbetering Beoordeling (assessment)
Programmafase
Proces Proces verbeterende evaluatie Proces assessment evaluatie
Uitkomst Uitkomst verbeterende evaluatie Uitkomst assessment evaluatie
Proces verbeterende evaluatie: evaluatie informatie kan gebruikt worden voor
instrumentele (sterkte en zwakte voor verandering) en conceptuele doelen (informeren).
Het verschil met formatieve evaluatie is dat die zich alleen richt op instrumentele doelen.
Proces beoordelende evaluatie: of een programma succesvol geimplementeerd is, het
gaat om de kwaliteit van het proces.
Uitkomst verbeterende evaluatie: hoe verschillende delen van het programma effect
hebbe mop de uitkomst en implementatie problemen. Welke elementen zijn succesvol.
Het verschil met summatieve evaluatie is dat er bij uitkomstverbeterende evaluatie geen
formele beoordeling is van de effectiviteit van het programma als geheel. Er wordt
informatie gegeven om gebieden te zien waar verandering plaats kan vinden.
Uitkomst beoordelende evaluatie: een oordeel of het gehele programma in termen van
waarde, dus dat is wel summatieve evaluatie.
Evaluatietypologie (Chambers)
Chambers heeft 5 types evaluatie op basis van verschillende aspecten:
1. Onderzoek naar programma uitkomsten: de mate waarin een programma werkt vóór en
na implementatie (summatieve evaluatie)
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller MDCM. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $4.83. You're not tied to anything after your purchase.
Can Stuvia be trusted?
4.6 stars on Google & Trustpilot (+1000 reviews)
73918 documents were sold in the last 30 days
Founded in 2010, the go-to place to buy study notes for 14 years now