Summary
Samenvatting 'Evaluation: A systematic approach'
- Course
- Institution
- Book
Een puntsgewijze, beknopte samenvatting.
[Show more]
Connected book
Book Title:
Author(s):
- Edition:
- ISBN:
- Edition:
More summaries for
-
Summary book 1: evaluation a systematic approach - Rossi, Lipsey and Freeman (2004)
Seller
Followwilskehager
Reviews received
Content preview
Samenvatting M&THoofdstuk 1 – An overview of program evaluation
• Program evaluation = a social science activity directed at collecting, analyzing, interpreting
and communication information about the workings and effectiveness of sociale programs.
• Redenen voor evaluatieonderzoek:
- besluitvorming over het programma (doorgaan)
- nut van het programma (effect)
- effectiever werken
- tegemoetkomen aan sponsoren (financiering)
• Een overeenkomst tussen alle sociale programma’s die geëvalueerd worden, is dat de
uitkomsten worden beoordeeld.
• Geschiedenis:
- werd al vroeg gedaan om het welzijn van mensen of fysieke en sociale omgeving te
verbeteren.
- sociale experimenten zag je ook al vanaf 1700 (vb. citrusvruchten bij scheurbuik).
- het echte evaluatieonderzoek is vrij modern (20e eeuw).
- voor WOI vooral gericht op publieke gezondheid(zorg).
- WOII gaf een boost: men hield de moraal van soldaten bij.
- 1950: evaluatieonderzoek was normaal geworden en grote onderzoeken werden
uitgevoerd.
- 1970: het wordt een specialisatie binnen de sociale wetenschappen.
• Gedurende de ontwikkeling van het evaluatieonderzoek zag je een verandering: eerst werd
het geïnitieerd vanuit de onderzoekers, later vaker door de afnemers (beleidsmakers,
sponsoren).
• Politiek en organisatie hebben invloed op de programmaevaluatie.
• Belangrijk om te achterhalen is:
- waarom wordt een bepaalde vraag gesteld?
- wat wordt er met de informatie gedaan?
• De informatie uit evaluatieonderzoek kan direct worden gebruikt voor soortgelijke
programma’s of indirect in de vorm van kennisopbouw.
• Wrikpunten zijn:
- fixed evaluation plan vs. volatility (vluchtigheid) van sociale programma’s
→ de snelle verandering zie je terug in bronnen, prioriteiten en verantwoordelijkheden. Het
is geen labsetting. De evaluator moet anticiperen op veranderingen in een programma.
- kloof tussen wetenschap en praktijk
→ Campbell vs. Cronbach (zie college 1). Een balans vinden tussen de validiteit, nut en
betekenisvolheid van resultaten voor gebruikers.
- weinig consensus over de benadering van evaluatie
→ zijn verschillende disciplines die dit soort onderzoek verrichten, er zijn persoonlijke
opvattingen. Evalueren blijft een kunst en kunst kan niet geëvalueerd worden met een boek.
,Hoofdstuk 2 – Tailoring evaluations
• Drie issues die in elke evaluatie voorkomen:
1) De vraag van de evaluatie is beantwoordbaar.
2) De methoden en procedures die gebruikt worden maken antwoord geven mogelijk.
3) De aard van de verhouding tussen evaluator en stakeholders = vraag naar
verantwoordelijkheid.
• Met welke kenmerken van de situatie moet het evaluatieplan rekeninghouden?
1. Doel van de evaluatie: wie wil de evaluatie, wat willen ze en waarom? Moet wel een
gerechtvaardigd doel zijn, zoiets als:
- Programma verbetering: formatieve evaluatie. Vaak willen beleidsmakers of funding
agencies het programma effectiever maken. Resultaten zijn meestal tijdsgebonden, concreet
en direct. Communicatie is informeel van aard.
- Accountability: summatieve evaluatie. Geïnteresseerd hierin zijn hogere management,
beleids- en wetmakers en de regering. Ze hebben geld geïnvesteerd en willen het
terugverdienen. De evaluator werkt veelal individueel en moet vroegtijdige conclusies
vermijden. De bevindingen zijn formeel van aard.
- Knowledge generation: kennis opbouwen voor sponsoren, beleidsmakers en academici.
Resultaten worden verspreid via journals en papers.
→ Er zijn ook hidden agenda’s zoals indruk maken op sponsoren, het geven van een rationale
voor een beslissing die al genomen is (ontslaan van werknemer) of het uitstellen van een
probleem. Dit moet de evaluator vermijden en de evaluatie ene andere kant op sturen.
2. De structuur en omstandigheden van het programma: Drie zaken zijn hierbij van belang:
- Ontwikkelingsfase van het programma: In welke stadium zit de ontwikkeling van het
programma? Als een programma nog in een beginstadium is, kun je nog niet zoveel zeggen
over de efficiëntie ervan. Een formatieve evaluatie over wat de behoeften zijn en hoe de
dienstverlening beter kan, past hier beter. Vaak worden sterk uitontwikkelde programma’s
geëvalueerd en mag er niet getornd worden aan het onderliggende idee. Er kunnen vragen
worden gesteld door de politiek, er concurrentie is of de kosten te hoog zijn. Programma’s
die worden aangeboden aan de hele bevolking zijn lastig te evalueren omdat er geen
vergelijkingsgroep is. Dan wordt een inschatting gemaakt van de relevantie van de doelen, de
kwaliteit van de implementatie en de vraag of de doelpopulatie bereikt wordt.
- Beleids- en politieke context: Je bent als evaluator niet vrij om het programma te
definiëren. Betrokkenen hebben er allemaal een andere visie op. Er kunnen tegenstrijdige
visies bestaan en het is vooral belangrijk dat de evaluator aangeeft vanuit welke visie er
wordt geëvalueerd. Verschillen in perspectief leiden ook tot meer en minder gunstige
resultaten voor een bepaalde stakeholder. De evaluator moet aandacht houden voor de
verschillen en proberen te conditioneren in de richting van mogelijke resultaten.
- Conceptuele en organisationele structuur van het programma: Als je niet goed weet wat
het programma zou moeten doen, is het lastig te beoordelen of het programma dit goed
doet. Daarom is de program theory belangrijk. Problemen hiermee:
1. Routine kan overheersen en niet meer weten waarom iets zo wordt gedaan.
2. Hoe groter, complexer, gedecentraliseerd en geografisch verspreid de
organisatie is, hoe lastiger evalueren is.
3. De structuur van de interventie: simpels waarvan je directe resultaten verwacht
(daklozen te eten geven → geen honger).
3. Bronnen die beschikbaar zijn voor de evaluatie: vraagt om goede planning, budgettering
en expertise. Wat is nog meer nodig?
, - Support van het programma management en andere stakeholders
- Toegang tot documenten
- Tijd
• Relatie tussen evaluator en stakeholder: mensen hebben verschillende rollen en voeren
verschillende activiteiten uit. De evaluator moet algauw zijn positie duidelijk maken t.a.v. alle
partijen. De belangrijkste stakeholder is de sponsor van de evaluatie. Tot deze stakeholder
zijn verschillende relaties mogelijk:
1. Independent evaluation: meestal wordt iemand door een funding agency benaderd die
aangeeft dat de evaluator het verder zelf moet plannen.
2. Participatory or collaborative evaluation: teamproject. Stakeholders zijn direct betrokken
bij de evaluatie. Dit gebeurt vooral bij ‘utilization focused’ evaluaties (gericht op het nut
ervan). Je kunt dan gelijk checken over de evaluatie aansluit bij de behoeften.
3. Empowerment evaluation: stakeholders die anders weinig invloed zouden hebben
worden betrokken (bijv. deelnemers). Deze samenwerking benadrukt initiatief en
zelfbepaling. De evaluator moet ook de vaardigheden van stakeholders verbeteren om zelf te
kunnen evalueren of om resultaten effectief te kunnen gebruiken.
→ Heeft voordelen: sluit beter aan op de behoeften van stakeholders en eigenaarschap
creëren zodat er minder weerstand ontstaat (zie college 1)
• Evaluatievragen en modellen: goed over na denken van te voren want het maakt plannen
beter, het structureert de evaluatie en bepaalt voor wie de resultaten nuttig zijn. Er zijn
ruwweg vijf typen:
1. Needs assesment: Is de eerste stap in het verbeteren van een bestaand programma. Welk
sociaal probleem wil het programma aanpakken en in hoeverre is hier behoefte aan?
2. Assessment of program theory: De theorie achter het oplossen van het probleem middels
het programma moet expliciet worden gemaakt. Onderzocht moet worden hoe redelijk,
haalbaar, ethisch en geschikt dat is.
3. Assessment of program process: Een programma wordt niet altijd uitgevoerd zoals
bedacht. Dit is dan een procesevaluatie of procesmonitoring. Procesevaluatie is de meest
voorkomende vorm van programmaevaluatie, soms in combinatie met impact assessment
maar ook op zichzelf. Bij een goede implementatie, is het waarschijnlijker dat het werkt. De
impact kan dan worden toegeschreven aan het programma. Als dit niet het geval is, kan met
diagnostisch kijken naar het proces.
4. Impact assessment/outcome evaluation: In hoeverre verbetert het programma het
sociale probleem? Moeilijkheid hierin is, dat resultaten ook kunnen worden toegeschreven
aan dingen buiten het programma om. Er moet een inschatting van de netto effecten (nul
scenario) worden gemaakt. Sponsoren willen graag een impact assessment. Maar dit kost
veel expertise, tijd en bronnen. Het is enkel mogelijk in een rijpe, stabiele omgeving.
5. Efficiency assessment: kosten-baten analyse OF kosteneffectiviteitsanalyse. Je gaat
getallen toekennen aan programma’s. Ook dit is het meest geschikt voor rijpe en goed
ontwikkelde programma’s en bouwt voor op proces- en impactevaluatie. Deze vorm vraagt
om financiële expertise.
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller wilskehager. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $4.47. You're not tied to anything after your purchase.
Can Stuvia be trusted?
4.6 stars on Google & Trustpilot (+1000 reviews)
82191 documents were sold in the last 30 days
Founded in 2010, the go-to place to buy study notes for 14 years now