Samenvatting
Samenvatting 'Evaluation: A systematic approach'
- Instelling
- Rijksuniversiteit Groningen (RuG)
- Boek
- Evaluation
Een puntsgewijze, beknopte samenvatting.
[Meer zien]Voorbeeld 3 van de 24 pagina's
Voorbeeld 3 van de 24 pagina's
In winkelwagengesponsord bericht van onze partner
Gekoppeld boek
Titel boek:
Auteur(s):
- Uitgave:
- ISBN:
- Druk:
Voorbeeld van de inhoud
Samenvatting M&THoofdstuk 1 – An overview of program evaluation
• Program evaluation = a social science activity directed at collecting, analyzing, interpreting
and communication information about the workings and effectiveness of sociale programs.
• Redenen voor evaluatieonderzoek:
- besluitvorming over het programma (doorgaan)
- nut van het programma (effect)
- effectiever werken
- tegemoetkomen aan sponsoren (financiering)
• Een overeenkomst tussen alle sociale programma’s die geëvalueerd worden, is dat de
uitkomsten worden beoordeeld.
• Geschiedenis:
- werd al vroeg gedaan om het welzijn van mensen of fysieke en sociale omgeving te
verbeteren.
- sociale experimenten zag je ook al vanaf 1700 (vb. citrusvruchten bij scheurbuik).
- het echte evaluatieonderzoek is vrij modern (20e eeuw).
- voor WOI vooral gericht op publieke gezondheid(zorg).
- WOII gaf een boost: men hield de moraal van soldaten bij.
- 1950: evaluatieonderzoek was normaal geworden en grote onderzoeken werden
uitgevoerd.
- 1970: het wordt een specialisatie binnen de sociale wetenschappen.
• Gedurende de ontwikkeling van het evaluatieonderzoek zag je een verandering: eerst werd
het geïnitieerd vanuit de onderzoekers, later vaker door de afnemers (beleidsmakers,
sponsoren).
• Politiek en organisatie hebben invloed op de programmaevaluatie.
• Belangrijk om te achterhalen is:
- waarom wordt een bepaalde vraag gesteld?
- wat wordt er met de informatie gedaan?
• De informatie uit evaluatieonderzoek kan direct worden gebruikt voor soortgelijke
programma’s of indirect in de vorm van kennisopbouw.
• Wrikpunten zijn:
- fixed evaluation plan vs. volatility (vluchtigheid) van sociale programma’s
→ de snelle verandering zie je terug in bronnen, prioriteiten en verantwoordelijkheden. Het
is geen labsetting. De evaluator moet anticiperen op veranderingen in een programma.
- kloof tussen wetenschap en praktijk
→ Campbell vs. Cronbach (zie college 1). Een balans vinden tussen de validiteit, nut en
betekenisvolheid van resultaten voor gebruikers.
- weinig consensus over de benadering van evaluatie
→ zijn verschillende disciplines die dit soort onderzoek verrichten, er zijn persoonlijke
opvattingen. Evalueren blijft een kunst en kunst kan niet geëvalueerd worden met een boek.
,Hoofdstuk 2 – Tailoring evaluations
• Drie issues die in elke evaluatie voorkomen:
1) De vraag van de evaluatie is beantwoordbaar.
2) De methoden en procedures die gebruikt worden maken antwoord geven mogelijk.
3) De aard van de verhouding tussen evaluator en stakeholders = vraag naar
verantwoordelijkheid.
• Met welke kenmerken van de situatie moet het evaluatieplan rekeninghouden?
1. Doel van de evaluatie: wie wil de evaluatie, wat willen ze en waarom? Moet wel een
gerechtvaardigd doel zijn, zoiets als:
- Programma verbetering: formatieve evaluatie. Vaak willen beleidsmakers of funding
agencies het programma effectiever maken. Resultaten zijn meestal tijdsgebonden, concreet
en direct. Communicatie is informeel van aard.
- Accountability: summatieve evaluatie. Geïnteresseerd hierin zijn hogere management,
beleids- en wetmakers en de regering. Ze hebben geld geïnvesteerd en willen het
terugverdienen. De evaluator werkt veelal individueel en moet vroegtijdige conclusies
vermijden. De bevindingen zijn formeel van aard.
- Knowledge generation: kennis opbouwen voor sponsoren, beleidsmakers en academici.
Resultaten worden verspreid via journals en papers.
→ Er zijn ook hidden agenda’s zoals indruk maken op sponsoren, het geven van een rationale
voor een beslissing die al genomen is (ontslaan van werknemer) of het uitstellen van een
probleem. Dit moet de evaluator vermijden en de evaluatie ene andere kant op sturen.
2. De structuur en omstandigheden van het programma: Drie zaken zijn hierbij van belang:
- Ontwikkelingsfase van het programma: In welke stadium zit de ontwikkeling van het
programma? Als een programma nog in een beginstadium is, kun je nog niet zoveel zeggen
over de efficiëntie ervan. Een formatieve evaluatie over wat de behoeften zijn en hoe de
dienstverlening beter kan, past hier beter. Vaak worden sterk uitontwikkelde programma’s
geëvalueerd en mag er niet getornd worden aan het onderliggende idee. Er kunnen vragen
worden gesteld door de politiek, er concurrentie is of de kosten te hoog zijn. Programma’s
die worden aangeboden aan de hele bevolking zijn lastig te evalueren omdat er geen
vergelijkingsgroep is. Dan wordt een inschatting gemaakt van de relevantie van de doelen, de
kwaliteit van de implementatie en de vraag of de doelpopulatie bereikt wordt.
- Beleids- en politieke context: Je bent als evaluator niet vrij om het programma te
definiëren. Betrokkenen hebben er allemaal een andere visie op. Er kunnen tegenstrijdige
visies bestaan en het is vooral belangrijk dat de evaluator aangeeft vanuit welke visie er
wordt geëvalueerd. Verschillen in perspectief leiden ook tot meer en minder gunstige
resultaten voor een bepaalde stakeholder. De evaluator moet aandacht houden voor de
verschillen en proberen te conditioneren in de richting van mogelijke resultaten.
- Conceptuele en organisationele structuur van het programma: Als je niet goed weet wat
het programma zou moeten doen, is het lastig te beoordelen of het programma dit goed
doet. Daarom is de program theory belangrijk. Problemen hiermee:
1. Routine kan overheersen en niet meer weten waarom iets zo wordt gedaan.
2. Hoe groter, complexer, gedecentraliseerd en geografisch verspreid de
organisatie is, hoe lastiger evalueren is.
3. De structuur van de interventie: simpels waarvan je directe resultaten verwacht
(daklozen te eten geven → geen honger).
3. Bronnen die beschikbaar zijn voor de evaluatie: vraagt om goede planning, budgettering
en expertise. Wat is nog meer nodig?
, - Support van het programma management en andere stakeholders
- Toegang tot documenten
- Tijd
• Relatie tussen evaluator en stakeholder: mensen hebben verschillende rollen en voeren
verschillende activiteiten uit. De evaluator moet algauw zijn positie duidelijk maken t.a.v. alle
partijen. De belangrijkste stakeholder is de sponsor van de evaluatie. Tot deze stakeholder
zijn verschillende relaties mogelijk:
1. Independent evaluation: meestal wordt iemand door een funding agency benaderd die
aangeeft dat de evaluator het verder zelf moet plannen.
2. Participatory or collaborative evaluation: teamproject. Stakeholders zijn direct betrokken
bij de evaluatie. Dit gebeurt vooral bij ‘utilization focused’ evaluaties (gericht op het nut
ervan). Je kunt dan gelijk checken over de evaluatie aansluit bij de behoeften.
3. Empowerment evaluation: stakeholders die anders weinig invloed zouden hebben
worden betrokken (bijv. deelnemers). Deze samenwerking benadrukt initiatief en
zelfbepaling. De evaluator moet ook de vaardigheden van stakeholders verbeteren om zelf te
kunnen evalueren of om resultaten effectief te kunnen gebruiken.
→ Heeft voordelen: sluit beter aan op de behoeften van stakeholders en eigenaarschap
creëren zodat er minder weerstand ontstaat (zie college 1)
• Evaluatievragen en modellen: goed over na denken van te voren want het maakt plannen
beter, het structureert de evaluatie en bepaalt voor wie de resultaten nuttig zijn. Er zijn
ruwweg vijf typen:
1. Needs assesment: Is de eerste stap in het verbeteren van een bestaand programma. Welk
sociaal probleem wil het programma aanpakken en in hoeverre is hier behoefte aan?
2. Assessment of program theory: De theorie achter het oplossen van het probleem middels
het programma moet expliciet worden gemaakt. Onderzocht moet worden hoe redelijk,
haalbaar, ethisch en geschikt dat is.
3. Assessment of program process: Een programma wordt niet altijd uitgevoerd zoals
bedacht. Dit is dan een procesevaluatie of procesmonitoring. Procesevaluatie is de meest
voorkomende vorm van programmaevaluatie, soms in combinatie met impact assessment
maar ook op zichzelf. Bij een goede implementatie, is het waarschijnlijker dat het werkt. De
impact kan dan worden toegeschreven aan het programma. Als dit niet het geval is, kan met
diagnostisch kijken naar het proces.
4. Impact assessment/outcome evaluation: In hoeverre verbetert het programma het
sociale probleem? Moeilijkheid hierin is, dat resultaten ook kunnen worden toegeschreven
aan dingen buiten het programma om. Er moet een inschatting van de netto effecten (nul
scenario) worden gemaakt. Sponsoren willen graag een impact assessment. Maar dit kost
veel expertise, tijd en bronnen. Het is enkel mogelijk in een rijpe, stabiele omgeving.
5. Efficiency assessment: kosten-baten analyse OF kosteneffectiviteitsanalyse. Je gaat
getallen toekennen aan programma’s. Ook dit is het meest geschikt voor rijpe en goed
ontwikkelde programma’s en bouwt voor op proces- en impactevaluatie. Deze vorm vraagt
om financiële expertise.
Voordelen van het kopen van samenvattingen bij Stuvia op een rij:
Verzekerd van kwaliteit door reviews
Stuvia-klanten hebben meer dan 700.000 samenvattingen beoordeeld. Zo weet je zeker dat je de beste documenten koopt!
Snel en makkelijk kopen
Je betaalt supersnel en eenmalig met iDeal, creditcard of Stuvia-tegoed voor de samenvatting. Zonder lidmaatschap.
Focus op de essentie
Samenvattingen worden geschreven voor en door anderen. Daarom zijn de samenvattingen altijd betrouwbaar en actueel. Zo kom je snel tot de kern!
Veelgestelde vragen
Wat krijg ik als ik dit document koop?
Je krijgt een PDF, die direct beschikbaar is na je aankoop. Het gekochte document is altijd, overal en oneindig toegankelijk via je profiel.
Tevredenheidsgarantie: hoe werkt dat?
Onze tevredenheidsgarantie zorgt ervoor dat je altijd een studiedocument vindt dat goed bij je past. Je vult een formulier in en onze klantenservice regelt de rest.
Van wie koop ik deze samenvatting?
Stuvia is een marktplaats, je koop dit document dus niet van ons, maar van verkoper wilskehager. Stuvia faciliteert de betaling aan de verkoper.
Zit ik meteen vast aan een abonnement?
Nee, je koopt alleen deze samenvatting voor €3,99. Je zit daarna nergens aan vast.
Is Stuvia te vertrouwen?
4,6 sterren op Google & Trustpilot (+1000 reviews)
Afgelopen 30 dagen zijn er 82191 samenvattingen verkocht
Opgericht in 2010, al 14 jaar dé plek om samenvattingen te kopen