Summary
Samenvatting Realistic Evaluation - Pawson & Tilley
- Course
- Institution
Samenvatting van Realistic evaluation (2004) - Pawson & Tilley. Hoofdstukken: 1,2,3,4,6,7,9.
[Show more]
3 reviews
By: jorindeboonstra • 5 year ago
By: Waterpolo1 • 7 year ago
By: gijsybema • 10 year ago
Seller
Follow
EmmaGo
Reviews received
Content preview
Samenvatting Realistic Evaluation – Pawson & TilleyH1. A history of evaluation in 28 ½ pages
Tegenwoordig behoeft alles, maar dan ook alles evaluatie. Er zijn zoveel verschillende benaderingen.
In 1960 werd evaluatieonderzoek gezien als de beoordeling van de grote sociale programma’s van de
grote maatschappij. Maar wat begon als sociaal onderzoek naar specifieke correcties en
onderwijsbeleid, werd al gauw een evaluatiebeweging die door het hele spectrum van de sociale
sectoren trok. Elke functie van elke functionaris kan geëvalueerd worden. Evaluatie is een mantra van
de moderniteit. Gevaar is hier dat we niet te maken hebben met een methodologie, maar met een
bezwering.
Veel teleurstelling over evaluaties, vaak verandert er niks en gaan de dingen door zoals ze door
zouden gaan zonder dat de evaluatie zou plaatsvinden.
Evaluatieonderzoekers onderzoeken of en in hoeverre programma’s werken.
Het paradoxale dilemma van de hedendaagse evaluatie: aan de ene kant zien we een elastische,
ontluikende aanwezigheid die zich uittrekt van A tot Z van de menselijke instellingen. Aan de andere
kant zien we een dof onderzoek, gebrek aan cumulatie van resultaten en het ontbreken van een stem
in de beleidsvorming.
Vier perspectieven op evaluatie worden onderscheiden:
- De experimentele
- De pragmatische
- De naturalistische/constructivistische
- De pluralistische
Experimentele evaluatie
Klassiek experimenteel design: behandelde experimentele groep en onbehandelde controlegroep met
voor en nameting: twee (random) groepen waarbij de ene groep wel de behandeling krijgt en de
andere niet en vervolgens kijken wat de impact van het programma is.
Anker vormt de theorie van oorzakelijkheid; de zoektocht naar causaliteit door experimentele controle.
Het gaat om een experimentele benadering voor sociale hervorming, waarbij procedures
uitgeprobeerd worden die sociale problemen zouden oplossen, waarbij we kijken of programma’s
effectief zijn en ze wijzigen, nabootsen of verwerpen. (Popperiaanse kijk op de open maatschappij)
Problemen: een fundamenteel onderscheid tussen het werk in het laboratorium en in het veld.
Historieprobleem: tijdens de toepassing van het programma kan een onverwachte gebeurtenis
optreden die de uitkomst kan beïnvloeden. Er is dus experimentele controle nodig om zeker te zijn van
de causaliteit.
Nadelen van de experimentele methode
- Heldhaftige fout (Martinson): veel beloven maar eindigen in een ironische anticlimax; om een
behandeling als werkend te beschouwen, moet zo’n programma positieve veranderingen
produceren in de experimentele groep in alle experimenten en alle contexten. Vaak zijn
succesvolle experimenten geïsoleerd en dus produceren ze inconsistente uitkomsten. De
meeste dingen blijken soms te werken. Volgens Gendreau en Ross is meer onderzoek nodig,
patronen worden dan duidelijker en de voorspelbaarheid zal groeien. Volgens Rosenbaum
willen we de black box openen en niet alleen maar weten of iets werkt maar in welke condities
het werkt.
- De aard waarom een programma werkt weet je niet: je kan alleen aantonen of iets werkt,
maar niet hoe en waarom het werkt. Daarom is er een methode nodig om te begrijpen wat het
programma precies doet om gedrag te veranderen en waarom niet elke situatie bevorderlijk is
voor een bepaald proces.
Pragmatische evaluatie
Evaluatie heeft een politiek uiteinde:
- We moeten erkennen dat de daad van betrokkenheid bij evaluatie een politiek tafereel vormt;
het doel is vaak om sociale problemen op te lossen, iemands kijk hierop is gekleurd.
- Evaluaties zijn overduidelijk kleine politiek; ze proberen sociale/historische/politieke situaties
te behandelen en de ambities van het geëvalueerde programma zijn gericht op het
‘verminderen’ van problemen binnen ‘systemen’ of zorgen voor een betere werking van die
systemen.
In de praktijk zou onderzoek daarom aangepast moeten worden zodat het beter gebruikt kan worden
in het werkelijke proces van beleidsvorming. Mede door Weiss veranderde het onderzoeksmodel van
gedreven door kennis (knowledge) naar een model voor gebruik (use). Onderzoek functioneert niet als
een valide, getest lichaam van voorstellen/thema’s die gebaseerd zijn op causale logica, maar als een
project voor debat en intraorganisationele argumenten.
Vier kenmerken van evaluatie:
, - Utility (nuttigheid): voor een publiek
- Feasibility (uitvoerbaarheid): in politieke termen, praktische termen en kosteneffectieve termen.
- Propriety (fatsoenlijk/gepast): aangetoond moet worden dat het eerlijk en ethisch uitgevoerd is.
- Accuracy (nauwkeurigheid/juistheid): moet voldoen aan de standaarden die daarvoor zijn
gesteld.
De methode die bij de pragmatische evaluatie hoort is die met als doel technische adequaatheid
(passendheid), je kiest de best passende methode.
Onderzoek dat focust op het gebruik (use) richt zich vooral op doelen/einden in plaats van op regels
(zoals bij experimenteel onderzoek). Probleem hierbij is dat de opdrachtgever de methodologie
afstemt. De opdracht komt van de beleidsmaker en de gevoelige, ervaren onderzoeker selecteert de
juiste middelen uit het beschikbare gereedschap. Wat de besluitnemer wil wordt duidelijk in de
voorkeur voor een bepaalde methodologische strategie.
Truth (waarheid) = ideeën die bevredigende relaties met andere delen van onze ervaring bevorderen.
Maar eigenlijk gaat het om de sociale acceptatie van de ideeën dan om hun werkelijke correctheid.
De algemene regel van pragmatische evaluatie: hoe explicieter de beleidopdracht, hoe
gecomprimeerder (kleiner/samengedrukt) en technischer de rol is van de onderzoeker.
De constructivistische/naturalistische evaluatie
Verschuiving van het politieke naar het sociale. Alle sociale programma’s worden gevormd in
complexe processen van menselijk begrip en interactie (onderhandelingen), je kan ze niet zien als
onafhankelijke variabelen of dingen. Waar experimentalisten kijken naar experimentele en
controlevoorwerpen, kijken pragmatisten naar de beleidsmakers en kijken constructivisten naar de
stakeholders. Wat betreft de methode leiden de evaluators het onderhandelingsproces. Eerst worden
de stakeholders geïdentificeerd, dan worden hun constructies over een programma vastgesteld d.m.v.
veldobservatie en vervolgens wordt hierover onderhandeld in een hermeneutische dialectische cirkel
en wordt een forum gecreëerd waar mensen het proberen eens te worden. Tussen de onderzoeker en
de deelnemers worden verschillende betekenissen uitgewisseld.
We moeten bij elk programma rekening houden met een diversiteit van uitkomsten, omdat hier een
overvloed aan partijen verantwoordelijk voor is. Uitkomstpermutaties:
Theorie – succes/implementatie – mislukking
Guba en Lincoln: stakeholders moeten het eens worden met de condities voor een productieve
hermeneutische dialectiek. Tevens stellen zij dat er geen vergelijking/tussenweg mogelijk is tussen de
positivistische (=uitgaande van de empirie en wetmatigheden) en constructivistische overtuiging, ze
zouden dus nooit samen te voegen zijn maar door een hermeneutisch dialectisch proces zou een
nieuwe constructie kunnen ontstaan.
De hermeneutische benadering plaatst iemand in contact met de waarheid, veel meer dan de manier
waarop de positivisten het deden, met hun hygiëne, onmenselijke, pseudowetenschappelijke
meetinstrumenten. Volgens de hermeneutiek is alles wat we geloven een constructie, er zijn geen
neutrale, feitelijke of definitieve verklaringen te geven van de wereld. Elke bewering, beschrijving of
verklaring van het sociale leven draagt de assumpties met zich mee van het individu die deze
bewering, beschrijving of verklaring maakt. Gegevens van een constructivistische evaluatie hebben
geen speciale status of legitimatie, ze representeren alleen een andere constructie in de overweging
richting consensus. Ieder presenteert een eigen versie. Fenomenen kunnen alleen begrepen worden
in de context waarin ze bestudeerd zijn, bevindingen van de ene context kunnen niet gegeneraliseerd
worden naar een andere, deze zijn contextgebonden.
Kritiek op de experimentele methode: probeert alle verschillen, behalve één, te minimaliseren tussen
de experimentele en de controlegroepen, hiermee wordt de context weggehaald en zijn de resultaten
alleen valide in andere contextloze situaties. Constructivisten (naturalisten) erkennen de significantie
van de context in het beperken van de acties, standpunten en onderhandelingen van stakeholders.
Volgens Guba en Lincoln is de context: die omstandige kenmerken/functies die tegen de haren in
lijken te strijken in een bepaald onderzoek, de context is simpelweg de huidige
achtergrondomstandigheid die een bepaalde groep stakeholders aanmoedigt of in staat stelt om
samen te komen voor onderhandeling.
Nadeel/zwakte van het constructivisme: net als andere fenomenologische benaderingen is het niet in
staat om grip te krijgen op die structurele en institutionele kenmerken van de maatschappij die
onafhankelijk zijn van individuele redenen en wensen. Tevens bestaat er ongelijkheid van kennis en
controle over een programma, er zijn tal van eindproducten en veel dingen kunnen het proces
beïnvloeden (bijv. participanten die te goed geïnformeerd zijn over de interventie). Hierom moet een
onderzoeker afhankelijke beoordelingen doen, dit kan het constructivisme niet beramen.
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller EmmaGo. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $5.98. You're not tied to anything after your purchase.
Can Stuvia be trusted?
4.6 stars on Google & Trustpilot (+1000 reviews)
67232 documents were sold in the last 30 days
Founded in 2010, the go-to place to buy study notes for 14 years now