Methods and techniques for evaluation-research
Suze Hiemstra (S3337626)
HC1: General introduction about evaluation research
Evaluation research (evaluerend onderzoek) begint bij sociale problemen en de sociale
programma’s die proberen deze problemen op te lossen. Een sociaal probleem is een
probleem dat invloed heeft op (leef/leer/gezondheid) omstandigheden van een grotere
groep mensen.
Voorbeelden: pesten, afnemende leesvaardigheid, laaggeletterdheid, studiedruk en
stress.
Sociale programma’s proberen een oplossing te bieden voor deze sociale problemen.
Voorbeelden: success for all, het invoeren van passend onderwijs, one laptop per
child, KiVa.
De programma’s die moeten zorgen voor verbetering in het onderwijs moeten worden
geëvalueerd. Hoe dit evaluerende onderzoek in z’n werk gaat en het beste werkt wordt bij
dit vak besproken.
Programma evaluatie
- Het ‘gebruiken van’ sociale onderzoeksmethoden
- Om systematisch onderzoek te doen naar de effectiviteit van ‘social intervention
programs’
- Op een manier dat het is aangepast aan de politieke en organisatorische omgeving
- En is gemaakt om inzicht te krijgen in sociale acties om zo de sociale omstandigheden
te kunnen verbeteren.
Om data te verzamelen aan de hand van sociale onderzoeksmethoden moet je data
verzamelen op een valide en betrouwbare manier, zodat je claims kan doen over het wel of
niet werken van een programma. Daarnaast moet je methode ook aangepast zijn aan de
lokale (sociale) omstandigheden. Een ander aspect is dat de evaluaties ingebed zijn in een
politiek of organisatorische omgeving in plaats van in een academische omgeving. Daarom is
het heel belangrijk om te weten wie de evaluatie aanvragen, wie ervoor betalen. De
informatie die je verwerft moet ten slotte terecht komen bij de juiste persoon die
beslissingen kunnen maken over een programma, zodat er ook daadwerkelijk verbetering
plaats kan vinden.
Er zijn verschillende aspecten die kunnen worden geëvalueerd bij het ontwikkelen van ene
programma:
1. Ten eerste moet er onderzoek worden gedaan naar de behoefte aan een bepaald
programma;
a. Wat is het sociale probleem?
b. Op wie heeft dit sociale probleem effect? En wat is het effect van dit
probleem op deze personen?
2. Wanneer er sprake is van een behoefte aan een theorie, moet er een design worden
gemaakt over hoe het programma zou moeten worden, welke ook weer geëvalueerd
kan worden;
a. Is het waarschijnlijk dat het programma aansluit/een oplossing biedt voor het
sociale probleem?
b. Zijn de doelen van het programma goed geformuleerd? Is dit op basis van
theorie?
1
, Methods and techniques for evaluation-research
Suze Hiemstra (S3337626)
c. Zijn alle functies van het programma goed beschreven, is er sprake van
voldoende documentatie, is er sprake van verstand van zake?
3. Het implementeren van het programma;
a. Wordt de doelgroep van het programma goed bereikt?
b. Is het geïmplementeerd zoals het van tevoren bedacht was?
c. Wordt het programma zo aangeboden en gebruikt als van tevoren bedacht
was?
4. Werkt het programma, is het programma een oplossing voor het sociale probleem;
a. Is de interventie effectief als het gaat om het bereiken van de doelen die van
tevoren opgesteld zijn?
b. Is er sprake van ‘bijwerkingen’ van de interventie?
5. Is het programma kosten efficiënt, wat is de kosten-baten afweging van het
programma.
a. Wanneer het programma effectief is bewezen: wegen de kosten van de
interventie op tegen de uitkomsten?
b. Zijn er interventies die goedkoper/effectiever zijn dan de huidige interventie?
Er is sprake van een piramide/hiërarchie: Wanneer je naar een volgende stap in evaluatie
wilt gaan, moet je eerst hetgeen bij de vorige stappen hebben geëvalueerd.
Uitdaging/moeilijkheid bij evaluatie van programma’s/interventies
Er wordt gebruik gemaakt van onderzoeksmethoden op een situatie in een sociale
omgeving: er is geen sprake van ‘onderzoeksomstandigheden’, maar van sociale omgevingen
met allerlei verschillende invloeden en sociale contexten. Er is sprake van een ‘conflict’
tussen onderzoeksdesign (academisch) en de omgeving waarin onderzoek wordt gedaan
(sociaal). Dit heeft invloed op het kunnen doen van valide uitspraken over de effectiviteit van
een programma.
Daarnaast zijn er ook nog een aantal andere problemen bij het doen van onderzoek naar
sociale programma’s:
- Wat is het doel van het programma? Zijn er onderliggende ‘verborgen agenda’s’ van
mensen die bijvoorbeeld een onderliggend belang hebben bij een programma?
- De methode moet valide zijn, ook als er sprake is van onderzoek doen in een sociale
situatie
- Wie zijn de stakeholders? Wie betalen er, wie zijn de managers/personeel, wat is de
target-groep?
- Kan er sprake zijn van andere onderliggende motieven bij mensen die betrokken zijn?
2
, Methods and techniques for evaluation-research
Suze Hiemstra (S3337626)
- Is er sprake van een relatief nieuw programma waar nog niet veel duidelijk over is, of
is het al een oud programma wat zijn effectiviteit al bewezen heeft?
- Wat zijn de bronnen die aanwezig zijn? Bijvoorbeeld geld, tijd, ondersteuning van
externe partijen, hoe veel informatie is er beschikbaar?
Boek Evaluerend onderzoek is ingebed in een politieke context: ‘The social problem, the
programs, the meaning and importance of the programs are all social constructs that will
inevitably differ for individuals and groups.’
Er moet worden gezocht naar een balans tussen twee gedachtenstromen hoe we de
samenleving zien en benaderen. Twee verschillende onderzoekers met verschillende
gedachten:
- Campbell (1979): De samenleving moet een experimentele omgeving zijn, je moet je
onderzoeksmethoden zo aanpassen op de sociale omgeving dat je een soort
experimentele omgeving/design creëert. Het creëren van een experimentele
omgeving door het implementeren van methodes van de sociale wetenschappen.
- Cronbach (1982): evaluatie is een kunst in plaats van een wetenschap. Evaluatie gaan
over het kijken naar de behoeften van de stakeholders van het programma.
Een goede evaluatie is een die aangepast is aan de omstandigheden, maar tegelijkertijd ook
passend is voor het verschaffen van inhoudelijk sterke antwoorden over het wel of niet
functioneren van een programma. Het is dus eigenlijk een combinatie.
Goede evaluatie omvat goede evaluatievragen:
- Reasonable (redelijk)
- Appropriate (passend)
- Answerable (beantwoordbaar)
Aan deze drie voorwaarden moeten de vragen voldoen. Daarnaast moet er ook sprake zijn
van een valide construct.
Bij evaluerend onderzoek moeten er voor de programma’s bepaalde standaarden en criteria
worden opgesteld. Wanneer is een programma goed genoeg?
- Het bereiken van targetgroep …% van de targetgroep moet worden bereikt
- In welke mate moeten doelen worden bereikt?
- Professional standards
- Legal requirements
- De mening/standpunten van experts
- De tevredenheid van de klant/doelgroep die baat moet hebben bij het programma.
HC2: Assessing the need for a program
Onderste stap in de piramide.
Wanneer is er een programma nodig, en wat voor soort programma is er nodig? Hiervoor is
ook een evaluatie nodig. Dit gaat over de eerste stap in de piramide van evaluatie:
- Wat is de afkomst (nature) van het probleem?
- Op wie heeft dit effect?
- Hoe worden ze beïnvloed door dit probleem?
- Welke services zijn er nodig om het probleem op te tackelen?
3
, Methods and techniques for evaluation-research
Suze Hiemstra (S3337626)
Needs assessment
Een aantal procedures die zorgen voor een systematische beschrijving en diagnose van de
sociale behoeften (de behoeften voor een programma).
- Het is van belang dat deze assessments ons informeren over de nature van het
programma, maar ook over de ‘target groep’ van het programma.
- Het draagt bij aan het voorkomen van ongepaste of onnodige services:
o Onjuiste diagnose van het probleem
o Veranderingen van het probleem en/of target groep
o Stereotype gedachtegangen worden voorkomen
- Needs assessements kunnen programma-specifiek zijn, maar ook meer algemeen.
Definiëren van het probleem
Een moeilijke taak. Je hebt te maken met meningen van mensen bij de definiëring van een
probleem en wat de mogelijke oplossingen zijn.
- Problemen zijn sociale constructen, waarbij meerdere actoren zijn betrokken.
Problemen zijn dus niet objectief.
- Wat zijn dan de criteria of de benchmarks om te bepalen of ergens ingegrepen moet
worden of niet?
De omvang van een probleem
Wanneer, waar en hoe groot?
- Valide voorspellingen van de omvang zijn belangrijk. Het probleem is echter dat een
aantal sociale problemen ‘onzichtbaar’ zijn. Denk bijvoorbeeld aan pesten.
- We moeten rekenen op bestaande data om te beslissen hoe groot het probleem is,
wanneer het voorkomt et cetera. Op deze manier kan er ook een voorspelling
worden gemaakt over of een programma valide en representatief is.
- Je hebt verschillende databronnen nodig om verschillende vragen te onderzoeken en
beantwoorden.
- Er zijn ook sociale problemen waarvoor nog geen indicatoren bekend zijn. Dit
bijvoorbeeld omdat de problemen nieuw zijn, of omdat de problemen onzichtbaar en
hierdoor moeilijk te onderzoeken zijn.
Het voorspellen van behoeften
- Voorspellen van de toekomst: grootte van een sociaal probleem.
- Assumpties: de toekomst zal in verband staan met het heden en het verleden
- Extrapoleren van de huidige trends tegenover ‘sophisticated projections’ onder
andere assumpties.
Wat is de targetpopulatie?
Wie zitten er in de potentiele doelgroep voor een programma (bijvoorbeeld een anti-pest
programma)
- Oprichters/personeel van het programma: moeten in staat zijn de targets te scheiden
van de niet-targets
o Dit moeten zij op een ambigue en efficiënte manier kunnen doen
- Het onderscheid maken tussen target en niet-target moet een
‘normale/gestandaardiseerde’ procedure van het programma zijn.
4
