BELEIDSEVALUATIEONDERZOEK
ALGEMENE INLEIDING
DOELSTELLINGEN
• Inleiding tot (beleids)evaluatieonderzoek
• Toegepaste sociologie, praktijkonderzoek
o Vak origineel uit de master, heel wetenschappelijke kaders en principes toepassen op
beleid om te kijken of beleid doet wat het wil doen
▪ Werkt het ja/nee, hoe komt dat dan
▪ Positieve en negatieve punten, (ongewilde) neveneffecten, werkpunten
▪ Veel sociologische principes en methodologische principes toepassen
• Kennismaking met
o Diverse vormen van evaluatieonderzoek
o Specifiek begrippenkader
o Kwantitatieve en kwalitatieve methoden
• Toepassen van die kennis: projectvoorstel
o HET EXPERIMENTELE DESIGN (uitdagend, moeilijk)
▪ Bv. hoe laat je mensen recycleren en hoe zet je hun aan?
o Attitudes veranderen of dwingen? = handelen beïnvloeden of attitudes
o Erg gelinkt aan de praktijk
o PLAN, PROCES EN PRODUCTEVALUATIE
o Overzicht van de wetenschappelijke methoden waarmee je aan
beleidsevaluatieonderzoek kan doen, zowel kwalitatief als kwantitatief
• Schriftelijk examen (40%)
o (heel weinig) kennis
o Voornamelijk toepassingen
▪ Cases en daarmee aan de slag gaan
▪ Argumenteren waarom het wel/niet werkt
▪ Bv. Coëfficiënten van een regressie en dan argumenteren of het levensvatbaar is
of niet
PROJECTVOORSTEL
• Doel: uitwerken van een evaluatieontwerp (40%)
o Beleidsdomein naar keuze
▪ Onderwijs, criminaliteit, sociaal werk, arbeid, integratie, gezondheid, etc.
o Structuur staat vast, ongeveer 3000 woorden
• Probleemstelling → PLAN
o Situeren sociaal probleem
▪ Mag heel klein zijn bv. minder zwerfvuil op straat
o Expliciteren causaal veldmodel
o (Fictieve) interventie hierop toepassen
• Hoe werking interventie beoordelen? → PROCES
• Voorstel om effectiviteit te meten → PRODUCT
1
,= 3 evaluatievormen: plan, proces en product
• Kijken naar cijfers, heeft het met taal te maken?
• Cultureel kapitaal in bredere mate? Gebrek aan kennis over hoe je u gedraagt en navigeert door
het hoger onderwijs? Gebrek aan motivatie? Gebrek aan economisch kapitaal?
• → kijken in wetenschappelijke artikels (web of science, google scholar)
• Eens je weet dat het bv. voornamelijk economisch kapitaal is (te weinig geld) → interventie
toepassen: zorgen dat geld geen probleem meer is
• Stel het is eerder door “dat is niets voor ons, wij gaan direct gaan werken” (ideeën)
• Cultureel kapitaal is zeer moeilijk om op in te werken
• Als je een interventie doet → nagaan of de interventie wel gebeurd zoals je dat gepland had
• (Quasi) experimenteel ontwerp om de effectiviteit van je ontwerp na te gaan
• Proces is moeilijk, want het is fictief
• Hoe realistisch moet het zijn? → je kan jezelf een serieus budget toekennen, maar niet oneindig
• Stel dat je 4 maatregelen doet en het werkt, kan je nooit weten welke van de maatregelen juist
werkt → kies voor 1 maatregel
• Presentatie geleverde werk (20%)
WAT IS BEO?
Werkwijze: lees de teksten en herlees de teksten met de les in het achterhoofd
• Op het examen komen nooit vragen uit een tekst waar we het in de les niet over hebben gehad
• Powson en Tilley uit 1997 → geeft een goed historisch overzicht en welke issues er allemaal zijn
(die zijn er vandaag nog steeds)
• Post truth: kracht van de wetenschap om de waarheid aan te duiden is verzwakt in de
samenleving
o “Wetenschappers zijn een elite en die hebben het niet goed met ons voor”
• Latour: het creëren van waarheid in de wetenschap
o Veel kritische stemmen die het idee van objectiviteit ondermijnen in de wetenschap
o Veel wetenschap is etnocentrisch westers
TERMINOLOGIE EN BENADERINGEN
• Onderscheid tussen
o Evaluatie
▪ Toetsen of verwachtingen volbracht zijn of niet op diverse criteria
• Bv. bij een film kijken naar beeld, geluid, acteurs, muziek
▪ Je zet op elke criteria bepaalde standaarden
• Bv. maatregel om werkloosheid te verminderen en je standaard is dat er
10.000 minder moet zijn
▪ Of je dat haalt of niet ga je beoordelen en evalueren
o Evaluatieonderzoek
▪ Wetenschappelijke richtlijnen
▪ Gebruik maken van wetenschappelijke methoden om te evalueren
o Beleidsevaluatieonderzoek
▪ Evaluatieonderzoek methoden toepassen op beleidsmaatregelen
▪ Kan zowel door de grote OH als door een bedrijf, vzw, etc.
2
, • Meeste literatuur is van beleidsanalyse (OH en bedrijven), pas recent heel wat sociologische
kennis bij
• De context waarin een kunstwerk hangt, bepaalt je oordeel over dat kunstwerk
• Overzicht van 3 grote perspectieven in evaluatieonderzoek → grondig besproken in de tekst
o (1) Als sociaalwetenschappelijk onderzoek
▪ We moeten de samenleving verbeteren en wij als wetenschappers kunnen de
waarheid zoeken en ons steentje bijdragen
▪ We kunnen objectief checken of beleidsmaatregelen werken
▪ Mooie toekomst tegemoet: enkel nog maatregelen die werken
o (2) Als onderdeel van het beleidsproces
▪ Expliciet vanuit het beleidsproces zelf denken
▪ Evaluatieonderzoek is daar een inherent deel van
o (3)Als vorm van emancipatie, “empowerment”
▪ Heel hard rekening houden met het belang van elke stakeholder
▪ Denken vanuit elke stakeholder en die proberen te empoweren
▪ Kennis is niet voor efficiëntie, maar voor mensen bewust te maken over sociale
processen, ongelijkheid, hindernissen
▪ Bv. in een school: kind, ouders, leerkracht, directie
➔ Schema’s in de tekst!
SOCIAALWETENSCHAPPELIJK ONDERZOEK
• “goal-oriented”, “goal attainment” model
o Veel synoniemen die hetzelfde betekenen → in teksten kunnen herkennen dat het
hetzelfde is
o “goal attainment” = heel enge benadering, enkel kijken naar het doel (de verwachting),
maar niet naar het proces → gelukt ja of neen? = heel naïef, je weet niet wat er is fout
gelopen of wat het heeft doen slagen
• Idee van “social engineering”
o De samenleving is een machine die op sommige plekken sputtert, dus de
wetenschappers moeten ervoor zorgen dat die beter draait → jaren ’50 en ’60
(optimisme na WOII): experimenting society = door social engineering tot een utopia
komen
• Samenleving als laboratorium, ideaal van een “experimenting society” (Campbell)
o Gebruik van experimenten: meetbare criteria
o Bereiken sociale interventies hun doel?
o Doel: welke oplossingen werken het beste bij sociale problemen?
o In de VS grootschalige experimentele designs, War on poverty (sesamstraat: kansarme
kinderen cultureel kapitaal bijbrengen)
o Recidieven, criminelen worden opgesloten, maar dan hervallen ze, hoe lossen we dat op
o Technocratische blik
3
, ILLUSTRATIE
Western Electric Company (Chicago, jaren ’20-’30)
• Achtergrond: discussie over motiveren van arbeiders
• Toenmalige paradigma: mensen motiveren doe je met geld → Taylorisme
o Opkomst Taylorisme: productieproces als wetenschappelijk machinaal mechanisme en
dan het proces zo optimaal mogelijk maken met efficiëntie en optimalisatie van de
fysische werkomstandigheden
• Niet enkel loon als motivatie, ook evalueren van fysische werkomstandigheden op productiviteit
o Bv. Betere belichting
• Bandwerk, hele dag zelfde handeling → hoe krijg je ze gemotiveerd om 8 uur lang hun best te
doen
• Gebruikten het OXO schema
o Eerst: effect van verlichting?
o Later: wat beïnvloedt productiviteit?
o Experimenteel design en varianten
• Methodologie: hoe meet je het effect van stimulus x → (M3-M1) – (M4-M2) = het effect van de
stimulus – alle andere mogelijke effecten (controlegroep)
• De experimentele groep was altijd productiever → Hawthorne-effect = het feit dat je
geobserveerd wordt, zorgt ervoor dat je productiever bent
• Neveneffect (startschot van HR beweging – Elton Mayo) → doordat de mensen apart werden
gezet, kenden de arbeiders elkaar en konden ze met elkaar babbelen, support, goed
geïntegreerde groep, mensen die zich goed voelen produceren meer
• Heel veel analyses zijn op een ongelofelijke gebrekkige manier gebeurd
o Analyses opnieuw gedaan op de computer → 3 andere grote verklaringen gevonden
4