Samenvatting Effectonderzoek in de
gedragswetenschappen
Hoofdstuk 3: Definities van enkele relevante begrippen
3.2 Gedragswetenschappen
Gedragswetenschappen= rationele activiteiten van ter zake deskundigen, gericht op
overeenstemming, waarbij met behulp van empirisch onderzoek zicht wordt verkregen op menselijk
gedrag.
3.3 Interventie(programma)
Een interventieprogramma= een geheel van hulpverlenings- begeleidings- en/of
onderwijsactiviteiten, die:
- Gekenmerkt worden door goed omschreven doelen, gericht op het oplossen, verminderen of
voorkomen van risico’s of problemen bij kinderen en/of volwassenen
- Aansluiten bij toepasselijke theorieën en hypothesen
- Goed gedefinieerd zijn wat betreft inhoud en doelgroep
- In de tijd gefaseerd zijn ter wille van het bereiken van de doelen
- Vooraf geplande evaluatiemomenten en evaluatiecriteria bevatten
Het is ook wel een verzamelnaam voor projecten, trainingsmethoden, cursussen, behandel- en
begeleidingsvormen, sancties en meer. Kan ook een interventie genoemd worden.
3.4 Effectiviteit van interventies
Effectiviteit heeft te maken met de werkzaamheid bij een bepaalde doelgroep en de mate waarin het
vastgestelde doel wordt behaald. De doelen, de aanpak en de doelgroep van de interventie moeten
daarvoor duidelijk zijn. Die effectiviteit bestaat op meerdere niveaus, in meerdere dimensies (Dunst
et al.):
- Afhankelijkheid: de mate waarin een relatie is tussen de onafhankelijke variabele en de
onafhankelijke variabele.
- Specificiteit: dit snap ik niet (ik denk de mate waarin de variabelen toegespitst zijn)
- (Bestaan van) alternatieve verklaringen: de mate waarin andere factoren dan de interventie
(derde variabelen) als bronnen van invloed op de afhankelijke variabele optreden. Deze
variabelen wil je als onderzoeker natuurlijk uitschakelen.
Veerman en Van Yperen (2008) ontwikkelden een “effectladder”:
- Niveau 0: werken met impliciete kennis
De interventie is (nog) niet duidelijk omschreven, maar wordt uitgevoerd zoals men het in gedachten
heeft. De interventie is niet bewezen affectief en niet overdraagbaar aan vakgenoten.
- Niveau 1: goed beschreven interventies
Het doel, de doelgroep, de aanpak, en de randvoorwaarden zijn omschreven, waardoor de aanpak
repliceerbaar is, maar niet bewezen effectief.
- Niveau 2: goed onderbouwde interventies
Deze interventies hebben theoretische bewijskracht, omdat ze goed onderbouwd zijn en daardoor
effectief lijken. Vanaf dit niveau kan je spreken van een interventie, daarvoor niet.
- Niveau 3: effectieve interventies volgens eerste aanwijzingen
Er is gemeten of de geformuleerde doelen bereikt zijn, de doelgroep is bereikt en de interventie
volgens plan is uitgevoerd. Het is nog niet zeker of het bereikte resultaat toe te schrijven is aan de
interventie, omdat er nog derde variabelen in het spel kunnen zijn.
- Niveau 4: interventies met causale bewijskracht zijn bewezen effectief
,Het resultaat is te wijten aan de interventie (er is causale ondersteuning), waarbij er sprake is van
een goed omschreven, theoretisch onderbouwde (en in de praktijk onderbouwde) aanpak, waarbij er
een controlegroep gebruikt is.
Een aantal definities:
De effectiviteit van een interventieprogramma= de mate waarin de hulp, zorg, ondersteuning
of onderwijsinspanning erin slaagt de doelgroep positief te beïnvloeden, in lijn met de
doelstellingen, en wel zodanig dat alternatieve verklaringen uitgesloten zijn.
Effectieve interventies= interventieprogramma’s die een gemeten verbetering,
corresponderend met de vooropgestelde doelen, bewerkstelligen, waarbij de verbetering is
toe te schrijven aan de interventie en er zicht is op de werkzame elementen ervan.
Effect= de mate waarin een lange- en/of korte termijn doel behaald is ten gevolge van de
interventie, waarbij wel sprake is van een gewenst effect.
Resultaat= de benaming van een onderdeel van een wetenschappelijke rapportage, waarbij
het een neutralere term is dan effect.
Verandering= het anders maken of worden. Kan sterk gerelateerd zijn aan ontwikkeling.
Doeltreffendheid≠ effectiviteit. Het kan namelijk zo zijn dat de doelen wel zijn behaald, maar
dat de interventie het resultaat niet veroorzaakte. Het is wel een voorwaarde voor
effectiviteit.
Kosteneffectiviteit= de verhouding tussen de effecten en de kosten van een interventie
(kosten en baten). Kan letterlijk maar ook relatief gebruikt worden.
Hoe hoger het niveau van precisie, betrouwbaarheid en generalisatie, hoe hoger meestal de kosten
(tijd, personele en andere middelen).
3.5 Effectonderzoek
o Fundamenteel onderzoek: het ontwikkelen en toetsen van theorieën voor de oplossing van
kennisproblemen die bestaan bij professionals binnen en buiten de wetenschap. Verloopt
vaak volgens de empirische cyclus.
o Praktijkgericht/toegepast onderzoek: het ontwikkelen, proberen en evalueren van
oplossingen voor praktijkproblemen die bestaan bij professionals buiten de wetenschap.
Verloopt vaak volgens de regulatieve cyclus.
Program evaluation= de systematische bepaling van programmaresultaten en, voor zover mogelijk,
de systematische bepaling van de mate waarin het programma die resultaten veroorzaakte.
Effectonderzoek kan zowel in de regulatieve cyclus als in de empirische cyclus geplaatst worden.
Productevaluatie is vaak de rechtvaardiging van de interventie ten opzichte van de
uitvoerders, de doelgroep, de opdrachtgever en de financiers of het maken van een
beslissing over stoppen of doorgaan met de interventie tot doel. Je verzamelt informatie
over de input, het proces en de output. Hierbij worden vaak kwantitatieve methoden
gebruikt.
a. Goal-based evaluation/effectiviteitsanalyse= is de doelbereiking toe te schrijven aan
de interventie? Hierbij draait het niet alleen om de doelbereiking, maar ook om de
effectiviteit. Een quasi-experimenteel design is hier het geschiktst voor.
Procesevaluatie (formatieve evaluatie) heeft als doel het tot stand brengen van
veranderingen in de interventie en/of bewustwording van de betrokkenen bij het proces.
Voor dit soort evaluaties wordt een er kwalitatieve interactieprocessen rondom
programma’s gebruikt.
De kwantitatieve/kwalitatieve methoden worden tegenwoordig door elkaar heen gebruikt.
a. De productevaluatie toont aan of de interventie werkt.
b. De procesevaluatie toont aan waarom de interventie (niet) werkt en hoe het beter
zou kunnen.
Bewijskracht Kwalificatieniveau interventie Soorten onderzoek
, Causaal 4. Werkzaam: Experimenteel onderzoek
Bewezen of waarschijnlijk effectief Herhaalde casestudies (N=1)
(causaal), afhankelijk van: kwaliteit Quasi-experimenteel onderzoek
onderzoek, follow-up, in praktijk Veranderingstheoretisch onderzoek
uitgevoerd en aantal studies Normgerelateerd onderzoek
Indicatief 3. Doeltreffend Veranderingsonderzoek
Doel-realisatieonderzoek
Cliënttevredenheidsonderzoek
Theoretisch 2. In theorie effectief Meta-analyses
Literatuurstudies
Studies naar impliciete kennis
Descriptief 1. Goed beschreven Descriptief onderzoek
Observationeel onderzoek
Documentanalyse
Interviews
0. Impliciet (black box) Géén onderzoek
Soorten effectonderzoek
1. Niet-experimenteel onderzoek: wat is de kwaliteit van een interventie (zonder vergelijking
met een controlegroep)?
2. Niet-experimenteel veranderingsonderzoek: je vergelijkt kenmerken van participanten voor
en na de interventie en vergelijkt deze met elkaar of met een externe norm.
3. Casestudies (N=1-studies of single case designs): veranderingsonderzoek waarin de toestand
van één onderzoeksobject op verschillende momenten wordt gemeten.
4. (Quasi-) experimenteel onderzoek: de interventie wordt vergeleken met een groep waarbij
geen interventie is toegepast. Het wordt gebruikt voor het onderzoeken van causale relaties
waarbij geen random indeling mogelijk is (pre-post test designs, comparison group designs,
interrupted time-series designs)
5. Metastudies of meta-analyse: kwantitatieve samenvatting van een aantal vergelijkbare
effectonderzoeken die ook vergeleken worden. Factoren die verschillen kunnen verklaren
worden onderzocht. Negatieve interventies worden uit de studie weggelaten, waardoor een
publication bias kan ontstaan.
Wat begrippen:
Evidence based practise= zorgvuldig, expliciet en oordeelkundig gebruikmaken van het beste
bewijsmateriaal om beslissingen te nemen met individuele leerlingen/klanten om de
ondersteuning te verbeteren. Nadeel hiervan is dat nieuwe/betere methoden niet worden
toegepast, omdat ze niet voldoende zijn onderzocht. Evidence informed wordt ook wel
gebruikt: er wordt wetenschappelijke kennis gebruikt bij innovaties, maar die komt niet altijd
uit gecontroleerde experimenten.
Practice based evidence= de praktijk omzetten in onderzoeksresultaten.
Cost-benefit studies= je vergelijkt de financiële kosten met de financiële opbrengsten.
Responsive evaluation= de evaluatieactiviteiten zijn volledig gericht op de informatie die
belanghebbenden hebben aangevraagd.
Effectonderzoek= onderzoek dat gebruik maakt van methoden en technieken uit de sociale
wetenschappen en een waardeoordeel uitspreekt over het feitelijk functioneren van een
interventieprogramma, door dat te vergelijken met de doelen ervan en, voor zover mogelijk,
de systematische bepaling van de mate waarin het programma een eventueel
geconstateerde verandering veroorzaakte, met de bedoeling bij te dragen tot betere, meer
gefundeerde, rationelere beslissingen over het programma om uiteindelijk optimale hulp,
zorg, ondersteuning of onderwijs te kunnen bieden.
