Effectonderzoek in de gedragswetenschappen
Van Loon, Van der Meulen & Minnaert
H3 t/m 6
,3. Definities van enkele relevante begrippen
3.2 Gedragswetenschappen
Gedragswetenschappen is een overkoepelende benaming voor wetenschappen die zich toeleggen op
de studie van het gedrag.
Onder gedragswetenschappen wordt verstaan: rationele activiteiten die terzake deskundigen, gericht
op overeenstemming, waarbij met behulp van empirisch onderzoek zicht wordt verkregen op
menselijk gedrag.
Gedrag omvat alle activiteiten van een (menselijk) organisme, die waarneembaar of registreerbaar zijn
of tot waarneembare of registreerbare toestandswijzigingen leiden.
3.3 Interventie(programma)
Programma: een goed gedefinieerd en in de tijd gefaseerd complex van activiteiten ter realisering van
bepaalde eveneens goed omschreven doelen. Er is sprake van een interventieprogramma wanneer het
programma gebruikt wordt tijdens hulpverlenings-, begeleidings- of trainingssituaties.
Een interventieprogramma is een geheel van hulpverlenings-, begeleidings- en/of
onderwijsactiviteiten, die:
- Gekenmerkt worden door goed omschreven doelen, gericht op het oplossen, verminderen of
voorkomen van risico’s of problemen bij kinderen en/of volwassenen;
- Aansluiten bij toepasselijke theorieën en hypothesen;
- Goed gedefinieerd zijn wat betreft inhoud en doelgroep;
- In de tijd gefaseerd zijn ter wille van het bereiken van de doelen;
- Vooraf geplande evaluatiemomenten en evaluatiecriteria bevatten.
3.4 Effectiviteit van interventies en verwante termen
Effectiviteit heeft te maken met de werkzaamheid bij een bepaalde doelgroep en de mate waarin het
vooropgestelde doel wordt behaald. Om een bepaald interventieprogramma nu effectief te noemen
moet allereerst het doel duidelijk zijn.
Effectiviteit als continuüm is de mate waarin de hulp, zorg, ondersteuning of onderwijsinspanning erin
slaagt de doelgroep positief te beïnvloeden, in lijn met de doelstellingen, en wel zodanig dat
alternatieve verklaringen uitgesloten zijn.
Er zijn verscheidende niveaus van effectiviteit, afhankelijk van de mate waarin het doel bereikt is en de
mate waarin aannemelijk is gemaakt dat de interventie daarvan de oorzaak is.
Dunst et al (1989) Multidimensionale definitie van effectiviteit:
Het begrip effectiviteit plaatsen op een continuüm, zodat het
mogelijk is om verschillende vormen en niveaus van causale
gevolgtrekkingen te onderscheiden. Drie impliciete dimensies liggen
besloten in deze definitie:
- Afhankelijkheid (dependence): de mate waarin een
functionele relatie tussen de onafhankelijke variabele (de
interventie) en de afhankelijke variabele (de uitkomst)
bestaat.
- Specificiteit (specificity): de mate waarin specifieke,
identificeerbare dimensies van de interventie aan te wijzen zijn,
die een onderscheidbare relatie met de afhankelijke variabele bezitten.
, - (Bestaan van) alternatieve verklaringen (spuriousness): de mate waarin andere factoren dan
de interventie (hidden third) als bronnen van invloed op de afhankelijke variabele optreden.
Deze factoren probeert men tijdens het onderzoek zoveel mogelijk uit te schakelen.
Veerman & Van Yperen (2008) Effectladder:
- Niveau 0: Werken met impliciete kennis.
o De interventie is (nog) niet duidelijk omschreven, maar wordt uitgevoerd zoals men
het in gedachten heeft. De interventie kan natuurlijk effectief zijn, maar dit is niet
aangetoond en de interventie is niet overdraagbaar aan vakgenoten.
- Niveau 1: Goed beschreven interventies.
o Doordat het doel, de doelgroep, de aanpak en de randvoorwaarden nader
omschreven zijn, is de aanpak overdraagbaar en de effectiviteit enigszins in te
schatten, maar niet aangetoond. De bewijskracht is descriptief.
- Niveau 2: Goed onderbouwde interventies.
o Deze interventies hebben theoretische bewijskracht, doordat ze onderbouwd zijn met
een goede programmatheorie, die het aannemelijk maakt dat de interventie kan
werken. om in de databank Effectieve Jeugdinterventies van het NJi terecht te komen,
moet de interventie zich minstens op dit niveau bevinden. (Met deze definitie kun je
spreken van een interventieprogramma).
- Niveau 3: Effectieve interventies volgens eerste aanwijzingen.
o Er is gemeten of de geformuleerde doelen bereikt zijn, de doelgroep is bereikt en de
interventie volgens plan is uitgevoerd. Dit levert voorlopige bewijskracht op voor de
effectiviteit, maar is nog niet aangetoond dat de doelbereiking aan de interventie is
toe te schrijven. In termen van het model van Dunst et al. (1989) is het niveau van
uitsluiten van alternatieve verklaringen nog laat.
- Niveau 4: Interventies met causale bewijskracht zijn bewezen effectief.
o De gemeten verbetering is toe te schrijven aan de interventie; er is causale
bewijskracht. Er is sprake van een goed omschreven, theoretisch onderbouwde
(niveau 1 en 2) en in de praktijk getoetste aanpak (niveau 3), waarvan door middel
van een controlegroep is aangetoond dat deze beter is dan géén of een andere
interventie (niveau 4).
In het boek wordt bewijskracht ook wel (sterke) ondersteuning genoemd. Een theorie of hypothese
kan alleen verworpen of niet verworpen worden.
Effectief en effect
We spreken van effectief wanneer het gevolg van de interventie (= effect) toe te schrijven is aan de
interventie, waarbij we zoveel mogelijk storende factoren uitschakelen.
Dunst Het gaat dan om een hoog niveau van afhankelijkheid en uitsluiting van alternatieve
verklaringen.
Van Yperen en Veerman Niveau 4.
Effectieve interventies zijn interventieprogramma’s die een gemeten verbetering, corresponderend
met de vooropgestelde doelen, bewerkstelligen, waarbij de verbetering is toe te schrijven aan de
interventie en er zicht is op de werkzame elementen ervan.
Gerelateerde termen die nauw samenhangen met effect:
Resultaat/Outcome: de benaming van een wetenschappelijke rapportage. Het geheel van
gegevens, feitenmateriaal en conclusies dat een wetenschappelijk onderzoek oplevert. Resultaat is
een meer neutrale term dan effect. De definitie houdt zowel de mate waarin de uitkomst bedoeld was
en de oorzaak voor het resultaat, enigszins open.
, Verandering: ‘het anders maken of worden’. Zegt niets over waar de verandering door wordt
veroorzaakt. In de ontwikkelingspsychologie en orthopedagogiek nauw verbonden met ontwikkeling
(leeftijd gerelateerde veranderingen in differentiatie en integratie van functies). Een van de meest
essentiële taken in effectonderzoek is het uiteenrafelen van beoogde verandering en ontwikkeling.
Doeltreffendheid: niet gelijk aan effectiviteit, voorwaarde voor effectiviteit. Doelen van de
interventie kunnen zijn behaald maar dat hoeft niet door de interventie zelf te zijn gekomen.
Onderscheid tussen efficacy (of een interventie onder ideale omstandigheden tot de verwachte
resultaten leidt) en effectiveness (de mate van positief effect in de praktijk).
Kosteneffectiviteit is de verhouding tussen de effecten en de kosten van een interventie. Van twee
effectieve interventies is de goedkoopste het meest kosteneffectief. Ook verhouding tussen kosten en
baten en de onderzoekskosten moeten overwogen worden.
3.5 Effectonderzoek
Effectonderzoek is onderzoek, dat gebruik maakt van methoden en technieken uit de sociale
wetenschappen en een waardeoordeel uitspreekt over het feitelijk functioneren van een
interventieprogramma, door dat te vergelijken met de doelen ervan en, voor zover mogelijk, de
systematische bepaling van de mate waarin het programma een eventueel geconstateerde
verandering veroorzaakte, met de bedoeling bij te dragen tot betere, meer gefundeerde, rationelere
beslissingen over het programma om uiteindelijk optimale hulp, zorg, ondersteuning of onderwijs te
kunnen bieden.
Effectonderzoek om het beoogde effect van de interventie vast te stellen (zijn de doelen behaald). In
de eerste plaats gaat het om productevaluaties en in het bijzonder om wat ook wel
effectiviteitsanalyse of programma-evaluatie wordt genoemd. Nadruk ligt op het (quasi)experimentele
onderzoek)
Soorten onderzoek
Op basis van het algemeen doel van het onderzoek wordt onderscheid gemaakt tussen fundamenteel
onderzoek en praktijkgericht onderzoek.
Fundamenteel onderzoek heeft tot doel het ontwikkelen en toetsen van theorieën voor de
oplossing van kennisproblemen die bestaan bij professionals binnen en buiten de wetenschap.
Verloopt vaak volgens de empirische cyclus.
Praktijkgericht onderzoek (toegepast onderzoek) heeft tot doel het ontwikkelen, proberen en
evalueren van oplossingen voor praktijkproblemen die bestaan bij professionals buiten de
wetenschap. Wordt vaak beschreven aan de hand van de regulatieve cyclus van Van Strien
(probleemstelling – diagnose – plan of ontwerp – ingreep – evaluatie).
Effectonderzoek kan gezien worden als vorm van praktijkonderzoek omdat het oplossingen zoekt voor
praktijkproblemen en kan worden geplaatst in de fase ‘evaluatie’ van de regulatieve cyclus.
Effectonderzoek en aanverwante termen
- Programma-evaluatie (program evaluation)
- Evaluatieonderzoek
- Effectevaluatie
- Productevaluatie
- Summatieve evaluatie
- Interventieonderzoek
Effectonderzoek kan zowel, met het oog op praktische gerichtheid, in de regulatieve cyclus geplaatst
worden, als volgens de empirische cyclus in stappen worden beschreven en daarmee
toetsingsonderzoek zijn.
