Effectonderzoek in de
gedragswetenschappen samenvatting
Van Loon, vd Meulen en Minnaert
Hoofdstuk 3 Definities van enkele relevante bergippen.
3.2 Gedragswetenschappen
Gedrag omvat: alle activiteiten van een (menselijk) organisme, die
waarneembaar of registreerbaar zijn of tot waarneembare of registreerbare
toestandswijzigingen leiden.
Disciplines die zich bezighouden met gedrag: psychologie, sociologie,
onderwijskunde, pedagogiek en(kinder)psychiatrie.
Gedragswetenschappen: rationele activiteiten van terzake deskundigen,
gericht op overeenstemming, waarbij met behulp van empirisch onderzoek zicht
wordt verkregen op menselijk gedrag
3.3. Interventie (programma)
Er is sprake van een interventieprogramma als het programma gebruikt wordt
tijdens een hulpverlening, begeleiding of trainingssituatie:
- Gekenmerkt door goed omschreven doelen, gericht op oplossen,
verminderen of voorkomen
- Aansluiten bij toepasselijke theorieen en hypothesen
- Goed gedefinieerd qua inhoud en doelgroep
- In de tijd gefaseerd
- Geplande evaluatiemomenten en criteria
3.4. Effectiviteit van interventies
Effectiviteit: de mate waarin de hulp, zorg, ondersteuning of onderwijsplanning
erin slaagt de doelgroep positief te beïnvloeden, in lijn met de doelstellingen, en
wel zodanig dat alternatieve verklaringen uitgesloten zijn
Effectiviteit als continuüm: (drie dimensies)
- Afhankelijkheid (dependence): de mate waarin een functionele relatie
tussen de onafhankelijke variabele (de interventie) en de afhankelijke
variabele (de uitkomst) bestaat
- Specificiteit (specificity): de mate waarin specifieke, identificeerbare
dimensies van de interventies aan te wijzen zijn, die een onderscheidbare
relatie met de afhankelijke variabele bezitten
- Bestaan van alternatieve verklaringen (spuiousness): de mate
waarin andere factoiren de interventie als bronnen van invloed op de
afhankelijke variabele optreden (hidden third factors)
Causale gevolgtrekking is in hulpverleningssituaties meer een relatief dan een
absoluut concept. Alle drie de dimensies zijn namelijk bijna nooit in hoog.
De effectladder van Yperen geven ook een indeling van effectiviteit:
- Niveau 0: impliciete kennis
- Niveau 1: goed beschreven interventies
- Niveau 2: goed onderbouwde interventies
, - Niveau 3: effectieve interventies volgens eerste aanwijzingen
- Niveau 4: interventies met causale bewijskracht zijn bewezen effectief.
Effectieve interventies: interventieprogramma’s die een gemeten verbetering,
corresponderend met de vooropgestelde doelen, bewerkstelligen, waarbij de
verbetering is toe te schrijven aan de interventie en er zicht is op werkzame
elementen ervan.
Termen die nauw samenhangen met effect:
- Resultaat: meer neutrale term dan effect. Het is de uitkomst van een min
of meer doelgerichte handeling, proces of werking. De oorzaak en of de
uitkomst bedoeld was ligt hier open
- Verandering: sterk gerelateerd met ontwikkeling. Maar ook hier is de
oorzaak open.
- Doeltreffendheid: is niet hetzelfde als effectiviteit, maar het behalen van
doelen zou je wel als voorwaarde voor effectiviteit kunnen zien.
Efficacy: interventie leidt onder bepaalde omstandigheden tot resultaten.
Effectiveness: de mate van positief effect in de weerbarstige praktijk.
Kosteneffectiviteit: de verhouding tussen de effecten en de kosten van een
interventie.
3.5 Effectonderzoek
Effectonderzoek binnen (wetenschappelijk) onderzoek.
Fundamenteel onderzoek: ontwikkelen en toetsen van theorieën voor de
oplossing van kennisproblemen die bestaan bij professionals binnen en buiten de
wetenschap.
Praktijkgericht onderzoek: het ontwikkelen, proberen en evalueren van
oplossingen voor praktijkproblemen die bestaan bij professionals buiten de
wetenschap.
Effectonderzoek is praktijkgericht onderzoek.
Productevaluatie: evaluatie van een programma. Het doel is: stoppen of
doorgaan. Dit soort doelen worden ook wel summatief genoemd. De criteria op
grond waarvan met een interventie beoordeeld, zijn ontleend aan het doel van de
interventie. We verzamelen informatie over de input, het proces en de output.
Data vaak kwantitatieve methoden, vooral bij Goal based productevaluatie: is
de doelbereiking wel toe te schrijven aan interventie.
Procesevaluatue: evalueert het proces: is de interventie verlopen zoals
gepland. Doel: het tot stand brengen van verandering in de interventie en/of
bewustwording van de betrokkenen bij het proces. (formatieve doelen
genoemd). Criteria zijn niet perse ontleend aan het doel, maar er kunnen ook
morele, maatschappelijke of politieke maatstaven genomen worden. Bij
procesevaluatie bestuderen we vaak met behulp van kwalitatieve methoden
interactieprocessen rondom programma’s.
Kwalitatieve en kwantitatieve methoden kunnen ook gemengd gebruikt worden:
Gecombineerde methoden
Effectonderzoek moet om bruikbaar te zijn en de kosten waard te zijn, ook
manieren blootleggen om het programma te helpen verbeteren en aangeven
welke personen er (wel) van profiteren.
,Het NJI onderscheidt vijf soorten effectonderzoek:
1. Niet experimenteel kwaliteitsonderzoek: wat is de kwaliteit van de
interventie, zonder vergelijking met een andere cliënt
2. Niet- experimenteel veranderingsonderzoek: voor en na meting bij
deelnemers van interventie
3. Case studies (N=1).
4. (Quasi) experimenteel onderzoek
5. Meta studies of meta analyse: resultaten van een aantal vergelijkbare
affectonderzoeken kwalitatief samenvatten. Er vindt onderzoek plaats naar
de factoren die te maken hebben met de verschillen in resultaten.
De eerste drie zijn vormen van pre experimenteel onderzoek.
Evidence based practice: is het zorgvuldig, expliciet en oordeelkundig gebruik
van het beste bewijsmateriaal(evidence) om beslissingen te nemen met
individuele cliënten of leerlingen om de ondersteuning te verbeteren.(practice)
Practice based evidence: zet juist de praktijk om in onderzoeksresultaten
Evidence- informed: bij de ontwikkeling van innovaties expliciet gebruik maken
van aanwezige wetenschappelijke kennis, maar daarbij niet strikt selecteert op
basis van kennis die gegenereerd is uit gecontroleerde experimenten.
Cost-benefitstudies: kosten vergelijken met opbrengsten.
3.6 Effect size
Effectsize is de gestandaardiseerde numerieke index van de grootte van een
effect of een relatie; onafhankelijk van de steekproefgrootte.
Er is een verschil tussen significant en relevant. Iets kan statistisch significant
zijn en toch niet vakinhoudelijk relevant. Meest gebruikte Effectsize voor een
relatie is de R- kwadraat. De meest bekende index voor effect is Cohen’s d.
Effectsize en poweranalyse hangen sterk met elkaar samen. Poweranalyse
geeft een schatting van de mogelijkheid om wanneer een interventie werkelijk
effect heeft, dit effect tijdens het onderzoek daadwerkelijk aan te tonen. Maar
ook een schatting van wat men verwacht te vinden als de interventie in
werkelijkheid helemaal geen effect heeft.
Hoofdstuk 4. Ideaalmodel voor effectonderzoek
Vragen beantwoorden voor de start van effectonderzoek:
- Kunnen de resultaten van de evaluatie beslissingen aangaande het
programma beïnvloeden?
- Kan de evaluatie op tijd plaatsvinden om bruikbaar te zijn?
- Is het programma relevant of zwaar genoeg?
- Zijn de effecten van het programma niet al bekend?
Gedragsonderzoek dat valt onder de Wet medisch wetenschappelijk
onderzoek en moet een medisch- etische toets ondergaan:
, - Medisch wetenschappelijk onderzoek: als er in
gedragswetenschappelijk onderzoek een medische component betrokken
is
- De participanten worden aan handelingen onderworpen, en/of aan
de participanten wordt een bepaalde gedragswijze opgelegd.
(meeste effectonderzoek voldoet aan deze voorwaarde)
Hoe je het beste effecten van interventies kunt meten. In zes fasen.
4.2 Inventariseren van begrippen en doelen. (fase 1)
In de empirische cyclus komt dit overeen met de fasen Observatie en Inductie.
Goede interventies beschikken over een theoretisch raam. Het bestaat globaal uit
een analyse van factoren die bij een probleem of risico een rol spelen en hoe die
factoren met elkaar in verband staan, plus aanduiding van werkzame elementen
van de interventie.
Het geheel van assumpties over de middelen en activiteiten bij een programma
en hoe deze leiden tot de realisatie van doelen, noemen we een
programmatheorie (program theory). Het effectonderzoek gebaseerd op zo’n
programmatheorie wordt aangeduid met theory- driven evaluation.
Theoretisch raam beschrijft factoren die het probleem beinvloeden, maar ook de
normale ontwikkeling.
Bestaande kennis
Bij voorkeur sluit de theoretische basis aan bij bestaande theorieën. Welke
overeenkomsten zijn er met andere theorieën en tot welk type hulp hoort het
interventieprogramma. Ook rekening houden met de algemeen werkzame
elementen. Voorbeelden van zulke elementen (NJI):
- Activiteiten die duidelijk en doelgericht zijn
- Planmatig verlopen
- Goed aansluiten bij de verwachting en motivatie van de cliënt
- Uitgevoerd worden door goed getrainde professionals die goede
ondersteuning krijgen bij hun werk.
Carr (2002) concludeert daarnaast nog dat werkzame
interventieprogramma’s vaak:
- Multipele leermethoden en middelen gebruiken
- Intensief en langdurig zijn
- Met frequente contacten werken
- In een comfortabele setting worden aangeboden.
Bovendien noemt hij nog dat een werkzame interventie gebaseerd is op een
solide psychologische theorie, bij voorkeur op een multifactorial systemic
theorie. (systeemtheorie)
Ook in transactionele theorieën wordt de complexiteit benadrukt en gepoogd
deze te ontrafelen.
Typen variabelen
In het theoretisch raam wordt ook een duidelijke bepaling opgenomen van de
doelgroep van de interventie. Bij inventarisatie van variabelen onderscheid
Melief(1979) drie groepen: cliënt, therapeut en procesvariabelen.
Clientvariabelen:
