GOP: kwaliteit en effectiviteit van interventies – bijna alle literatuur
Evidence based practice & practice based evidence
Van Yperen: 55 vragen over effectiviteit
Van Yperen & Veerman: Zicht op effectiviteit – handboek voor praktijkgestuurd
effectonderzoek in de jeugdzorg (H 1t/m 6 en 13)
Internaliserende problemen, stemmingsstoornissen en angststoornissen
Ten Broeke e.a.: praktijkboek geïntegreerde CGT (H 2, 4, 5, 6, 13 en het nawoord)
Van Rooijen-Mutsaers: Wat werkt bij jeugdigen met angststoornissen
Richtlijn stemmingsstoornissen in de jeugdhulp
Wat werkt bij ernstige gedragsproblemen?
De Lange e.a.: onderbouwing van de richtlijn ernstige gedragsproblemen
Bartelink: Motiverende gespreksvoering
Kaminski e.a.: Meta-analystic review of components associated with parent training
program effectiveness
Foolen & Daamen: Wat werkt bij oudertrainingen
Spijkers e.a.: Effectiveness of Primary Care Triple P on child psychosocial problems in
preventive child healthcare: a randomized controlled trial
Samenvattingen van: Incredible Years Basic, PCIT, PMTO, Triple P, ouders van
tegendraadse jeugd en taakspel
Landenberger & Lipsey: The positive effects of cognitive-behavioral programs for
offenders
Foolen & Ince: Cognitieve gedragstherapie
Samenvattingen van Alles Kidzzz, Agressieregulatie op maat, agressieregulatie op maat
ambulant, ART, Equip, Minder boos en opstandig, PAD, sprint, sociale vaardigheden op
maat, STOP 4-7, TACt groep
Wells e.a.: Multisystemic therapy (MST) for youth offending, psychiatric disorder and
substance abuse
Samenvattingen van FFT, MTFC, MDFT, MST
,Evidence based practice & practice based evidence
Van Yperen: 55 vragen over effectiviteit
Voorwoord
Er is steeds meer aandacht voor effectiviteit van de jeugdzorg. Het NJI ondersteunt deze
ontwikkeling met een databank effectieve jeugdinterventies. In de praktijk spelen er omtrent
effectiviteit vragen. Met dit document wil het NJI waar de organisatie staat ten opzichte van
effectiviteit in de jeugdzorg. Algemene regel is dat het NJI zoveel mogelijk wil aansluiten bij de
behoeften van professionals. Tom van Yperen gaat 55 vragen beantwoorden en heeft daarmee
drie doelen:
Het NJI wil zijn blik op effectiviteit verhelderen
Consensus creëren in het denken over effectiviteit
Nieuwkomers laten meedoen in discussie rondom effectiviteit
Thema 1: effectief werken met interventies in de jeugdzorg
1. Wat zijn interventies in de jeugdzorg?
Een interventie is een verzamelnaam voor ‘aanpakken’
Die vermindering, compensatie of het dragelijk maken van een risico of probleem in
de ontwikkeling van een jeugdige (tot 23) tot doel hebben
Die bestemd zijn voor een doelgroep met een of meer risico’s of problemen
Die gericht zijn op de jeugdige zelf en zijn opvoeders en/of zijn omgeving
Die geleid worden door een weldoordachte, doelgerichte en systematische
methodiek
Met een nader te omschrijven duur en frequentie.
Interventies worden in de jeugdzorg ook wel eens anders genoemd. Voorbeelden:
Methodieken: methodiek is LETTERLIJK een bepaalde leer voor handelen. In een
interventie is altijd een bepaalde methodiek verwerkt.
Modules: is een eenheid van zorg die qua aanpak, omvang en intensiteit relatief
homogeen is. In een module zit bijna altijd een inhoudelijke én praktische werkwijze
vastgelegd. Modules zijn vaak instellingsgebonden.
Zorgprogramma, -traject, -arrangement: een combinatie van modules. Bijv.
oudertraining en CGT voor een kind met gedragsproblemen.
Het is belangrijk dat op dit gebied eenheid van taal wordt gecreëerd.
2. Is het beter om te spreken over effectieve professionals of effectieve interventies?
Volgens het NJI gaat het om ALLEBEI. Interventies (de verpakking) zou je namelijk kunnen zien
als werkzame principes (ingrediënten) in de hulpverlening. Professionals kunnen hier keuzes uit
maken. De keuzes die zij maken, bepalen of ze een goede professional zijn. Als het goed is
worden professionals hierin ondersteund door de organisatie. Verder hebben cliënten ook
invloed, denk aan het maken van huiswerkopdrachten. Bij effectief werken zijn al dit soort
factoren met elkaar verweven.
3. Waarom zo veel aandacht voor effectiviteit van interventies?
Het NJI heeft vier redenen voor het feit dat er in de afgelopen jaren zoveel meer aandacht is voor
effectieve interventies:
Tijdsgeest: eigenlijk zijn er tegenwoordig 2 tijdsgeesten, namelijk
a) Transparantie: zorginstellingen moeten duidelijk maken wat hun kwaliteit is
b) Evidence-based: handelen op basis van wat werkt
Visie op kwaliteit: organisaties hebben n.a.v. kwaliteitskaders (bv. Harmonisatie
Kwaliteitsbeoordeling in de Zorgsector, HKZ) een visie op kwaliteit opgesteld. Het
concept van effectiviteit past hier goed bij. Aandacht voor kwaliteit leidt automatisch
tot aandacht voor effectiviteit. Verder vindt HKZ effectiviteit geen stabiel gegeven.
We zouden steeds effectiever willen moeten worden.
2
, Financiële krapte: er is steeds meer vraag naar jeugdzorg, waardoor de ruimte
krapper wordt. Via het principe van effectieve zorg kan je betere en goedkopere zorg
bieden.
Professionaliseringsslag: in de jeugdzorg is men druk bezig met professionalisering.
Dit zie je o.a. terug in bijscholing, richtlijnen, scherpere eisen aan opleidingen etc.
Het NJI vindt dat de jeugdzorg erg ambitieus is, maar qua perspectief niet alleen moet focussen
op effectieve interventies. Het is ook belangrijk om te kijken naar de rol van professionals in het
effectiever werken.
4. Wat verstaan we onder een effectieve interventie?
Een interventie is effectief als het bij een bepaalde doelgroep gestelde doelen realiseert. Dit
impliceert dat een uitspraak over effectiviteit vraagt om helderheid over doelen. Ten tweede
moet de doelgroep duidelijk omschreven zijn. Hoe meer onderzoeken de gestelde doelen
realiseren (via de interventie), hoe sterker de aanwijzing dat de interventie effectief is. Als er wel
andere doelen worden bereikt via de interventie, maar niet het hoofddoel, dan is de interventie
hooguit deels effectief te noemen. Vraag die bij effectiviteit dus altijd om de hoek komt kijken is:
‘effectief voor WAT’?
5. Wat is evidence-based werken eigenlijk?
Evidence werken betekent feitelijk niets anders dan werken met behulp van kennis over wat
werkt in de praktijk. Die kennis kan verschillende bronnen hebben:
Wetenschappelijk onderzoek (research-based werken): men denkt vaak dat dit de
enige vorm is van evidence-based werken, maar dat is niet zo. Er is meer kennis over
‘wat werkt’
Praktijkervaring (practice-based evidence): twee vormen
a) Gecollectiveerde praktijkervaring: onderlinge uitwisseling van info onder
professionals. Is de beste onderbouwing van het handelen wanneer er geen
wetenschappelijk bewijs is
b) Private praktijkervaring (tacit knowledge): tacit knowledge is dat de
professional de kennis impliciet hanteert. Private praktijkervaring kan de
hulpverlening zeer effectief maken
Het is belangrijk dat impliciete, individuele kennis expliciet wordt. Dit wordt alleen nog maar
heel weinig gedaan. De jeugdzorg is bezig met een inhaalslag op dit gebied.
6. Zijn alle interventies evidence-based?
Nee! Voor sommige doelgroepen is er simpelweg geen wetenschappelijk goed onderbouwde
interventie, en dan kan een hulpverlener niet niets doen! Dit probleem zal aanblijven, omdat er
altijd nieuwe doelgroepen bijkomen. Het handelen van de hulpverlener is dan ook vaak een
combinatie van evidence-based, practice-based (of: expert-based bij hele ervaren professionals),
consensus-based, value-based en client-based. Professioneel is om hier de juiste combinatie van
te maken bij het individuele geval. Het is belangrijk dat professionals dit dan weer kunnen
verantwoorden.
7. Is evidence-based werken niet hetzelfde als buitenland-based werken?
Daar lijkt het soms wel op ;). Dit heeft zo zijn voordelen, maar je kan er ook kritische
kanttekeningen bij plaatsen. Een voordeel is dat er veel onderzoek in het buitenland is gedaan
naar de aanpak van bepaalde doelgroepen. Het is zonde om die informatie niet te gebruiken. De
effectiviteit ervan moet alleen in Nederland (NL) wel weer doen blijken uit onderzoek. Als in NL
bijv. de treatment-as-usual veel beter is dan in een bepaald ‘buitenland’, dan zal het effect in NL
veel minder groot zijn. Tweede kanttekening is dat het niet is gezegd dat er in NL zelf geen
effectieve methoden zijn! Wetenschappers neigen veel naar het buitenland te kijken! Derde
kanttekening die je kunt maken is dat evidence-based programma’s uit het buitenland sneller
worden geïmplementeerd dan het doorontwikkelen van NL’se programma’s. In het buitenland
zijn veel meer programma’s dan in NL en ook het effectonderzoek is niet al te best. NL raakt zo
3
,een beetje ondergesneeuwd. Deze situatie is echter wel aan het verbeteren, via o.a. het werken
met commissies die in de praktijk gebruikte, goed onderbouwde interventies erkennen.
8. Welke vernieuwingstrajecten lopen er op het gebied van effectiviteit van de
jeugdzorg?
In tegenstelling tot wat de media ons voorschotelen, vindt het NJI dat de jeugdzorg zich juist
professionaliseert. Er zijn vijf trajecten waaruit dat blijkt:
Intensivering praktijkontwikkeling: steeds meer instellingen monitoren de
effectiviteit van hun praktijk. Hierdoor zullen steeds meer methoden komen
bovendrijven die bij bepaalde doelgroepen effectief zijn.
Erkenning van jeugdinterventies: via de Erkenningscommissie Interventies krijgt de
praktijk letterlijk erkenning voor het verbeteren van het aanbod
Prestatie-indicatoren: financiers en brancheorganisaties hebben afspraken gemaakt
over wat de kerndoelen van de jeugdzorg zijn en over hoe je die in de praktijk kunt
monitoren. Jeugdzorginstellingen moeten hiervoor verplicht info verzamelen. Dit
moet een impuls geven aan het kritisch bekijken van het eigen aanbod.
Onderzoekprogramma Zorg voor Jeugd: dit is een subsidiepot van miljoenen euro’s
waaruit door ZonMw op een gerichte manier wetenschappelijk onderzoek wordt
ondersteund. De bedoeling is om de gaten in het kennisbestand op te vullen.
Actieprogramma Professionalisering: doelen zijn het verbeteren van
beroepsopleidingen, het vergroten van het aantal geregistreerde beroepskrachten en
de ontwikkeling van het tuchtrecht. Ook staat dit programma in relatie tot
richtlijnontwikkling.
9. Gaat het om effectieve jeugdzorg of om een effectief stelsel?
Effectiviteit kunnen we het beste niet los van de jeugdzorg bekijken. Het gaat erom dat er een
effectief stelsel komt. Dit betekent volgens het NJI het volgende:
Opvoeders weten hoe ze allerlei ‘gewone problemen’ van kinderen kunnen
opvangen. Evt. met ondersteuning van eenvoudige voorzieningen in de buurt
Er zijn effectieve voorzieningen voor vroeginterventie in de eerste lijn (Centra Jeugd
en Gezin), zodat problemen niet escaleren.
Er is een pakket van effectieve, gespecialiseerde zorgarrangementen
Er is na gespecialiseerde zorg een goede nazorg, die voorkomt dat jeugdigen en
ouders opnieuw in de problemen komen
Voor veel voorkomende problemen zijn er goede ketens geregeld van lichte
ondersteuning, zwaardere zorgarrangementen en goede nazorg
Dit is alleen een verhaal dat tot nog toe veel te vrijblijvend is verkondigd. Volgens van Yperen
moet het nog concreter worden ingevuld. Drie dingen zijn daarbij belangrijk. Ten eerste moet de
huidige kennis over instrumenten en effectieve interventies gebruikt worden voor het praktisch
invullen van de zojuist beschreven lijn. Ten tweede moeten aan de praktische invulling gewenste
resultaten worden gekoppeld (bijv. 10% minder verwijzingen naar specialistische GGZ door
betere vroeginterventie). Als laatste moeten alle betrokken partijen, van bestuurders tot
professionals, dit gaan zien als een collectieve ambitie. DIT GAAN WIJ DOEN!
Thema 2: de ingrediënten van goede zorg
10. Wat zijn de ingrediënten van een effectieve interventie?
Er zijn twee ‘ingrediënten’ bij een effectieve interventie:
Algemeen werkzame factoren (ongeacht doelgroep): dragelijke caseload, goede
hulpverleningsrelatie, structuur, goede opleiding etc.
Specifiek werkzame factoren: factoren die specifiek van belangrijk zijn met
betrekking tot de werksoort, doelgroep of methode. Hierin kan je twee typen
onderscheiden:
a) Specifiek werkzame factoren voor de werksoort: zoals ambulant werken
4
, b) Specifiek werkzame factoren voor de doelgroep: bv. misbruikte kinderen
11. Gaat het om een effectieve interventie, een effectieve professional óf een effectieve
organisatie?
Voor effectieve zorg zijn alle drie belangrijk (zie ook tabel hierboven). In de eerste plaats gaat
het om de cliënt in zijn of haar context. Sommige zaken zijn daarin beïnvloedbaar door
jeugdzorg, andere niet. Ten tweede is er de hulp die de cliënt krijgt. Binnen deze hulp kan je drie
factoren onderscheiden, namelijk de organisatie, de professional en de specifieke methodiek. De
hulpverlening kan je via al deze 3 aspecten verbeteren. Denk aan het veranderen van een
organisatie(structuur) of het implementeren van ‘goede’ interventies.
Volgens van Yperen zijn veel interventies (louter) verpakkingen van algemeen en
specifiek werkzame factoren (ingrediënten) die van betekenis zijn voor alle drie factoren
(organisatie, professional, methodiek). De reden hiervoor is dat de interventie als ‘vehikel’
werkzame factoren introduceert die ook weer eisen te stellen aan de organisatie en de
hulpverlener.
Let wel, implementatie van interventies is niet de enige manier om de hulpverlening te
verbeteren. Het veranderen van de organisatie en het goed ondersteunen van hulpverleners is
ook belangrijk. Via implementatie van interventies kunnen dus wel meerdere (of veel) vliegen in
een klap worden geslagen.
12. Levert ingebruikname van een interventie altijd veel effectwinst op?
Nee. De effectwinst zou om de volgende redenen kunnen tegenvallen:
Als een organisatie de algemeen werkzame factoren goed op orde heeft, kan het zo
zijn dat een nieuwe interventie ook veel van deze factoren bevat, en daarom niet veel
toevoegt.
5
, Een organisatie kan algemeen werkzame factoren op orde hebben én veel
ervaringskennis bezitten. Ook dan kan het zijn dat de interventie weinig nieuws
biedt.
Een organisatie heeft de algemeen werkzame factoren niet op orde, maar de
interventie bevat ook niet veel algemeen werkzame ingrediënten.
Er is geen duidelijk beeld van de doelgroep of de doelgroep is heel heterogeen. Er
passen dan maar weinig cliënten in het plaatje van de nieuwe interventie.
Niet alle factoren die spelen zijn beïnvloedbaar door een interventie. Hoe meer van
dit soort factoren spelen (bv. lage intelligentie), hoe moeilijker het is om effect te
halen.
Als een organisatie van plan is om via implementatie een flinke effectwinst te boeken, adviseert
het NJI om vooral op het volgende te letten:
Check of je algemeen werkzame factoren op orde zijn. Zo niet, implementeer een
interventie die helpt deze factoren te verbeteren.
Bepaal de doelgroep die je als organisatie vooral bedient. In hoeverre wil je de hulp
aan hen verbeteren? En in hoeverre is er intern kennis aanwezig? Implementeer
interventies die bij die behoeften aansluiten.
Maak een groepsanalyse op het gebied van beïnvloedbare en niet beïnvloedbare
factoren. Hoe meer dingen je niet kunt beïnvloeden, hoe breder je moet inzetten voor
effect.
13. Welke andere aandachtspunten zijn van belang voor de kwaliteit van zorg?
Kwaliteit is niet alleen maar effectiviteit. Ethiek, transparantie, snelheid, bejegening etc. zijn ook
belangrijk. De verschillende aspecten aan de kwaliteit van de hulp zijn terug te vinden in:
Wet- en regelgeving: in wet- en regelgeving staan basisvereisten. Gemeentelijke en
landelijke overheden inspecteren de zorg.
Kwaliteitsmodellen: Voor non-profit
organisaties wordt vaak het INK-model
gebruikt (instituut Nederlandse kwaliteit).
Voor zorginstellingen wordt vaak het HKZ-
model gebruikt (afbeelding internet). Voor
de jeugdzorg is het HKZ-model heel
belangrijk, omdat het instellingen kan
certificeren. Gecertificeerde instellingen
geven klanten en financiers bepaalde
zekerheden.
Beroepsstandaarden: beroepsverenigingen leggen deze vast in richtlijnen.
Professionals leren ze tijdens hun opleiding.
Effectiviteit is dus niet het enige criterium waaraan je de kwaliteit van de hulpverlening kunt
toetsen.
Thema 3: wat we weten over effectiviteit
14. Wat is een effectsize/effectgrootte?
Voor de effectiviteit van de hulpverlening (ES) gebruikt men vaak Cohen’s d als index. Er zijn
twee hoofdvarianten:
De vergelijking tussen een experimentele groep waarbij een nieuwe interventie
wordt toegepast EN een controlegroep waarbij deze niet wordt toegepast:
Een ES mag alleen op deze manier berekend worden wanneer de groepen bij
aanvang niet significant verschilden. Een controlegroep kan care-as-usual krijgen, of
helemaal geen zorg (wachtlijst bv.). d Is positief als de score waarop je vergelijkt in
6
, de experimentele groep gemiddeld meer is toegenomen. Vaak ligt d tussen -2.0 en
+2.0. Als d 0 is, is er geen verschil tussen de behandelvormen.
Verschil tussen meting bij aanvang en na de interventie (geen controlegroep):
Het is wenselijk dat deze index in alle onderzoek en effectmonitoring in de praktijk wordt
gebruikt. Een probleem is dat in onderzoeken de formules soms op verschillende manieren
worden ingevuld. Dat kan soms totaal verschillende uitkomsten opleveren. Het NJI pleit daarom
voor landelijke standaardisering.
15. Hoe moet de effectgrootte worden geïnterpreteerd?
Cohen (1992) maakte de volgende indeling:
Maar wat is dan de betekenis van bijvoorbeeld ‘een groot effect’? Hier is al heel wat onderzoek
over gepubliceerd. Van Yperen haalt het belangrijkste eruit.
De aanname bij effectgrootte is dat de scores van een controle- en experimentele groep
normaal zijn verdeeld. Cohen’s d neemt dit in de berekening mee. Feitelijk is ES het aantal
standaarddeviaties dat een experimentele groep er ten opzichte van de controlegroep op vooruit
is gegaan.
Figuur A toont een veel groter effect dan figuur B? Hoe zie je dit? Nou, in A overlappen de
verdelingen veel minder. Er bestaan verschillende formules om in te schatten welk percentage
cliënten in de experimentele groep vooruit is gegaan, ten opzichte van de controlegroep.
Het eerste model geeft voor een bepaalde effectgrootte aan voor hoeveel procent van
de controlegroep de experimentele groep beter af is. Stel, d=0,40. Dan is de
experimentele groep gemiddeld beter af dan 66% van de controle groep. Dit lijkt wel
heel wat, maar bij d=0,00 is het percentage al 50%. Want er zijn ook altijd cliënten
die spontaan beter of slechter scoren. Kortom, bij d=0,40 spreken we (dus) eigenlijk
van slechts 16 procentpunten ‘echte winst’ (want: 66%-50%=16%).
Het tweede model hanteert een criterium om van een succesvolle behandeling te
spreken. In dit model schat men het verschil in de mate waarin het criterium wordt
gehaald. Bij d=0,40 bedraagt het verschil ong. 20 procentpunten (verschil in het
percentage dat doel bereikt).
7
