Aantekeningen Kwaliteit en effectiviteit van orthopedagogische interventies
C1 – EBP, PBE en resultaatgerichte ontwikkeling van interventies (RGOi)
Aanleiding tot onderzoek
Sinds de decentralisatie van de jeugdzorg in 2015 is niet langer de overheid maar zijn gemeenten
verantwoordelijk voor de jeugdhulp. Gemeenten zijn hierdoor wettelijk verplicht om aan te geven
welke outcome-criteria er worden gehanteerd voor het meten van het resultaat van de verleende
diensten.
Welk antipestprogramma’s die scholen uitvoeren zijn effectief? Wat weten we over de
werkzaamheid van antidepressiva bij adolescenten? Werken de wijkteams? Vroeger waren het
vooral onderzoekers die zich met dit soort onderwerpen bezighielden. De laatste jaren zijn deze
vragen voor alle betrokkenen vanzelfsprekende gespreksonderwerpen. Lokale en landelijke politici,
andere beleidsmakers, zorgverzekeraars en cliënten en uitvoerend werkers in instellingen vinden het
belangrijk dat risico’s en problemen van jeugdigen en hun gezinnen een effectieve aanpak krijgen.
Velen van hen vinden dat interventies wetenschappelijk verantwoord moeten zijn en er bewijs voor
effectiviteit op tafel moet liggen.
Evidence based practice (EBP)
De oorsprong van evidence based practice (EBP) vindt men in de medische wetenschappen. Er is
echter geen eenduidige definitie van EBP. Het wordt vaak nauw gedefinieerd als het beste bewijs
volgens wetenschappelijk onderzoek. Dit heeft als gevolg dat professionals een beperkte
handelingsruimte en autonomie ervaren. Deze definitie zorgde dan ook voor discussies en
polarisering; de Raad voor Volksgezondheid en Samenleving (RVS) pleit voor afschaffing van het
begrip EBP vanwege het risico dat er te weinig aandacht is voor cliënt, haar context en de ervaring
van de professional.
Binnen de zorg/ hulpverlening hebben we te maken met verschillende actoren, met eigen normen en
waarden. Cliënten en hun familie weten vaak wat wel en niet heeft geholpen. Dus waarom zou je
deze kennis en expertise niet gebruiken? Dit geldt ook voor jezelf als professional. Je hebt zelf ook
bepaalde ervaringen opgedaan met bijvoorbeeld vergelijkbare casussen. Wat zou bij die vraag en die
problematiek handig zijn op basis van je eigen ervaringen?
De eerste verengde/vernauwde definitie van EBP werd dan ook vervangen tot voor een meer
geaccepteerde en bredere definitie: EPB is de integratie van het best beschikbare bewijs van
onderzoek, expertise van professionals en de voorkeuren en waarden van de cliënt.
Hierdoor wordt EBP gezien als een gezamenlijk besluitvormingsproces. Er is een evenwichtige
inbreng van de partijen. Hierbij wordt ook gekeken naar de context. Kunnen ouders bijvoorbeeld een
treinkaartje kopen om bij de behandeling te kunnen komen? De cliënt wordt dus herkent in zijn
complexiteit en zijn context.
EBP = De gewetensvolle, expliciete en oordeelkundige integratie van drie zorgvuldig te
onderscheiden kennisbronnen (research-based, expert-/ practice-based en cliënt-based) met als doel
de beste beslissing te nemen voor individuele patiënten, cliënten of burgers.
In de jeugdhulp geldt dat hier nog een 4e bron aan toe te voegen is; kennis over ethische
overwegingen en waarden in het opgroeien en opvoeden van jeugdigen (value-based). Hierbij
gaat het om vragen als: Wat vind de samenleving belangrijk en acceptabel in het opvoeden en
opgroeien van kinderen? Wanneer is een interventie om opvoeding te verbeteren goed genoeg?
Het doel van EBP is om te kijken: snijdt het eigenlijk wel hout wat we doen? Je kunt hierdoor een
expliciete, transparante en een reproduceerbare verantwoording van keuzes maken.
EB-werken: Denken vanuit en integreren van verschillende perspectieven
1. Perspectief van de ouder/kind/cliënt > Het gaat (voldoende) goed met mij (kwaliteit van leven is
verbeterd); problemen zijn opgelost/verminderd; ik ben tevreden; ik heb mijn doelen behaald
1
, 2. Perspectief van de hulpverlening > Goed uit te leggen hoe overwegingen gemaakt zijn
(reproduceerbaar); cliënt minder afhankelijk van de individuele behandelaar; EB-behandeling
om te zetten in protocol (duidelijke procedures, verwachtingen afgestemd, weet waar je voor
kiest); beantwoorden van vragen van de cliënt, geen uitval (zorgtrouw)
3. Perspectief van de wetenschap > Er is een causaal verband aangetoond tussen interventie en
uitkomsten
Maar afwezigheid van bewijs betekent niet dat er ook afwezigheid is van effectiviteit. Dit
kan komen doordat er te weinig onderzoek gedaan is of doordat er niet gekeken is naar het
individu. In de praktijk kan de effectiviteit wel blijken/ naar voren komen.
Daarnaast geeft bewijs geen zekerheid maar waarschijnlijkheid.
Ook is het lastig om de onderzoekscontext te veralgemeniseren naar de verschillende
klinische contexten. In wetenschappelijk onderzoek wordt er alles aan gedaan om het effect
een maximale kans te geven (ideale omstandigheden creëren) en de interventie als de
causale factor te kunnen aanwijzen.
Het is dus waardevol om kritische te blijven kijken.
4. Perspectief van de maatschappij > Zorg is betaalbaar, context voor gezonde ontwikkeling van
kinderen
Randomized controlled trial (RCT): Een aantal kanttekeningen
Er werd heel lang gezegd: werkt het of werkt het niet? Maar dit was in de context van een groep; er
werd niet gekeken of het werkt voor een individu. Dit zorgde voor verschraling van onderzoek en
onderwaardering van kwalitatief onderzoek.
Bij een hoge interne validiteit geeft het onderzoek zo zuiver mogelijk het effect van de interventie
weer en sluit zoveel mogelijk storende invloeden van buitenaf uit. Experimenteel onderzoek zoals
(double blind) Random Controlled Trials (RCT) voldoet in essentie aan dit criterium.
Een experimentele groep krijgt de interventie aangeboden. Toewijzing aan één van beide groepen
wordt door toeval (random) bepaald en bij beide groepen vinden voor- en nametingen plaats. Aan
het eind van de interventie geven verschillen tussen de experimentele groep en de controlegroep
aan of er een effect van de interventie is (significantie) en hoe groot het effect is (relevantie).
RCT is niet altijd haalbaar of gewenst. Zo zijn er ethische bezwaren, want mag je iemand onthouden
van een behandeling? Ook zijn RCT’s bij complexe problematiek en veelvuldige vragen niet haalbaar
omdat er nooit een zuivere controlegroep is samen te stellen (contaminatie van de controlegroep) en
blinderen is onmogelijk waardoor effectiviteit niet goed is aan te tonen. Quasi-experimenteel
onderzoek biedt een alternatief voor RCT’s. Hierin wordt de experimentele groep vergeleken met
een bestaande groep van een andere afdeling of organisatie waarbij de behandeling niet plaatsvindt.
Echter de selectie van een bestaande groep blijft lastig en de kans is aanwezig dat de bestaande
groep op belangrijke aspecten anders is samengesteld dan de experimentele groep.
De indicatie voor effectiviteit kan ook worden aangetoond door gebruik te maken van Confirmatory
Program Evaluation (CPE). Dit is een manier om systematisch de relatie tussen modelgetrouw
handelen en de uitkomstmaten te analyseren. Dat gebeurt op basis van theoretische uitgangspunten
die ten grondslag liggen aan de interventie en vooraf vastgestelde uitkomstmaten. CPE onderzoekt of
meer getrouwheid aan het behandelmodel leidt tot betere uitkomsten. Een ander alternatief voor
experimenteel onderzoek bij het ontbreken van een controlegroep, is observationeel onderzoek
zoals case-control studies. Of het gebruik van meerdere databronnen of methoden (mixed methods)
om de geldigheid of betrouwbaarheid te vergroten.
Externe validiteit
Wetenschappers zijn gericht op het vinden van aanwijzingen dat een bepaalde interventie tot een
bepaald resultaat heeft geleid. Om aan te tonen dat effecten daadwerkelijk samenhangen met een
interventie kan ervoor worden gekozen om storende invloeden zoveel mogelijk af te schermen door
2
,de interventie sterk te begrenzen (RCT) waardoor uitkomsten beperkt geldig zijn. Dit is een afweging
die bij elke vorm van effectmeting moet worden gemaakt: hoe meer controle, hoe minder externe
validiteit, oftewel minder generaliseerbaarheid van de resultaten.
Er is sprake van een hoge externe validiteit als de onderzoekssituatie een betrouwbare
afspiegeling is van de toepassing van de interventie in de praktijk. Onderzoekvormen als
casestudies of actiegericht onderzoek hebben vaak dit kenmerk.
Practice based evidence (PBE)
Bij praktijkgestuurd onderzoeken van (jeugd)interventies heeft het aantonen van het effect als doel
het (door)ontwikkelen van de interventie in de desbetreffende praktijk; ook wel Practice Based
Evidence (PBE) genoemd. Kenmerkend voor dit onderzoek in vergelijking met clinical trials is dat:
- Het plaatsvindt in de praktijksituatie (want die is vaak anders dan in wetenschappelijk onderzoek)
- De onderzochte interventies een betrouwbare afspiegeling zijn van de toepassing in die praktijk
(externe validiteit)
- De uitkomsten van het onderzoek relatief goed generaliseerbaar zijn (externe validiteit)
- Er weinig zicht is op onzichtbare, externe invloeden die buiten de interventie vallen (interne
validiteit)
- De resultaten daardoor lastig zijn te interpreteren (interne validiteit)
Om te komen tot een goed opgezette effectstudie zijn zowel een hoge interne als externe validiteit
en follow-up metingen van belang. Er zijn weinig effectstudies die aan alle drie de criteria voldoen.
Hoe krijgen we meer kennis over de effecten van de hulpverlening?
1. Top down (methode-gestuurd) implementeren van interventies die hun effect in onderzoek
hebben bewezen (EBP) > Dit kan door transport van onderzoeksinterventies vanuit het
wetenschappelijke kader naar de klinische praktijk en door onderzoek naar het welslagen/ de
doeltreffendheid van de implementatie. De wetenschap informeert hier als het ware de praktijk
en draagt zo bij aan werkwijzen die wetenschappelijk onderbouwd zijn.
2. Bottom-up onderzoek van interventies die in de praktijk worden uitgevoerd (PBE) > Dit kan door
met praktijkgestuurd onderzoek de effectiviteit in kaart te brengen. Men sluit hierbij aan bij de
uitvoering van interventies in een bestaande context en tijd. Het doel is het (door)ontwikkelen
van de interventie in de desbetreffende praktijk.
3. Mengvorm van top down en bottom-up > Resultaatgerichte Ontwikkeling van interventies
(RGOi)
Resultaatgerichte ontwikkeling van interventies (RGOi)
RGOi is dus een combinatie/ mengvorm van top-down en bottom-up. Hierbij gaat het dus zowel om
het verhelderen, ontwerpen en theoretisch onderbouwen van werkwijzen in de praktijk en het
monitoren van uitkomsten, als om het gebruiken van bestaande wetenschappelijke kennis over
werkzame interventies en methoden van onderzoek.
Het doel hiervan is om te voorkomen dat het wiel opnieuw wordt uitgevonden en dat er ruimte voor
de praktijk is om werkwijzen te ontwikkelen en door te ontwikkelen. Hierdoor wordt aanhoudende
en doorlopende versterking van wat al bestaat gerealiseerd.
RGOi bestaat uit de volgende leidende principes:
1. Aansluiting > De activiteiten zijn afgestemd op het ontwikkelingsniveau/ -stand van de
interventie en context (organisatie). Als er bij de organisatie een cultuur heerst van ‘meten is
weten’ en men hier al de nodige ervaring mee heeft, zal RGOi al een goede voedingsbodem
hebben. Hierbij gaat het om onderzoeksrijpheid en onderzoeksbereidheid > Hoe ver is de
interventie in de praktijk ontwikkeld? Welke vorm van onderzoek sluit daaropaan?
Het heeft bijvoorbeeld geen zin om een experimenteel onderzoek te doen bij interventies
die nog niet voldoende beschreven en van een theorie voorzien zijn.
3
, 2. Inbedding > De resultaatbepaling is als onlosmakelijk onderdeel ingebed in de professionele
praktijk. Het handelen wordt geëxpliciteerd; het gebruik van meetinstrumenten en reflectie op
de resultaten maken deel uit van het methodisch werken in de praktijk. Op dezelfde manier is
de effectvraag ingebed in het kwaliteitsbeleid van de instelling die de interventie aanbiedt. De
gegevensverzameling gebeurt dan ook in registratiesystemen die functioneel zijn voor zowel de
uitvoering als voor de organisatie. Ook is de effectvraag ingebed in het beleid van financiers.
Leveren de organisaties een aanbod dat cliënten en samenleving helpt om risico’s en problemen
aan te pakken?
3. Benutting > De verzamelde gegevens worden ruim benut, ook in het primaire proces. Zijn
resultaten herkenbaar, te begrijpen, goed genoeg of zijn er verbeteracties nodig? Hiervoor is
samenwerking met ouders en kinderen belangrijk, maar ook met het team en de organisatie
4. Samenwerking > Het gaat om een gezamenlijke zoektocht waarin elk niveau (primair proces,
team, organisatie, beleid) zijn eigen aansluiting, inbedding en benutting kan verzorgen.
Bestuurders moeten hun werknemers van goede gereedschappen voorzien. Die
gereedschappen bestaan uit de juiste interventies en de facilitering van de explicitering,
onderbouwing, monitoring en het verdere effectonderzoek. Voor financiers geldt dat voor de
ontwikkeling en het onderhoud financiële ruimte nodig is.
De 4 leidende principes van RGOi helpen bij het op gang brengen van een meet-, spreek- en
verbeterbeweging.
- Het meten is erop gericht de in de praktijk uitgevoerde activiteiten en de resultaten ervan
zichtbaar te maken (PBE)
- Het spreken houdt in dat het gevormde beeld in dialoog met de betrokken partijen betekenis
krijgt. Herkennen we dit? Hoe verklaren we het? Wat vinden ervan? Hoe kan het beter?
- Het verbeteren gebeurt met inbreng van voorhanden zijnde kennis bij cliënten, praktijk- en
beleidsfunctionarissen en wetenschappers (EBP), brengt verdere vernieuwing en maakt de
interventie beter toepasbaar, effectiever of goedkoper
Idealiter ondersteunt de wetenschap de ontwikkeling van interventies met onderzoek dat dezelfde
principes kent als RGOi. Dat wil zeggen dat het onderzoek aansluit bij de staat van ontwikkeling van
de interventie, het is ingebed in het primaire proces en de organisatie, het wordt benut voor
verbetering van de interventie waarbij samenwerking de sleutel is tot succes. Onderzoek dat op deze
manier de ontwikkeling van interventie ondersteunt, zal in de meeste gevallen een sterk
praktijkgestuurd karakter hebben.
Effectladder van Veerman & Van Yperen
De effectladder kan dienen als kader voor praktijkgestuurd effectonderzoek. De effectladder geeft de
stappen aan om tot een effectieve interventie te komen. Per trede wordt aangegeven welke aanpak
passend is en wat er nodig is om de stap naar het volgende ontwikkelingsniveau te maken.
Er zijn 5 kwalificaties op de effectladder:
1. Nog geen bewijskracht (ontwikkelingsniveau > voorwaardelijk)
De eerste stap is om de kernelementen van de interventie (doelen, doelgroep, aanpak) en de
personele, organisatorische, materiële context en randvoorwaarden duidelijk te omschrijven.
Welke uitkomsten streeft men na? Is de interventie bedoelt voor iedereen of wordt hij geacht
(vooral) te werken voor kinderen en gezinnen met bepaalde problemen? Wat zijn de
inhoudelijke elementen (technieken en strategieën) die in de interventie worden toegepast?
Wat zijn relevante structuurkenmerken zoals de vereiste frequentie, intensiteit, duur en
fasering? Wat is eraan materiële, financiële en organisatorische ondersteuning nodig om de
interventie in een instelling goed te kunnen uitvoeren? En welke overige uitvoeringseisen ten
aanzien van opleiding en supervisie zijn van toepassing?
4
