Methodologische problemen en mogelijkheden
Problemen bij het inventariseren van variabelen en doelen
Problemen en oplossingen bij theoretische onderbouwing
- Er moet een theorie voor handen zijn om te voorkomen dat uitspraken niet houdbaar zijn of
onjuist zijn.
- Een theorie moet voldoende geëxpliciteerd zijn
- Effectonderzoek, uitgevoerd vanuit een theoretische perspectief, waarin interventie en de
afhankelijke variabelen logisch en theoretische met elkaar in verband staan is vaak een
uitzondering.
- Doordat sociale wetenschappen complex is, is het niet makkelijk om het in een theoretisch
kader te stoppen. Het is namelijk belangrijk om niet te veel of op een verkeerd manier de
werkelijkheid te reduceren naar een theoretisch kader.
Problemen en mogelijkheden bij het beschrijven van (het doel van) interventie
- Het is bij interventies niet altijd noodzakelijk om een positieve resultaat te laten zijn, soms is
het ongedaan maken van iets negatiefs al voldoende. Doordat kinderen nog in ontwikkeling
zijn is dit extra lastig. Ontwikkeling is namelijk een product van continue dynamische
interacties. Ook hier speelt gevaar van oversimplificatie van het theoretisch model.
- Door gebrek aan een theoretisch kader ontbreekt ook het uiteindelijke preventieve doel van
de interventie en de invloed die verwacht wordt van andere variabelen.
- Er is niet altijd duidelijk wat onder het woord preventie wordt verstaan. Er zijn namelijk
verschillende verdelingen mogelijk.
Het beschrijven van de methode en implementatie
- De methode of implementatie wordt vaak niet goed omschreven in effectonderzoek.
- Er is dringend behoefte aan een beschrijving van methode, een eenheid in terminologie en
een uitbreiding van de theoretische uitgangspunten.
- Orthopedagogische interventies hebben te maken met factoren op allerlei dimensies.
Onderzoekers hebben geen controle over al die verschillende onafhankelijke variabelen die
daarmee ontstaan. Ook hebben ze geen controle over de inhoud en het verloop van de
interventie. De controle hiervan ligt bij de hulpverleners.
- Een interventie wordt aangepast aan de individuele situatie.
- Deze flexibiliteit is aan de ene kant de kracht van orthopedagogische interventies, maar aan
de andere kant is het daardoor lastig (voor onderzoekers) om te bepalen hoe een interventie
eruit zag.
Hulpmiddelen bij het inventariseren van variabelen en doelen
Het is moeilijk om overzicht te houden tussen verschillende variabelen en doelen, doordat het
onderzoeksparadigma zich baseert op dynamische theorieën van risicofactoren en protectieve
factoren en doordat preventieve interventies vaak verscheidene doelen op verschillende termijnen
nastreven. Effectonderzoek kan bijdragen aan het aanbrengen van structuur, hulpmiddelen zijn
bijvoorbeeld logic model, doelenhiërarchie, evaluability assessment en paradigma van het
onderscheiden van effecten.
Logic model
Dit is een flowchart waarin centrale elementen en assumpties van een interventieprogramma
worden samengevat. Het beschrijft hoe het programma zal werken, onder bepaalde condities, om
bepaalde geïdentificeerde problemen op te lossen. Wat er precies wordt opgenomen in een logic
model is afhankelijk van het programma. Meestal zijn het de benodigde middelen, programma-
activiteiten, output, kortetermijnkosten, intermediaire uitkomsten en einddoelen. Sommige
modellen voegen de bereikte doelgroep en belangrijke externe factoren toe die de resultaten kunnen
,beïnvloeden. Hierbij spelen twee typen contextuele factoren een rol: antecedente en mediërende.
Antecedente factoren zijn factoren die er vanaf het begin zijn, zoals eigenschappen van de
doelgroep, geografische variabelen en financiële factoren.
Mediërende contextuele factoren verschijnen wanneer het programma wordt uitgevoerd, zoals
personele veranderingen, nieuwe wetten, economische ontwikkelingen en nieuwe concurrerende
programma's.
Het logic model laat veronderstelde causale verbanden of relatie zien in het model; welke
activiteiten welke uitkomsten moeten generaliseren. Sommige modellen geven ook relaties weer
tussen externe factoren en programma resultaten.
Het logic model kan als basis dienen voor de opzet van effectonderzoek, doordat het de belangrijke
elementen van het programma, de geëigende evaluatievragen en de meetcriteria blootlegt. De
boxen (stappen in het proces) en de pijlen (hypothesen over causale relaties of assumpties) moeten
gemeten en getoetst worden in effectonderzoek.
Het logic model kan ook behulpzaam zijn bij evaluability assessment. Dit is erop gericht om vast te
stellen of een programma klaar is om geëvalueerd te worden.
Evaluability assessment begint met het opstellen van een logic model op basis van wat over het
programma gedocumenteerd is en wat programma managers erover zeggen. Deze ideeën en
standpunten worden in een flowchart gezet. Als het logic model logische in elkaar zit, kan de data
verzameld worden om erachter te komen of het programma zoals beschreven overeenkomt met het
programma zoals geïmplementeerd. Als dat niet zo is, moet de logica eerst aangebracht worden
voordat met effectonderzoek kan worden begonnen.
Een logic model kan een leidraad vormen voor het vaststellen of:
- effectonderzoek überhaupt kan worden uitgevoerd;
- welke type effectonderzoek;
- hoe het onderzoek opgezet moet worden.
Doelenhiërarchie
De focus ligt hier op het concretiseren van doelen en de verbanden tussen verschillende doelen van
een programma. Je kan het zien als onderdeel van het logic model, onder de kopjes
kortetermijneffecten, intermediaire uitkomst en langetermijneffecten. De middelen in een doelboom
kunnen verbonden worden met tussendoelen d.m.v. pijlen. De tussendoelen worden weer verbonden
met einddoelen in de top van de doelboom. De middelen worden niet geëxpliciteerd dat gebeurt in
het logic model. De doelboom brengt structuur in de doelen, zodat niets vergeten wordt.
Een interventie kan rechtstreeks gericht zijn op preventieve eindeffecten, maar ook indirect via
intermediaire doelen. Effectonderzoek moet in dit geval relatie tussen doelen aantonen. Als relaties
niet direct gemeten kunnen worden, zoals bij lange termijneffecten, moeten ze verdedigd worden
m.b.v. theoretische redeneringen.
Het opstellen van een doelenboom is niet alleen handig voor het verduidelijken welke doelen en
relaties tussen doelen in het onderzoek moeten worden getoetst. Het zorgt er ook voor dat de
onderzoeker basisassumpties moet expliciteren en theoretische overwegingen moet opnemen in het
onderzoek. Een essentieel element van doelenhiërarchie is het aanbrengen van rangorde. Niet alles
is namelijk te toetsen. Ook bepaald doelen hiërarchie welke doelen sowieso een positief resultaat
moeten hebben.
Paradigma voor het onderscheiden van effecten
Er wordt gestart vanuit het paradigma: B = f(A). B is hier de afhankelijke variabele en A de
onafhankelijke. Dus veranderingen in het functioneren van de participanten (B) zijn gerelateerd aan
en variëren als functie van of worden op een andere manier beïnvloed door de interventie (A). Naast
de interventie kunnen er ook andere factoren zijn die invloed hebben op de participanten, daarom
wordt de formule uitgebreid: B = f(I, S, P, O, X). I = interventie, S = sociale netwerk, P =
kenmerken van participant zoals SES, leeftijd, etnische achtergrond etc., O = overige variabelen, X
= variabelen die een bedreiging vormen voor de interne validiteit.
, Het paradigma geeft de mogelijkheid tot:
a) specificatie van de verschillende variabelen die gedrags- en ontwikkelingsveranderingen
veroorzaken;
b) de analyse van de mate waarin de interventie interacteert met andere variabelen die
invloed uitoefenen;
c) controle voor bedreigingen van de validiteit
d) de specificatie van doelen.
Programma-template
Een programma-template is een samenvatting van de centrale kenmerken van een programma in
een helder format, voor managers, staf en effectonderzoekers. Door het template telkens te
actualiseren kan een soort dagboek van de ontwikkelingen van het programma ontstaan. Zo kan
men het beoogde programma en daadwerkelijke programma met elkaar vergelijken.
Programma template tot stand brengen:
1. Literatuuronderzoek uitvoeren
2. Verzamel een schrijfteam van betrokkenen bij het programma
3. Identificeer centrale componenten van het programma
4. Test het concept, indien mogelijk, op een of twee locaties waar het programma wordt
uitgevoerd.
5. Identificeer de personen, die de categorieën in het template invullen.
6. Verzamel alle beschrijvingen voor de categorieën, redigeer deze en check op inconsistenties.
7. Verspreid het template aan betrokkenen, zoals managers en staf.
8. Gebruik het template om het beoogde en daadwerkelijke programma te vergelijken, bepaal
de beste practice binnen het programma en monitor organisatorische ontwikkelingen
Algemene programma componenten die in een template kunnen worden opgenomen zijn:
1. Behoefte, probleem of risico waar het programma zich opricht.
2. Doelgroep(en) van het programma.
3. Onderbouwing: hoe het programma tegemoetkomt aan de behoeften van de doelgroep(en).
4. Oorsprong en geschiedenis van het programma.
5. Missie en belangrijkste doelen.
6. Korte- en langetermijneffecten.
7. Belangrijkste activiteiten en componenten binnen het programma en de planning daarvan.
8. Programma flowchart, inclusief belangrijke beslissingsmomenten aangaande de gang van de
participanten door het programma.
9. Programma logic model.
10. Organisatorische structuur.
11. Staf en management: human resources.
12. Financiële bronnen van het programma.
13. Relaties van het programma, zoals partners en samenwerkingsverbanden.
14. Implementatieplan, waaronder de hoeveelheid en intensiteit van de aangeboden activiteiten.
15. Evaluatieplan: algemene evaluatievragen, beschrijving van hoe het programma wordt
gemonitord en geëvalueerd, en hoe de resultaten worden gerapporteerd.