Effectonderzoek in de gedragswetenschappen
Hoofdstuk 3
Streven naar waarheid
Empirische criteria = methodologie
Streven naar zekerheid
Hierbij betekent streven naar werkelijkheid dat je de theorie toetst aan de werkelijkheid. Is het ook
daadwerkelijk waar? Streven naar zekerheid betekent dat je telkens de zelfde uitkomst krijgt. Je
theorie is dus betrouwbaar.
Gedrag = Alle activiteiten van een (menselijk) organisme, die waarneembaar of registreerbaar zijn of
tot waarneembare of registreerbare toestandswijzingen leiden. Kortom: gedrag kun je observeren
Gedragswetenschappen = rationele activiteiten van deskundigen, gericht op overeenstemming
waarbij met behulp van empirisch onderzoek zicht wordt verkregen op menselijk gedrag.
In experimenteel onderzoek wordt gebruik gemaakt van interventies. Meestal zijn dit
interventieprogramma’s, zoals een stimuleringsprogramma, training of behandeling.
Interventieprogramma = een geheel van hulpverlenings-, begeleidings- en/of onderwijsactiviteiten,
die:
Gekenmerkt worden door goed omschreven doelen, gericht op het oplossen, verminderen of
voorkomen van risico’s of problemen bij kinderen en/of volwassenen
Aansluiten bij toepasselijke theorieën en hypothesen
Goed gedefinieerd zijn wat betreft inhoud en doelgroep
Stapsgewijs zijn (in tijd), zodat er doelen worden bereikt (ook lange termijn)
Vooraf geplande evaluatiemomenten en evaluatiecriteria bevatten
Effectiviteit heeft te maken met de werkzaamheid bij een bepaalde doelgroep en de mate waarin het
vooropgestelde doel wordt behaald. Effectiviteit kent verschillende vormen en niveaus. Zo blijkt ook
uit de multidimensionale definitie van effectiviteit van Dunst. Effectiviteit kent drie dimensies:
Afhankelijkheid de mate waarin een functionele relatie tussen de onafhankelijke variabele
(de interventie) en de afhankelijke variabele (de uitkomst) bestaat
Specificiteit de mate waarin specifieke, identificeerbare dimensies van de interventie aan te
wijzen zijn, die een onderscheidbare relatie met de afhankelijke variabele hebben dus:
specifieke delen van de interventie (niet de gehele interventie) die een invloed hebben op de
afhankelijke variabele
Alternatieve verklaringen de mate waarin derde factoren (verstorende factoren) invloed
hebben op de afhankelijke variabele. Deze factoren probeer je tijdens het onderzoek zoveel
mogelijk uit te schakelen.
Hoe hoger je scoort op deze drie dimensies van effectiviteit, hoe effectiever je onderzoek is. Dit is wat
je wilt nastreven: een zo hoog mogelijke effectiviteit. In de figuur hiernaast zie je de drie dimensies
van effectiviteit afgebeeld in een kubus. De hoogte is de afhankelijkheid, de breedte is de specifiteit
en de diepte is de afhankelijke verklaringen. Als je deze drie niveaus het hoogst scoort, kom je uit op
het zwarte blokje, het ideaal. Dit is wat je wilt nastreven.
,Veerman en van Yperen kwamen met een indeling van effectiviteit.
Zij ontwikkelden de effectladder, waarin de effectiviteit van
interventies is ingedeeld in een aantal niveaus.
Niveau 0 : Impliciet de interventie is niet duidelijk
omschreven. Het wordt uitgevoerd zoals men in gedachten
heeft. Er is niet aangetoond hoe effectief de interventie is.
Daarnaast is de interventie niet overdraagbaar aan andere
onderzoekers, omdat het niet duidelijk is omgeschreven.
Niveau 1 : Potentieel (descriptieve bewijskracht) het doel,
de doelgroep, de aanpak en de randvoorwoorden zijn
omschreven. Hierdoor is de interventie overdraagbaar en de effectiviteit deels in te schatten.
Niveau 2 : Veelbelovend (theoretische bewijskracht) de interventie zijn onderbouwd met
een goede programmatheorie, waardoor het aannemelijk is dat de interventie gaat werken.
Er is goed over nagedacht.
Niveau 3 : Doeltreffend (indicatieve bewijskracht) Ook hier is de interventie goed
uitgedacht. Er is gemeten of de geformuleerde doelen bereikt zijn, de doelgroep is bereikt en
of de interventie volgens plan is uitgevoerd. Er is dus uitgebreid geëvalueerd. Er ontbreekt
nog één ding: er is niet aangetoond dat de doelbereiking ook daadwerkelijk door de
interventie komt. Misschien zijn de doelen wel behaald doordat er een invloed is van
storende factoren. Met andere woorden: het niveau van uitsluiten van alternatieve
verklaringen is nog laag (Dunst).
Niveau 4 : Werkzaam en bewezen effectief (causale bewijskracht) Er is goed nagedacht
over de interventie. Bovendien is erg uitgebreid geëvalueerd en is er een bewijs dat de
doelen behaald zijn door de interventie. (bewezen door een controle groep).
Effectieve interventies zijn: interventieprogramma’s die een gemeten verbetering, overeenkomend
met vooropgestelde doelen, behalen, waarbij de verbetering is toe te schrijven aan de interventie.
Het is duidelijk welke delen van de interventie nou echt hebben geholpen (specificatie).
Effectiviteit van een interventieprogramma is dus: de mate waarin hulp, zorg, ondersteuning of
onderwijsinspanning erin slaagt de doelgroep positief te beïnvloeden. De doelen worden behaald en
eventuele alternatieve verklaringen (storende factoren) zijn uitgesloten.
Effect = de mate waarin een doel behaald is ten gevolge van de interventie. Het gaat hier vrijwel altijd
over een gewenst effect: je hoopt een positieve invloed te hebben.
Termen die nauw samenhangen met effect zijn resultaat, verandering en doeltreffendheid.
Resultaat = het geheel van gegevens, feitenmateriaal en conclusies dat een wetenschappelijk
onderzoek oplevert. Je bereikt dit door een doelgerichte handeling.
Verandering = het anders maken of worden
Doeltreffendheid = de mate waarin de vooropgestelde doelen behaald zijn
De Engelsen hebben een onderscheid tussen efficacy en effectiveness.
Efficacy = de mate waarin een interventie onder ideale omstandigheden tot verwachte
resultaten leidt
Effectiveness = de mate waarin een interventie in de ‘echte wereld’ tot verwachte resultaten
leidt
Kosteneffectiviteit = de verhouding tussen de effecten en de kosten van een interventie. Als een
interventie wel effectief is, maar dit heeft veel geld gekost, is de kosteneffectiviteit laag.
,Al deze termen gaan over effectonderzoek. Er zijn echter heel veel verschillende soorten onderzoek.
Eén manier om onderzoek te onderscheiden is op basis van het algemene doel van het onderzoek. Er
wordt dan onderscheid gemaakt tussen fundamenteel onderzoek en praktijkgericht onderzoek.
Fundamenteel onderzoek = ontwikkelen en toetsen van theorieën om zo tot oplossingen te
komen.
Praktijkgericht onderzoek = toegepast onderzoek = ontwikkelen, proberen en evalueren van
oplossingen voor problemen in de praktijk.
Effectonderzoek zoekt ook naar oplossingen voor praktijkproblemen en evalueert deze. We kunnen
dit dus zien als een vorm van praktijkgericht onderzoek.
Effectonderzoek wordt vaak vergeleken en verward met programma-evaluatie.
Programma-evaluatie = het vaststellen van de waarde van een programma door de effecten ervan te
vergelijken met de doelen die voor dit programma zijn opgesteld. Het lijkt dus heel erg op
effectonderzoek.
Je kan effectonderzoek ook beschrijven volgens de empirische cyclus, het is dan meer
toetsingsonderzoek. De empirische cyclus in de wetenschap:
Fase 1: Observatie verzamelen van empirisch feitenmateriaal
Fase 2: Inductie onderzoeksvragen/hypothese(n) formuleren
Fase 3: Deductie toetsbare voorspellingen afleiden uit hypothesen
Fase 4: Toetsingvan de onderzoeksvragen/hypothese(n)
Fase 5: Evaluatie van de uitkomsten van de toetsing in relatie tot hypothesen en theorie(en)
Hiernaast zien we de regulatieve cyclus van onderzoek.
Vaststellen probleem, doelen en middelen
Probleemsituatie onderzoeken, oorzaken identificeren
Ontwikkelen van mogelijke oplossingen
Plan implementeren
Nagaan of probleem is opgelost of verminderd
Hier kun je effectonderzoek ook mee beschrijven. Je kijkt dan naar de fase van evaluatie.
We kennen twee vormen van evaluatie.
Productevaluatie = je kijkt of je de vooropgestelde doelen hebt bereikt, vaak
kwantitatief onderzoek bijpassend doel:
o Summatief = doel die je na afloop van het proces wilt bereiken productdoel
Procesevaluatie = je kijkt hoe het proces is verlopen, is de interventie verlopen zoals gepland?
Vaak is dit kwalitatief onderzoek bijpassend doel:
o Formatief = onderdeel van het proces, je bekijkt hoe het proces verloopt en of je
tussentijdse doelen behaald
Tegenwoordig is er echter niet meer zo’n sterk onderscheid tussen kwantitatief en kwalitatief
onderzoek. Bij het uitvoeren van effectonderzoek kun je ook gebruik maken van mixed method. Dit
betekent dat je zowel kwalitatief als kwantitatief onderzoekt. De productevaluatie toont dan aan of
de interventie werkt en de procesevaluatie toont aan waarom de interventie dan wel of niet werkt en
hoe het misschien beter kan.
Er zijn verschillende soorten effectonderzoek.
1. Niet-experimenteel kwaliteitsonderzoek = je kijkt naar de kwaliteit van een interventie,
zonder vergelijking met een andere groep waar geen interventie is toegepast. Je hebt dus
geen controlegroep!
, 2. Niet-experimenteel veranderingsonderzoek = je vergelijkt kenmerken van de deelnemers
voor en na interventie met elkaar. Je onderzoekt dus eigenlijk of de interventie bij
subgroepen verschillende effecten heeft. Ook hier is geen controlegroep!
3. Casestudies (N=1) = een vorm van veranderingsonderzoek waarin je één onderzoeksobject op
verschillende moment beschrijft. Dit doe je voor de interventie, tijdens de interventie en na
afloop van de interventie. Zijn er veranderingen opgetreden gedurende de interventie?
4. Experimenteel onderzoek = je hebt een controlegroep en een interventiegroep. Je vergelijkt
deze twee groepen met elkaar na afloop van de interventie (de interventie heeft echter
alleen plaatsgevonden in de interventiegroep). Belangrijk hierbij is dat de groepen random
worden ingedeeld!
5. Quasi-experimenteel = hetzelfde als experimenteel onderzoek, alleen werk je nu met
bestaande groepen! De groepen worden dus niet ingedeeld met randomisatie. Het wordt
echter wel random bepaald wie van de twee groepen de interventiegroep wordt en wie de
controlegroep.
6. Metastudies = je vat resultaten van een aantal vergelijkbare effectonderzoek samen en
vergelijkt deze met elkaar. Je onderzoekt naar factoren die eventuele verschillen in resultaten
kunnen verklaren. Op deze manier kun je een betrouwbare uitspraak doen of de interventie
wel of niet effectief is. Het nadeel van metastudies is echter dat negatieve resultaten vaak
worden weggelaten, waardoor een vertekend beeld ontstaat.
Effectonderzoek is belangrijk voor de zorg, welzijn en het onderwijs. Je kan op twee manieren hier
mee omgaan:
EBP = evidence based practice = op basis van onderzoeksresultaten, beslis je wat je nu in de
praktijk gaat doen. Wat voor aanpassingen er worden gedaan voor een leerling of cliënt.
PBE = practice based evidence = je zet de praktijk om in onderzoeksresultaten. Je voert een
interventie uit in de praktijk en gaat dit vervolgens omzetten in resultaten.
Bij het rapporteren van de empirische gegevens van effectonderzoek is het vaak een voorwaarde om
effect sizes (= effectgrootte) weer te geven.
Effect size = een statistische maat voor hoe sterk het effect van een handeling is op een populatie,
waarbij vergeleken wordt met een andere populatie waarop die handeling niet wordt toepast. Effect
size is onafhankelijk van de steekproefgrootte.
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller Wellie340. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $3.75. You're not tied to anything after your purchase.