Onderzoekspraktijk Samenvatting
Pedagogische Wetenschappen – Universiteit van Amsterdam
Literatuur
Morley – H1: Why Single-Case Research? (1-19)
Yin – H8: The Abridged Version of Case Study Research: Design and Method (229-243)
Barner-Barry – Children’s tacit use of peer ostracism to control aggressive behavior (281-293)
Morley – H2: Standardized Measures and what you can do with them (19-41)
Drenth & Sijtsma – H9: De Bijdrage van de Test in het Beslissingsproces (396-433)
Morley – H3: Target Measures: Unique Measures for the Individual (41-65)
Morley – H4: Designing Single-Case Experiments (65-87)
Morley – H5: Visual Analysis of Single-Case Data (87-126)
Morley – H6: Statistical Analysis of Single-Case Data (126-156)
Morley – H7: Replication, Replication, Replication (156-178)
Morley – H8: Critical Evaluation of Single-Case Research (178-190)
,Morley – H1: Why Single-Case Research? (1-19)
Inleiding
Single-case methodologie heeft een plek een de klinische praktijk en in onderzoek, maar het is
onwaarschijnlijk dat dit type onderzoek belangrijker zal worden dan gerandomiseerd/gecontroleerd
onderzoek. Echter zou het wel een prominentere rol moeten krijgen in zowel de ontwikkeling als de evaluatie
van interventies.
• Replicatie van een interventieprotocol (over verschillende patiënten, therapeuten en klinische
settings) zou bewijs kunnen aanleveren dat een interventie potentie heeft, en dat het
generaliseerbaar is over relevante settings.
• Clinici kunnen niet altijd ‘randomized controlled trials’ (RCT) uitvoeren om hun vragen te
beantwoorden over de uitkomsten van individuele cliënten of de processen die zich voordoen
gedurende de therapie.
- Clinici willen weten vaak weten of een interventie zou werken bij een bepaalde cliënt, en
randomized controlled trials kunnen hier geen antwoord op geven.
- Gelukkig kunnen single-case methoden een praktisch, wetenschappelijk valide en geloofwaardig
alternatief bieden op de randomized controlled trials in sommige situaties (vaak als aanvulling
op andere gangbare methoden).
Waarom dit boek?
Studenten zijn vaak wel bekend met de basis psychometrische concepten (zoals betrouwbaarheid en
validiteit), maar weten vaak niet hoe deze concepten moeten worden toegepast.
• Meestal vooral ervaring met gestandaardiseerde metingen/vragenlijsten, en minder met
idiografische metingen (meting die op maat is gemaakt voor het individu).
• Dit boek heeft als doel om de bouwstenen voor het plannen, uitvoeren en analyseren in single case
onderzoek te geven.
Doelen van case studies en case experimenten
Case studies in sociale wetenschappen komen in verschillende vormen en hebben verschillende doelen. Er
kan onderscheid gemaakt worden tussen drie categorieën van single-case onderzoek: case studies, single-
case kwantitatieve analyses, en single-case experimenten.
Case studies
Deze zijn voornamelijk verhalend en het bevat kwalitatieve data, zijn er meestal op gericht om op een
beschrijvende en geïnterpreteerde manier vast te leggen wat er gebeurd in een interventie. Er wordt
geen poging gedaan om experimenteel te manipuleren, er wordt vaak enkel gebruik gemaakt van
passieve observaties.
• Dergelijke beschrijvingen zijn vaak waardevol, gezien de variabiliteit onder individuen (in ander
onderzoek vaak meer de nadruk op de ‘gemiddelde respons’).
Single-case (kwantitatieve analyse)
Deze term wordt gebruikt voor gevallen waarbij kwantitatieve data is verzameld en geanalyseerd, maar
waarbij geen poging werd gedaan om variabelen direct te manipuleren. Dergelijke data kan gebruikt
worden voor statistische analyses of om hypothesen te toetsen/genereren.
• Vaak wordt gebruik gemaakt van pre- en postmetingen (met behulp van gestandaardiseerde
uitkomstmaten), om te bepalen of een individu veranderd is na een periode van behandeling.
• Echter wordt er geen poging gedaan om te bepalen of de behandeling zelf verantwoordelijk is voor
deze verandering (je doet immers geen manipulatie, dus dit is niet vast te stellen).
Single-case experimenten
Hieronder vallen studies waarbij ook kwantitatieve data is verzameld, maar mét directe manipulatie van
de interventie. Hierdoor kun je wel een valide conclusie trekken over de impact van de interventie.
• Single-case experimenten hebben altijd meerdere meetmomenten van de uitkomstvariabele over tijd
(dit onderscheid deze categorie van de vorige).
, • De focus van dit boek ligt vooral op dit soort onderzoek, wordt gezien als een formele benadering
voor het design van dataverzameling in een poging om alternatieve verklaringen uit te kunnen
sluiten (waarbij systematische visuele en/of statistische analyse methoden gebruikt worden).
• Dergelijk onderzoek wordt getypeerd door:
- Een focus op direct observeerbaar gedrag (vaak gekwantificeerd als telbaar).
- Een experimentele benadering (streven naar gecontroleerde omgeving om confounding
variabelen zoveel mogelijk uit te sluiten).
- Een poging doen tot het verkrijgen van een stabiele baseline voordat de interventie wordt
uitgevoerd.
- Behandelingen zijn vaak gebaseerd op bekrachtigingsprincipes.
- Zijn vaak afhankelijk van visuele analyses.
Schematische weergave van meetniveaus en onderzoeksdesigns (in single-case onderzoek)
Er zijn grofweg drie fasen te onderscheiden: een periode van beoordeling (waarin ook de baseline observaties
gedaan worden), een periode waarin de interventie wordt ingezet, een periode van follow-up waarin verdere
beoordelingen van de impact van de interventie gedaan worden.
• Gestandaardiseerde maat: het eerste niveau, hierin wordt gebruik gemaakt van normatieve data (van
bijvoorbeeld vragenlijsten en tests).
- Zijn vaak echter niet geschikt voor herhaald afnemen in korte tijd (en kost veel tijd om af te
nemen). Daarom wordt dit vaak voorafgaand en na afloop van een behandeling gebruikt.
- De verschilscores van voor en na kunnen inzicht geven (of een score van een individu op een
betekenisvolle manier is veranderd).
• Gerichte maat: single-case methoden gebruiken vaak dergelijke metingen, deze zijn vaak specifiek en
op maat gemaakt voor het individu.
- Single-case methoden meten over het algemeen de aspecten van een persoon zijn gedrag en
ervaringen die uniek problematisch voor de persoon in kwestie zijn (ze representeren de inhoud
van bepaalde klachten, niet het onderliggende theoretische construct).
- Deze metingen zijn vaak idiografisch van aard (gebruiken vaak directe observaties en het tellen
van de frequentie van probleemgedrag, of zelfrapportage van ervaringen op schalen die op
maat gemaakt zijn voor het individu).
- Dergelijke metingen zijn erop gemaakt dat ze vaker kunnen worden afgenomen/ingevuld dan de
gestandaardiseerde metingen (ook terug te zien in het plaatje hierboven).
- De herhaalde metingen zijn bruikbaar wanneer je wil bepalen of de geobserveerde
veranderingen toe te schrijven zijn aan de interventie (of om alternatieve verklaringen voor de
verandering uit te sluiten).
• Procesmaat: deze zijn meer variabel in hun omvang/bereik en in het type meting dat gedaan wordt
(kan zowel gestandaardiseerd als idiografisch zijn). Dergelijke metingen kunnen op ieder moment in
een onderzoek gedaan worden.
- Bijvoorbeeld een manipulatiecheck (controleren of de manipulatie het gewenste effect had).
Validiteit in single-case onderzoek
Meer dan 50 jaar geleden is een systematische manier ontwikkeld voor het begrijpen van experimenten, die
zich ook richtte op het identificeren en begrijpen van manieren waarop alternatieve hypothesen zich voor
kunnen doen. Dit is ook van toepassing op single-case experimenten.
,• Er kan onderscheid gemaakt worden in de bedreigingen voor de interpretatie van experimenten in
verschillende validiteitsclusters.
Interne validiteit
Dit zijn de factoren die te maken hebben met het design en de uitvoering van een bepaalde studie die
een mogelijke alternatieve verklaring kan geven voor het gevonden resultaat. Het betreft de mate waarin
een onderzoeksopzet toestaat dat er causale conclusies getrokken kunnen worden. Bedreigingen voor
de interne validiteit:
• Rijping: verwijst naar de verandering die zich voordoet in het individu over een gegeven periode die
verandering teweeg brengt in de beoogde variabele (ongeacht de behandeling), zoals bijvoorbeeld
spontaan herstel.
- Natuurlijke processen die het effect van de condities beïnvloeden.
• History: verwijst naar de mogelijke impact van gebeurtenissen (buiten de behandeling), waardoor het
lijkt alsof er een effect van de behandeling is geweest.
- Elke (onbedoelde) gebeurtenis die plaatsvindt voor de meting of tussen de metingen in.
• Testing: verwijst naar de effecten die zich voor kunnen doen wanneer je herhaald meet (leereffect),
of door reactiviteit (doordat je getest wordt, ga je jezelf ook anders gedragen).
- De invloed van (het afnemen van) een test bij een proefpersoon.
• Instrumentatie: verwijst naar een verandering in de kalibratie (meetwaarden van instrument worden
vergeleken met de standaard) van het instrument zelf (observator verandert manier van
meten/scoren; observer drift).
- Maar ook zelfrapportage kan hier last van hebben (subjectieve beoordelingen zijn gevoelig voor
de context).
- Met andere woorden; de meetprocedure is niet gelijk op de verschillende meetmomenten.
• Statistische regressie: alle psychologische metingen hebben een bepaalde mate van error (score is
dus enkel een schatting van de ware score), bij herhaald meten zal iemands score daarom
fluctueren.
- Regressie naar het gemiddelde: bij extreme score (hoog of laag) is de kans groot dat bij een
volgende meting de score dichterbij het gemiddelde zal vallen.
- Als het verband tussen de voor- en nameting niet perfect is, zijn extreme scores op de
voormeting minder extreem op de nameting.
• Reactieve interventie: is verbonden met het idee van regressie naar het gemiddelde, als iemand
extreem scoort op een meting dan zou je snel een interventie willen inzetten, maar omdat mogelijk
regressie naar gemiddelde zal optreden bij nameting (hierdoor niet vaststellen of dit komt door de
interventie zelf).
• Diffusie van behandeling: werd eerst gezien in groep-experimenten (waarin condities van
experimentele groep en controlegroep met elkaar vergeleken werden).
- In single-case onderzoeken heeft dit een andere vorm. Deze bedreiging doet zich voor wanneer
een interventie element wordt gegeven in de ene fase, maar wordt overgedragen naar een
andere fase (carry-over effecten).
Analytische validiteit (conclusievaliditeit)
Oorspronkelijk werd statistische conclusievaliditeit omschreven als: of de statistische analyse en
interpretatie van de data goed is uitgevoerd. In single-case onderzoek wordt deze term uitgebreid om
zowel de statistische als de visuele analyse te dekken (en dus analytische validiteit genoemd).
• Is onderwerp van discussie geweest, gezien de data in single-case onderzoek technisch lastig te
analyseren is door de kleine steekproefgroottes en bijna zekere overtreding van belangrijke
statistische assumpties over de structuur van errors.
• Sommigen mijden statistische analyses bij single-case onderzoek (in plaats daarvan visuele analyse).
Ondanks dat visuele analyse een valide methode kan zijn onder sommige omstandigheden, kunnen
er ook verkeerde conclusies door worden getrokken.
Constructvaliditeit
Verwijst naar de mate waarin de theoretische interpretaties verbonden kunnen worden aan de data.
Echter is dit bij single-case onderzoek vaak problematisch (er zouden altijd mogelijke alternatieve
verklaringen kunnen zijn voor de effectiviteit van een behandeling).
, • Moeilijkheden met de constructvaliditeit worden niet vaak besproken in single-case rapportages,
maar een goede conceptuele analyse van de metingen en interventies zouden wel altijd gedaan
moeten worden.
Externe validiteit
Betreft de mate waarin de verkregen resultaten in het onderzoek uitgebreid kunnen worden naar andere
participanten, therapeuten, andere settings, etc. (of de bevindingen te generaliseren zijn).
• De eerste stap in de vaststelling van de externe validiteit is om het effect te repliceren over een
groep van cliënten.
• Er zijn drie domeinen waarnaar iemand de bevindingen van een case studie wenst te generaliseren:
- Populatievaliditeit: voor welke leden van welke populaties is de betreffende procedure bruikbaar
of toepasbaar?
- Ecologische validiteit: in hoeverre kunnen de bevindingen worden gerepliceerd met verschillende
therapeuten, settingen en meetprocedures?
- Manipulatievaliditeit: zou een conceptueel gelijke interventie hetzelfde effect hebben?
Uitdagingen in het formuleren van een case
Vaak is het een vereiste in de hulpverlening dat het individu begrepen dient te worden in termen van hun
ontwikkelingsgeschiedenis en de invloed van de huidige sociale omgeving op hun gedrag (en dat een klinische
formulering van de case voorafgaat aan de interventie).
• De meeste data hiervoor wordt verzameld door interviews met de cliënt en hun systeem, het
bekijken van bestaande geschreven documenten en door directe observatie.
• Clinici maken inschattingen van causale invloeden door het vergelijken met andere cliënten die
eenzelfde soort probleem hebben.
• Ook kunnen kwantitatieve methoden worden gebruikt om het verband tussen huidige
gebeurtenissen en aspecten van het probleemgedrag te bepalen (soms is enkel observeren niet
genoeg om de relatie tussen variabelen te verduidelijken).
• Soms is het ook mogelijk om opzettelijk condities te manipuleren waarvan vermoed wordt dat deze
relevant zouden kunnen zijn (dergelijke dataverzameling wordt ook wel een multi-element design of
een alternating treatment design genoemd).
Simpele vragen over de uitkomst van een behandeling
• Is de cliënt verbeterd?
- De minimale vereisten om dit te bepalen is een pre- en postmeting (maar een verschil in scores
kan toe te schrijven zijn aan veel verschillende factoren).
- De standaard manier om de validiteit van verandering vast te stellen is door het gebruik van een
between-group design (RCT). Maar dit is niet mogelijk in de klinische praktijk.
- Het is echter wel mogelijk om de algemene vraag te beantwoorden of de cliënt verbeterd is als
we goede psychometrische informatie hebben over de metingen die gebruikt zijn (helpt bepalen
of de geobserveerde verandering oprecht is, en niet toe te schrijven aan onbetrouwbaarheid).
- Met normatieve data kunnen we bepalen of de verandering dermate groot is dat het gezien kan
worden als klinisch relevant.
• Is de behandeling effectief?
- De simpele pre- en postmetingen designs zorgen er niet voor dat je inferenties kan maken over
of de verandering voort is gekomen uit de behandeling zelf (zelfs met beschikbare
psychometrische informatie).
- Om dergelijke conclusies te kunnen trekken hebben we meerdere metingen nodig vooraf en na
afloop van de behandeling.
- Je hebt sterker bewijs voor effectiviteit wanneer de verandering zich enkel voordoet wanneer
de behandeling geïntroduceerd wordt (en experimenteel terugtrekken/manipuleren van de
behandeling). Dit zorgt voor sterker bewijs voor de validiteit van de bevindingen.
• Waarom is de cliënt verbeterd (en welk deel van de behandeling is verantwoordelijk geweest voor de
verandering)?
- Elke experimentele inventarisatie van waarom een behandeling werkt bevat vergelijkingen
tussen twee of meer condities. Vaak worden deelnemers in verschillende groepen geplaatst en
daarbij worden verschillende elementen van de behandeling los van elkaar onderzocht.
, - Een manier om dit te doen is met het alternating treatment design (een enkel persoon ontvangt
beide behandelingen in een voorzichtig aangewezen volgorde).
• Zou deze behandeling bruikbaar/toepasbaar zijn voor andere cliënten/clinici?
- Deze vraag betreft de externe validiteit en de repliceerbaarheid van single-case onderzoeken.
Replicatie is de essentie van wetenschap en goed klinisch werken.
Yin – H8: The Abridged Version of Case Study Research: Design and Method (229-243)
Doel hoofdstuk
Het is bedoeld om een overzicht te geven van meer uitgebreide behandelingen van case studie onderzoek.
Er wordt ingegaan op de ontwikkeling en bruikbaarheid van logic models (die in dit type onderzoek in
opkomst zijn). Het vat de basis tools samen, waarschuwt voor grote mogelijke valkuilen.
• Case studie onderzoek is een complex en veelzijdig onderwerp (daarom gaat dit hoofdstuk vooral in
op de kernprocessen).
• Een van de aannames is dat onderzoekers ideaal gezien de feiten van een case objectief kunnen
vaststellen (en dat theoretische vraagstukken de voorkeur hebben), en dat multiple-case studies het
beste ontworpen kunnen worden rondom dezelfde replicatielogica (die ten grondslag ligt aan het
design van de wetenschappelijke experimenten).
• Dit hoofdstuk geeft ook een grotere nadruk op het onderzoeksdesign (in vergelijking met
dataverzameling of data-analyse). Deze fase krijgt doorgaans onvoldoende aandacht, terwijl dit de
meest kritische fase zou zijn van het case studie onderzoek.
- Helaas zijn echter de formele procedures in case studie onderzoek nog onderontwikkeld
(relatief gezien).
• Het hoofdstuk benadrukt de verklarende case studies (en niet de beschrijvende of verkennende).
Beginnen met een case studie
Het starten met een case studie vereist drie dingen: het vermogen om te gaan met veel diverse vormen van
bewijs, het vermogen om onderzoeksvragen en theoretische stellingen te formuleren, en de productie van
een onderzoeksdesign.
Een expert zijn in de omgang met verschillende soorten bewijs
Dit is het meest belangrijke element bij het doen van een case studie onderzoek. Je zou in staat moeten
zijn de brede range van soorten bewijs te herkennen en weten welke je op welk moment het beste kunt
gebruiken.
• Hiervoor is het noodzakelijk dat je op de hoogte bent en blijft van de laatste methodologische
ontwikkelingen voor de verschillende technieken.
• Typen bewijs: documentatie, archieven, interviews, directe observaties, participerende observaties,
fysieke artefacten.
• In een case studie moet je de verschillende soorten bewijs gebruiken in een convergerende manier,
om zo de feiten van de case te kunnen bepalen.
- Het methodologische doel hiervan is om het concept van triangulatie toe te passen (vanuit
meerdere hoeken naar hetzelfde punt wijzen).
- Iets wordt dan als robuust feit gezien indien het bewijs afkomstig is van tenminste drie
verschillende bronnen (en allen op hetzelfde punt uitkomen). Om tot dergelijke convergentie te
komen, moeten dezelfde vragen gesteld worden aan de verschillende bronnen van bewijs.
- Zulke convergentie staat tegenover een totaal andere strategie, waarbij elk apart type bewijs als
losstaande sub-studie gedaan wordt (maar dit is niet een multiple-case studie).
• Samengevat: wanneer je diverse bronnen van bewijs gebruikt om te convergeren op de feiten van
een case studie, dan ben je begonnen met het voldoen aan een basisaspect van de definitie van
case studies; de afhankelijkheid van meerdere bronnen van bewijs.
Voorzichtig formuleren van onderzoeksvragen
Gegeven je vermogen om meerdere bronnen te gebruiken, wordt de richting en het design van je
onderzoek geheel bepaald door de onderzoeksvragen en de verwoording van de theoretische stellingen
die gerelateerd zijn aan deze vragen.
