Samenvatting Onderzoekspraktijk
Colleges
1. Donderdag, 2 april 2020 Introductie case studies (A1, A2)
Introductie ‘single case experimental designs’ (Morley: hfst 1)
2. Vrijdag, 3 april 2020 Introductie Opdracht Onderzoeksintegriteit
3. Donderdag, 9 april 2020 Gebruik van testscores bij individuele gevallen (Morley: hfst 2)
4. Vrijdag, 10 april 2020 Goede Vrijdag
5. Donderdag, 18 april 2020 Testgebruik (Drenth en Sijtsma, hfst 9)
6. Vrijdag, 19 april 2020 Metingen bij ‘case studies’ (Morley, hfst 3)
7. Donderdag, 23 april 2020 Ontwerpen van experimenten (Morley, hfst 4)
8. Vrijdag, 24 april 2020 Opdracht Onderzoeksintegriteit
9. Donderdag, 30 april 2020 Visuele analyse (Morley, hfst 5)
10. Vrijdag, 1 mei 2020 Opdracht Visuele analyse
11. Donderdag, 6 mei 2020 Statistische analyse (Morley, hfst 6)
12. Vrijdag, 7 mei 2020 Opdracht Statistische analyse 6
13. Donderdag, 14 mei 2020 Replicatie (Morley, hfst 7)
Evaluatie van ‘single case research’ (Morley, hfst 8)
14. Vrijdag, 15 mei 2020 Proeftentamen/ responsiecollege
1
,HC1 | Introductie casestudies en single-case-experimental designs
Hoofdstuk 1 - Morley, S. (2017). Why Single-case research?
Tegenwoordig wordt er heel veel gebruik gemaakt van kwantitatief onderzoek, met grote groepen mensen
waar dan RCT’s mee worden gehouden. Maar er zitten nadelen aan dit soort van onderzoek, bijvoorbeeld:
- Door de criteria die er aan deelname aan het onderzoek zitten worden veel mogelijke participanten
uitgesloten. Veel van deze onderzoeksgroepen bestaan daarom uit een selectieve groep mensen.
Er zou binnen het onderzoeksveld meer gebruik gemaakt moeten worden van single case methodologie.
Het zou meer prominent aanwezig moeten zijn in de ontwikkeling en evaluatie van behandelingen binnen
de psychologie. Psychologen willen namelijk weten of een bepaalde behandeling bij een specifieke patiënt
aan zal slaan, en deze informatie krijg je niet van een grote RCT. Single case onderzoek kan hier wel bij
helpen.
Er zijn drie categorieën van single caseonderzoek:
- Casestudies
o Deze zijn meestal vertellingen en bestaan uit kwalitatieve data. Ze zijn gemaakt om te
beschrijven en interpreteren wat er gebeurt in de therapie. Er wordt veel data verzameld
door observatie (maar niet kwantitatief en geen manipulatie). Vaak wordt er hierbij
gekeken naar individuele ‘cases’ en niet naar het globale effect van een therapie. Het
gevaar hierbij is dat er gemakkelijk gefaald kan worden in het evalueren van nieuwe
therapieën: het is gemakkelijk om jezelf voor de gek te houden over de effectiviteit van
een therapie/interventie. Ook spelen casestudys een belangrijke rol bij het testen van
vaardigheden en competentie van professionals (bijvoorbeeld door een portfolio te laten
zien van wat men kan).
- Single case kwantitatieve analyses
o Hierbij wordt kwantitatieve data verzameld en geanalyseerd, maar worden er geen
variabelen gemanipuleerd (bijvoorbeeld het evalueren van een behandelingsverandering
adhv een voor- en nameting).
- Single case experimenten
o Hierbij is er ook sprake van kwantitatieve data en worden er variabelen gemanipuleerd in
een experimentele setting. Hiermee kan er een valide conclusie getrokken worden over de
invloed van een behandeling op de uitkomst van een bepaalde variabele, dit onderscheidt
het van de single case kwantitatieve analyse. Dit boek gaat vooral over single case
experimenten met meerdere metingen over de tijd heen om alternatieve verklaringen uit te
sluiten, en het gebruik van statistische analyses.
Kwantitatief single caseonderzoek kent een lange geschiedenis in de psychologie. De meeste methodes die
erbij gebruikt worden komen af van de behavioristen. Dit is gekenmerkt door
- Een focus op direct observeerbaar gedrag (frequenties per tijdseenheid)
- Een experimentele aanpak die probeert de omgeving zo veel mogelijk te controleren om
alternatieve verklaringen (confoundings) uit te sluiten
- Een poging om te zorgen dat de basis van het gedrag al stabiel is voordat het experiment begint
- Behandelingen die zijn gebaseerd op bekrachtigingstheorie
- Vertrouwen op visuele analyse
Single caseonderzoek bestaat uit drie fasen:
- Een periode van metingen, waarbij baseline observaties worden gedaan
- Een periode waarin de interventie wordt geïntroduceerd
- Een follow-up periode waarin kan worden gekeken naar effect van de interventie
2
,Er zijn drie verschillende soorten metingen:
- Standaard metingen à dit zijn bekende meetinstrumenten, dingen als bestaande vragenlijsten
voor een bepaalde stoornis. Deze algemene meetinstrumenten worden vaak aan het begin en aan
het einde van het onderzoek uitgevoerd (kunnen niet continu ingevuld worden). Het vergelijken
van de score op deze twee meetmomenten kan ons veel zeggen over het effect van een interventie.
- Target metingen à dit zijn meetinstrumenten die speciaal voor een specifiek individu ontwikkeld
zijn. Er worden concepten gemeten die specifiek voor deze persoon zijn en niet per se een breder
construct. Bijvoorbeeld het tellen van een bepaalde problematische gedraging. Dit wordt
gedurende het hele onderzoek gemeten, meerdere keren dus. Ze meten precies datgene waar de
persoon last van heeft, in plaats van kenmerken van een algemene klacht zoals bij RCTs wordt
gedaan.
- Proces meetinstrumenten à deze kunnen op ieder moment in een studie afgenomen worden. Het
kan bestaan uit gestandaardiseerde maar ook uit gepersonaliseerde meetinstrumenten. Het gaat
erom dat er wordt gekeken hoe het proces gaat (bijvoorbeeld iemands angst respons tijdens een
exposure sessie).
Validiteit in single caseonderzoek
Interne validiteit:
Gaat om factoren die alternatieve verklaringen geven voor een opgetreden verandering (en die dus niet
komen door de interventie). Bedreigingen van interne validiteit:
- Rijping en geschiedenis
Rijping: veranderingen die plaatsvinden in een persoon en dus voor een verandering zorgen in de
variabele van interesse (bijvoorbeeld ouder worden). Spontane remissie verwijst hiernaar:
bijvoorbeeld bij het testen van depressie kunnen de klachten van zichzelf al minder zijn geworden.
Geschiedenis: andere gebeurtenissen die in iemand leven gebeuren waardoor het lijkt alsof de
interventie effect had, maar eigenlijk komt dit door die gebeurtenis.
- Testing
Dan raakt een persoon gewend aan het doen van tests en veranderen de uitkomsten daardoor.
Iemand wordt bijvoorbeeld steeds beter in geheugentests.
- Instrumentatie
Dit gaat over variaties van het meetinstrument zelf. Bijvoorbeeld dat de observator de ene keer
anders beoordeelt dan de andere keer, terwijl de participant hetzelfde gedrag laat zien.
- Statistische regressie
Regressie naar het gemiddelde, dus wanneer iemand op de voormeting heel extreem hoog scoort is
de kans groot dat hij op de nameting wat minder extreem scoort.
- Reactieve interventie
Lijkt op regressie. Het idee is dat als we een hele extreme score tegenkomen, we sterk geneigd zijn
om die persoon een behandeling te geven. Maar het zou zo kunnen zijn dat die score zo hoog was
omdat er toevallig net iets ergs had plaatsgevonden, en daarnaast kan het ook zijn dat door
regressie naar het gemiddelde een volgende observatie veel minder extreem zou uitvallen.
- Diffusie van behandeling.
Bij verschillende groepen: als de controlegroep van de manipulatie hoort en dit (onbewust) ook
gaat toepassen terwijl ze dus eigenlijk in de controlegroep zitten. In single-case studies heeft het
een andere vorm: bijvoorbeeld bij verschillende fasen, waarbij de interventie in één fase wordt
aangeboden, gevolgd door een fase waarin dit niet gebeurt. Maar mogelijk zijn er toch carry-over-
effects van de interventie waardoor er dus geen fase van geen manipulatie plaatsvindt.
- Analytische validiteit
Fouten bij het analyseren van de gegevens. Bijvoorbeeld door kleine steekproef en/of het trekken
van verkeerde conclusies.
3
, - Construct validiteit
De mate waarin de theoretische begrippen aan de data gelinkt kunnen worden.
Externe validiteit
Dit gaat over de mate waarin gevonden resultaten gegeneraliseerd kunnen worden naar andere situaties,
participanten, en gevonden zouden worden door andere therapeuten. Ook gaat het erover of de resultaten
ook buiten de context van de studie overeind zullen blijven. (1) populatievaliditeit – voor welke populatie
zijn de resultaten nuttig? (2) ecologische validiteit – in hoeverre kunnen bevindingen gereproduceerd
worden door verschillende onderzoeks, settings en meetprocedures en (3) manipulatievaliditeit – zal een
soortgelijke interventie hetzelfde effect hebben?
Uitdagingen in formulering
In formulering van vraagstellingen om antwoord te kunnen geven op je hoofdvraag. Tevens om de
resultaten in kaart te brengen en te presenteren (denk aan interactie-effecten en hoofdeffecten).
Vragen:
- Over formulering
o Wat draagt bij aan ontwikkeling of in stand houding van een probleem?
o Wat zijn controlerende factoren?
- Simpele uitkomst vraag
o Is er verbetering opgetreden?
- Simpele behandeling vraag
o Is de verbetering een resultaat van de behandeling?
- Complexe behandeling vraag
o Heeft de behandeling een specifiek effect of zijn de niet-specifieke componenten van de
behandeling verantwoordelijk voor de verandering?
- Vergelijkende behandeling vraag
o Is de ene behandeling effectiever dan de andere?
- Vragen over de theorie of het proces
o Werkt de behandeling vanwege dezelfde redenen als uit de theorie?
Yin, R. (1998). The abridged version of case study research. In Bickman, L. & Rog, D. (eds.) Hand- book
of applied social research methods. Thousand Oaks, CA: Sage Publications, Inc. (p. 229-243) (A1)
Het starten van een casestudie vereist 3 ingrediënten:
1. Vermogen om met een diversiteit aan bewijsstukken om te gaan
2. Vermogen om onderzoeksvragen en theoretische proposities te verwoorden
3. Productie van een onderzoeksontwerp
Het doen van casestudie gaat gepaard met continue interacties tussen ontwerp, dataverzameling en analyse
en betreft dus geen lineaire of beste volgorde van de drie ingrediënten.
Vermogen om met een diversiteit aan bewijsstukken om te gaan
Bij casestudies moet je een breed scala aan soorten bewijsmateriaal herkennen en elk type kunnen
gebruiken.
Bron van bewijs Sterke punten Zwakke punten
Documentatie Stabiel, exact, breed dekking, Lage vindbaarheid, beperkte toegang,
onopvallend reporter bias
Archiefbestanden Stabiel, exact, breed dekking, Lage vindbaarheid, beperkte toegang,
onopvallend, kwantitatief reporter bias
4
