Samenvatting OMT II
Introductie tot wetenschappelijk denken – les 1
Onderzoek produceren of consumeren
- Rol van onderzoek “producent” versus rol van onderzoek “consument”
o Belangrijk omdat sommige onderzoek gaan produceren: masterproef sws
o Sommige gaan later in een onderzoekrol willen gaan werken in een bepaald bedrijf
of in de academische wereld verder gaan
o Mensen die helemaal geen onderzoek willen produceren dus waarom dit vak? Later
ga je onderzoek consumeren vb. als klinische psycholoog werken ga je evidence-
based moeten handelen: beslissingen die je neemt gaat baseren op wat de
wetenschappelijke literatuur je erover vertelt => weten hoe je onderzoek moet
produceren
- Voorbeelden om het belang van de rol van onderzoek “consument” te illustreren:
o Facilitated communication treatment
▪ Mensen helpen met communicatie bij Autisme: therapeut gaat het hand van
een autist begeleiden, tablet gebruiken, daarop staan letter zodat hij de
letter kan aanduiden en zo kan communiceren => er worden zinnne
gevormd, dus communicatie is mogelijk: veel belovend? Als je kijkt naar
onderzoek zou je deze techniek niet aanraden
➢ Studie: patiënten en therapeuten die het toepassen foto’s laten zien,
beide kregen een andere foto te zien (wisten ze niet), vervolgend
werd gevraagd toen ze samen waren, wat heeft de patiënt gezien?
Ging begeleiden en men zag het woord dat gevormd werd, het
woord dat de therapeut had gezien op haar/zijn foto. De therapeut
stuurt ook, dus het is niet echt een juiste vorm van communicatie
(obv onderzoek)
o Scared-straight approach
▪ Jongeren die in contact zijn gekomen met justitie op het rechte pad te
krijgen door ze bang te maken, meenemen naar de gevangenis en daar
worden geïntimideerd => doel: zoveel angst krijgen dat ze vervolgens op het
rechte pad te krijgen
➢ Onderzoek: als we zulke jongeren gaan opvolgen, lijkt het niet echt
te werken, gaan niet minder criminaliteit plegen, juist meer
o “Mindfulness kan je beter doen presteren op school”
▪ = mensen gaat leren om in het heden te leven terwijl ze hun gevoelens en
hun denken accepteren => veel positieve voordelen
▪ Literatuur: veel studies en lijken te suggeren dat die zou werken, veel
experimenten in school waar je willekeurig in 2 groepen terecht komt
(mindfulness of andere training)
➢ Vergeleken met elkaar: mindfulness scoort beter
- Kritische mindset is essentieel
1
, o Kritische te consumeren omdat niet al het onderzoek juist is uitgevoerd
- Niet alle gepubliceerd onderzoek is correct / robust
- Psychologisch onderzoek zit in een turbulente periode
o Voorbije decennia hebben onderzoeker beseft dat heel wat van de studies niet echt
robuust zijn en dat we de resultaten niet kunnen repliceren of ze niet lijken te
kloppen
o 2011 is de evolutie begonnen: een Amerikaans onderzoeker publiceerde een artikel
waarin hij met 9 verschillende experimenten aantoonde dat mensen de toekomst
kunnen voorspellen => eerste reactie was dat het niet kon: lijkt vrij correct volgens
het artikel opgezet te zijn
▪ Conclusie: er klopt hier iets niet -> heeft eigenlijk meer dan 9 experimenten
opgezet, vond hier bewijs voor, maar in andere vond hij geen bewijs of het
tegendeel, daarnaast heeft men liggen zoeken achter de juiste resultaten
(toch maar significantie bekomen) ➔ je kan hier aantonen dat men de
toekomst voorspelt, maar als je bepaalde zaken doet kan je alles aantonen
=> zaken geïmplementeerd zodat dit niet kan voorkomen
o Als je onderzoek consumeert is het belangrijk dat je die kritische houding aanneemt,
niet zomaar geloven
Hoe werken wetenschappers? Psychologie als wijze van denken
- Wetenschap is gebaseerd op empirie
- Wetenschappers testen theorieën
- Wetenschap kan fundamentele en toegepaste vragen beantwoorden
- Wetenschap is continu in ontwikkeling
- Wetenschappers publiceren hun resultaten in vaktijdschriften
- Wetenschappers communiceren met het brede publiek via journalisten
Empirie
- Empirische methode is gebaseerd op data van
o Directe zintuiglijke waarnemingen vb. in een experiment kunnen we het gedrag
observeren
o Meetinstrumenten vb. Vragenlijst afnemen
▪ Gebruiken die data om conclusies te trekken en we doen het zo dat ons
onderzoek kan gerepliceerd worden
- Empirische wetenschappers trachten systematisch, nauwkeurig, en repliceerbaar onderzoek
te verrichten
- Empirie is niet gebaseerd op eigen ervaringen, intuïtie, of autoriteitsfiguren (zie verder)
2
,Wetenschappers testen theorieën
- Theorie-data cyclus
o Data gebruiken om theorie te toetsen
o Starten met theorie -> onderzoeksvragen die we
formuleren → onderzoekdesign waar we een heel
concrete hypothese te toetsen (vb. experiment) → om die
te toetsen gaan we data verzamelen en die gaat onze
theorie ondersteunen (hypothese bevestigd) OF was ons
onderzoek niet zo goed opgezet (onderzoeksdesign;
experiment aanpassen) of onze theorie is fout (theorie
herzien mss en dan start de cyclus opnieuw) (= hypothese
ontkracht)
- Onderzoek Harlow (1958): cupboard theory vs contact comfort theory
o Voorbeeld van de cyclus
o Beide worden gebruikt om hechtingsgedrag te verklaren: welke is correct?
o Cupboard: kinderen hechten zich aan ouders omdat ze voedsel verschaffen en
dergelijke
o Comfort: hechten zich aan ouders omdat ze veiligheid en geborgenheid bieden
▪ Pasgeboren aapjes kwamen in een kooi te zitten
➢ Links: pop die bedoeld was om voeding te krijgen
➢ Rechts: geen voeding, maar die was aangenamer, vacht en
verwarming
o Hypothese; als de cupboard theorie klopt dan gaat hij meer
spenderen bij de linkse, als de comfort klopt dan gaat hij
meer bij rechts spenderen
o Data verzamelt door met verschillende aapjes te doen =>
meestal zaten ze bij de rechtste pop (vinden ondersteuning
voor comfort theory)
o Vertrokken van theorie → onderzoeksvraag → experiment
met hypothese → data → ondersteuning voor de ene en de
andere te weerleggen
- Kenmerken van een goede theorie (doel)
o Ondersteund door data
▪ Verklaring geeft voor een bepaald fenomeen
o Falsifieerbaar: moet je kunnen weerleggen
▪ Vb. marsmannetjes bestaan, ik zal data verzamelen -> hebt er geen gezien, je
ziet ze enkel als je er echt in geloofd: niet falsifieerbaar gemaakt (antwoord
voor de resultaten, nooit aantonen of die klopt of niet =
pseudowetenschappelijke theorie)
o Parsimonie (principe van “Occam’s razor”)
▪ Stel je een bepaald fenomeen met 2 theorieën kan verklaren en ze doen dat
even goed, dan gaan we de simpelste kiezen = beste
3
, ➢ Meest parsimonische
- Voorbeeld niet-falsifieerbare theorie:
o Facilitated communication treatment believers
▪ Veel te weinig vertrouwen in de therapeut en hoe die met de mensen
omgaat: maak je niet falsifieerbaar
- Theorie wordt geëvalueerd op basis van alle beschikbare bewijs
o Een theorie kan nooit “bewezen worden”
▪ Onvoldoende om ons vertrouwen volledig op te geven
▪ Hypothese bevestigd: kunnen we theorie niet bewijzen, we vinden
ondersteuning ervoor!
o Replicatie is belangrijk
▪ Hoe meer we hetzelfde vinden, hoe meer vertrouwen we in de theorie
kunnen hebben
Wetenschappers vormen een gemeenschap
- Hebben een aantal waarden of normen die ze accepteren
- Merton’s scientific norms: 4 die onderliggend zijn aan wetenschappers
1. Universalism = wanneer we gaan zien of een bepaald resultaat/studie goed is of
vertrouwen in hebben, gaan we dat laten afhangen van de kwaliteit (inhoud) van de
studie zelf, niet de auteur
2. Communality = betekent dat ze hun werk beschikbaar maken voor die gemeenschap,
transparant zijn (data, materialen verdelen) zodat ze gebruik kunnen maken van de
inzichten die andere doen (nadeel praktijk: niet alles is makkelijk bereikbaar)
3. Disinterestedness = wetenschappers zijn op zoek naar de waarheid en doen dat uit
intellectuele interesse en niet omdat het hen prestige en geld zou kunnen opleveren
(in de praktijk zijn er altijd wel tegenvoorbeelden)
4. Organized skepticism = alles zou je in vraag moeten kunnen stellen, als je dat niet
kan = pseudowetenschap
Fundamenteel en toegepast onderzoek
- In universiteit meestal fundamenteel= theoretisch inzicht in bepaalde fenomeen te krijgen
(niet noodzakelijk een praktische toepassing, willen het beter begrijpen)
o Vb. via een neurowetenschappelijk experiment nagaan welke delen geactiveerd
worden tijdens meditatie
o Vaak leidt het wel tot dingen die praktisch van aard zijn
- Toegepast onderzoek gaan we echt testen of een toepassing werkt
o Vb. medicatie kan helpen met studenten hun resultaten verbeteren: werkt ons
programma en we toepassen in de school => vergelijken met programma of je het
gehad hebt of niet
Continue ontwikkeling
- Theorieën worden continu getest, aangepast, en gefalsifieerd
o Data niet langer ondersteund: theorie falsifiëren
4
, - Wetenschappers zetten vervolgonderzoek op: voorbeeld impact van kleur op approach- en
avoidance motivatie in context (Meier et al., 2012)
o Kleur op motivatie: eerste studies vrij simpel
▪ Groep 1: bundel oefeningen met anagrammen en je moest zo snel mogelijk
bepalen of het een echt woord is of niet
▪ Groep 2: dezelfde bundel, alleen hier hebben ze een groene kaft en in groep
1 een rode
➢ Men is gaan vergelijken hoe goed men presteerde in die groepen:
rood scoorde slechter dan groen => verklaring volgens hen heeft te
maken met de kleur
o Rood associëren we vaak met gevaar, dus gaat men
voorzichtiger zijn (verkeersbord) => triggert een bepaald
motivatiesysteem: avoidance
o Groen is het teken dat we verder mogen gaan => approach
motivatie (naar een doel gaan)
o Vervolgstudie: Kleur heeft een impact, maar het hangt af van de context
▪ Mannelijke studenten verdelen in 2 groepen: straks gaan jullie een gesprek
hebben (vrouw): eerste groep een rood t-shirt en in de 2de een blauw
(manipuleren van kleur)
➢ Nog eens in 2 gesplitst: ofwel kreeg je te horen dat het gesprek een
date was of de andere groep een interview om een intelligentie te
meten en men ging meten hoe snel dat je naar de andere kamer
stapt (hoeveel seconden)
o Links: date met rode T-shirt = sneller dan met een blauwe T-
shirt (context van een date heeft rood een andere
connotatie = approach, sneller stappen
o Links: bij intelligentie trager stappen wanneer ze een rood T-
shirt aan had dan een blauw = avoidance
▪ Paste de theorie aan: hangt af van de context
- Wetenschappers zetten vervolgonderzoek op: … maar, er zijn ook studies die aantonen dat
het effect van kleur op approach en avoidance motivatie niet gerepliceerd kan worden
o Nu: theorie gefalsifieerd => moeilijk om de resultaten te bevestigen of repliceren:
geen overtuigend bewijsmateriaal
▪ Cyclus die het kan doormaken
Publiceren
- Manuscripten worden ingestuurd naar wetenschappelijke tijdschriften (bv. Nature, Science,
Psychological Bulletin)
o Hoe werkt het?
▪ Voert experiment uit en je schrijft een artikel en die ga je doorsturen naar de
editor en start peer-review (collega’s) en gaan het beoordelen op vlak van
kwaliteit (zwakke of sterke punten, methologie..), meestal anoniem langs
beide kanten
➢ Beslissing: voldoet niet = reject of er zit potentieel in maar toch nog
vragen = revise of er zijn geen opmerkingen over en je mag
publiceren = accept
5
, o Neemt veel tijd in beslag om het experiment te doen
enzovoort en dan duurt het publiceren nog lang
▪ Waarom belangrijk om te publiceren? Onderzoekers
worden er op beoordeeld, als ze carrière willen
maken moeten ze veel publiceren => meeste artikels
worden gereject = hoge druk om het gepubliceerd te
geraken -> zaken doen die niet correct zijn om de
kansen te verhogen
▪ Misverstand; onderzoekers worden niet betaald
voor publicaties
- Peer-review
- Rol van de editor
- Rol van de reviewers
- Reject, revise, of accept
Communiceren
- Via media: in krantenartikel nog steeds kritisch zijn => samenvatting voor pers => artikel.. =>
hele cyclus en telkens kan er info verloren gaan, wat dus niet helemaal hetzelfde is dan wat
het origineel is
- Vb. Mozart-effect: in de kranten schreef men dat kinderen die naar Mozart luisteren
intelligenter zijn/ worden => komt van een studie:
o 3 groepen: 10min Mozart, 10min andere taak (controle) of je mocht 10min een
toneelstuk gaan doen
▪ Men zag dat de groep van Mozart, wanner men het IQ meten, hoger scoren
op bepaalde subschalen van intelligentie => lijkt een verband zijn, maar het is
kortstondig + men zag achteraf dat het niet alleen bij zijn muziek was
➢ Media maakte er iets anders van, verhaal dat niet meer in lijn was =>
blijf kritisch!
Bronnen van informatie
- Onderzoekers:
o Gebruiken een vergelijkingsgroep
o Controleren voor derde variabelen (confounders)
o Trachten informatie te evalueren zonder (cognitieve) bias = verkeerde redeneringen
- Onderzoek is beter dan:
o Eigen ervaring
o Intuitie
o Autoriteitsargumenten
▪ Reden: zie boven (onderzoekers)
- Onderzoek: Laptop of met de hand schrijven: ervaringen zijn verschillend van onderzoek
o Groep 1: met de hand
o Groep 2: met laptop
▪ Testje van hoe goed je het onthouden had => beter onthouden met de hand:
meeste mensen kunnen niet zo snel schrijven dus je werkt schematisch
waardoor je het beter gaat onthouden → vrij letterlijk noteren wat iemand
zegt
6
,Onderzoek vs ervaring
- Rage room: pak aandoen en je mag de kamer kort en klein slaan -> idee: je kan alle woede
eens goed luchten, achteraf ga je die emotie kwijt zijn en je gaat je minder woedend voelen
o Idem een spelletje spelen voor woede kwijt te geraken op bv baas
▪ Stel dat dit werkt: dit op basis van je ervaring
- Ervaring heeft geen vergelijkingsgroep
- Er zijn derde variabelen (confounders) bij ervaring die ook een rol speelt en we kunnen het
moeilijk uit elkaar houden
- Bottom line: onderzoek is beter dan ervaring
- Dr. Benjamin Rush – aderlatingen
- De behandeling met aderlatingen werd nooit vergeleken met een controle groep
o Vergelijkingsgroep is essentieel: dokter die bloedzuigers zetten en zegt dat het werkt
en diegene die stierven waren waarschijnlijk te ziek => eigen ervaring een idee maar
geen vergelijkingsgroep
▪ Stel dat we een vergelijkingsgroep hebben: op basis van deze resultaten
werken die aderlatingen niet, even veel mensen die herstellen dan als je
niets doet => op basis van de controlegroep kan je dat besluiten
▪ Andere conclusie als je een andere waarde verandert: 100 mensen ziek en 20
herstellen, 11 ziek en geen aderlating zijn er 10 die herstellen en 1 niet =>
gebruik het niet! Kans op herstel is veel lager dus geen goed idee (dankzij
controle groep tot hier komen)
▪ Andere conclusie als je waarde verandert: 10 die herstellen en 490 die niet
herstellen => aderlatingen lijken een goed idee te zijn (enkel dankzij de
controlegroep
- Ervaring is “confounded”
o Factoren die mee variëren en die een invloed hebben op onze gevoleens en gedrag
▪ Vb. rage room: mensen naar het labo komen en weer in een willekeurige
groep: ongeacht de groep heeft men je goed kwaad gemaakt, men vroeg
idereen een tekst schrijven en dat werd beoordeeld en je mocht langs gaan
en gaf je negatieve feedback en maakte je met de grond gelijk om je kwaad
te krijgen. Vervolgens werd je naar een kamer gebracht en je moest
wachten:
➢ Groep 1: wachten op stoel
➢ Groep 2: wachten maar er is een boksbal en energie wat kwijt te
spelen
➢ Groep 3: foto assistent die je met de grond gelijk maakte (woede en
fysieke)
o Vervolgens mocht je eruit en kwam je in de laatste fase: hoe
agressief ben je nog en je ging een spel spelen met de
assistent en je kon ze straffen door vb. luid lawaai in
koptelefoon (hoe luid en lang je het hield horen: hoe hoger,
hoe meer je die straft en hoe meer agressie)
▪ Groep 1: scoort het laagst op agressie
7
, ▪ Groep 2: scoort tussenin
▪ Groep 3: hoogst op agressie
• Catharsis: door je woede te uiten ga je er
vanaf geraken ga je er vanaf geraken, blijft
juist aanwezig door ze te uiten (rageroom
lijkt niet te kloppen
➢ Beter dan ervaring (alternatieve verklaringen): fysieke activiteit
eerder dan uiten van woede → hier echt het uiten van de woede dat
meer tot agressie leidt
- We controleren onze eigen ervaringen niet voor meerdere, gelijktijdig optredende factoren
die een invloed hebben op onze gevoelens en gedrag
- Onderzoek is beter dan eigen ervaring, want…
- … onderzoekers gebruiken een controle groep, controleren voor derde variabelen, en
trachten informatie te evalueren zonder bias
- Voorbeeld: onderzoek Bushman (2002) naar catharsis hypothese
- Onderzoek is wel probabilistisch!
o Komt tot bepaalde verbanden die je na gaat, nooit iets perfect kunnen voorspellen
o We werken met kansen
o ‘roken is kankerverwekkend’: vaak ja maar mijn nonkel rookt al lang en is kerngezond
=> kan altijd, er is wel een verband, maar dat is niet perfect => gemiddeld gezien
bekijken, altijd zijn er uitzonderingen
Onderzoek vs intuïtie (buikgevoel)
- Biases spelen een rol (redeneerfouten):
o Een goed verhaal = snel overtuigd als het plausibel lijkt (catharsis hypothese: werd
naar voor gebracht door Freud en trok de analogie met stoommachines -> bij te veel
druk ontploft de stoommachine
o Availability heuristic = sneller geloven dat iets waar is als je gemakkelijker tot
voorbeelden komen dat het ondersteunt (vb. vliegen is gevaarlijk, crashes komen
veel in de media dus zijn makkelijker oproepbaar => veiliger dan met de auto of fiets
rijden
o Present/present bias = speelt een rol wanneer we kijken naar 1 specifieke situatie
(vb. verhaal rageroom: beter bij frustratie, je bent enkel aan het denken aan die
situaties, je slaagt alles kapot en voelt je achteraf beter => denkt niet aan de 3
andere combinaties (vb. slechter voelen erna of niks doen en je beter of slechter
voelen => ontbreken van vergelijkingsgroepen)
▪ Vb. je denkt aan iemand en opeens belt die je op => wauw amai dat is cool,
iets telepathisch of dergelijke, denkt niet aan de andere situaties vb. je denkt
eraan en belt je niet, denkt niet en belt..
o Confirmation bias = op zoek gaan naar bewijs dat in lijn is met de huidige gang van
zaken => op zoek naar info die onze beelden van zichzelf gaan bevestigen
▪ vb. experiment waarin men studenten een IQ test gingen laten afnemen =>
groep 1: laag IQ ook al was het niet zo misschien, andere groep: heel hoog IQ
=> naar kamer gaan en daar lagen boekjes, sommige gaven veel kritiek op IQ
8
, testen en andere die juist aantonen dat ze heel goed zijn ➔ kijken welke
boekjes gaat men kiezen: iedereen had de behoefte om zijn bestaande
overtuigingen dat we intelligent zijn bevestigd te zien
➢ Laag IQ: boekjes kiezen die IQ-test afbreken
➢ Hoog IQ: boekjes kiezen die IQ-test ophemelen
o Confirmatory hypothesis testing = onze hypothesen zo formuleren zodanig dat die
onze vermoedens gaat bevestigen
▪ Vb. studenten waar men die ging indelen in 2 groepen: groep 1 extravert
interviewen, 2de groep introvert => vragen opstellen en die gaan vergelijken
➢ Extravert: totaal andere vragen => vb. “wat doe je als je met
vrienden uitgaat”
➢ Introvert: vb. “vind je het niet erg om zo vaak alleen te zitten?”
o Vragen die men bedacht gingen sws het idee dat men had
bevestigen
o Bias blind spot = systematisch onze eigen biases ontkennen of denken dat die een
minder grote rol spelen bij jou
o Dunning-Kruger effect (te hoog inschatten van onze eigen competenties) => mensen
die zeer laag scoren op een andere competentie, gaan eigen competentie te hoog
inschatten vb. internet: mensen die een half uur iets gelezen hebben over
klimaatveranderingen gaan denken dat ze een expert zijn en een discussie aangaan
met mensen die al langer onderzoek doen ernaar
Autoriteiten geloven
- Voorbeeld: vaccinaties in de VS
o Antivaccinatie beweging: ontstaan door arts en hij schreef een artikel en maakte dat
bepaalde vaccins van mazelen een risico vormen voor autisme
▪ Wat hij claimde leek niet correct te zijn: verklaren of er belangenconflicten
zijn vb. financiering, zegt van niet, maar achteraf bleek dat hij het wel
gekregen had om het onderzoek te doen en dat was de concurrent van het
vaccin dat hij bekritiseerde (belangenconflict) ➔ resultaten klopte ook niet,
tijdschrift hadden het teruggetrokken -> had impact al gehad en die
beweging was al ontstaan
▪ Titel als arts kwijtgespeeld, maar is nog steeds actief en zeker in dei
beweging (kracht door zijn eerdere titel)
▪ Op basis van je onderzoek moet je het dus helemaal niet geloven
o Trump: veel mensen geloven wat hij schrijft ookal stelt onderzoek iets anders
9
, Samenvatting
- Wetenschappelijke evidentie is beter dan de andere bronnen (eigen ervaring, intuïtie of
autoriteitsfiguren)
Wetenschappelijke bronnen
- Verschillende vormen:
o Empirische artikels gepubliceerd in wetenschappelijke tijdschriften
▪ Data om een hypothese te toetsen
▪ Vaak veel artikels
o Review artikels gepubliceerd in wetenschappelijke tijdschriften (bv.: meta-analyse)
o Boekhoofdstukken (edited books), maar het peer review proces bij
wetenschappelijke tijdschriften is niet noodzakelijk aanwezig hier
o Wetenschappelijke boeken
- Niet wetenschappelijk:
o Boeken voor brede publiek
o Wikipedia
o Populaire media
- Heel veel tijdschriften en vaak nog eens specifieke tijdschriften
o Sommige worden hoger gerangschikt dan andere en dat gebeurt op impactfactor:
hoe vaak artikels gedurende een bepaald jaar geciteerd werden vb. 10 keer geciteerd
▪ Hoe hoger, hoe beter => kwaliteit is ook niet automatisch hoger! Wees
kritisch!
➢ Meer fraude met hoge impactfactor dan lager
10
