Seminars
Seminar 1
Meehl (1978): Theoretical Risks and Tabular Asterisks:
Sir Karl, Sir Ronald, and the Slow Progress of Soft Psychology
Meehl on Null Hypothesis testing
“I believe that the almost universal reliance on merely refuting the null hypothesis as the standard
method for corroborating substantive theories in the soft areas is a terrible mistake, is basically
unsound, poor scientific strategy, and one of the worst things that ever happened in the history of
psychology.”
Meehl: Soft Psychology vs. Fysica
Meehl (1967, 1978, 1990)
In de fysica worden experimenten verbeterd om het moeilijker te maken om de theorie of
hypothese te verifiëren strengere test (“bold conjectures”)
In de psychologie, grotere steekproeven enz. maken het makkelijker om de theorie of
hypothese te verifiëren minder strenge test
???
Voorspellingen in de fysica
Theorieën in de fysica leiden tot hele specifieke en vaak onverwachte voorspellingen
Einsteins relativiteitstheorie een kleine verschuiving van de sterren achter de zon
(vanwege de zwaartekracht van de zon)
”Bold conjecture”, “severe test”
Voorspellingen in de psychologie
Theorieën in de psychologie: verzamelingen van ideeën en beweringen, meestal niet
kwantitatief (bijv. theorie van de cognitieve dissonantie)
Typische voorspelling: variabele X heeft een grotere waarde in groep A dan in groep B
Typische nulhypothese: geen verschil / variabele X is niet groter in groep A dan in groep B
Nulhypothese verworpen theorie bevestigd ???
Probleem: significante verschillen
Statistisch significante verhoudingen zijn heel makkelijk te vinden
Meehl (1967): “Data … derived from a huge sample of over 55,000 Minnesota high school
seniors reveal statistically significant relationships in 91% of pairwise associations among …
45 variables”
Onbekende en random factoren leiden bijna altijd tot kleine verschillen (”crud factor”)
standardnulhypothese is bijna altijd onjuist, eenzijdige nulhypothese (“niet groter dan”) 50% van
0 de tijd.
met genoeg statistisch power kun je minstens 50% van de tijd een statistisch significant resultaat
fff krijgen.
Specifieker: je begint met een theorie T, en vanuit je theorie volgt hypothese H 1
Je gaat dan de hypothese tegen de nulhypothese testen
Maar: met perfecte power gaat het je bijna altijd lukken om de nulhypothese te verwerpen!
Dit is ook het geval voor een hypothese die op een onzintheorie gebaseerd is
, het bevestigen van je hypothese zegt bijna niets over je theorie.
Fysica vs. psychologie
In de fysica: grotere steekproef, betere instrumenten enz. maken het moelijker om de
hypothese te bevestigen
Bijv. uit theorie T volgt dat variabele X waarde 4.362 (+- errormarge) heeft
Als deze hypothese verworpen is, is de theorie (in principe) weerlegd
Een hypothese die uit een onzintheorie volgt heeft ca. 0 % kans om bevestigd te worden
4. Individual differences
”what is one psychologist’s subject matter is another psychologist’s error term”
Zie ook 7. Idiographic Problem
Idiographisch onderzoek: gericht op individueel gedrag, N=1
Nomothetisch onderzoek: grote steekproeven, algemene wetmatigheden, individuele
verschillen “error” of “noise”
Psychologisch onderzoek (bv. nulhypothese significantietoetsen): meestal nomothetisch
5. Polygenic Heredity
Non-polygenic inheritance: eigenschap is bepaald door variatie in één gen (bv. haarkleur)
Polygenic inheritance: eigenschap is bepaald door samenwerking/interactie van meerdere
genen (bv. lichaamslengte)
Mentale stoornissen?
Tot nu toe bijna geen betrouwbare associaties tussen genen en mentale stoornissen ontdekt
Is dit een probleem voor de psychologie?
6. Divergent causality
1. There are complex systems whose causal structure and boundary conditions are such that
slight differences … tend to “wash out,” “cancel each other,” or “balance” over the long run
(convergent causality)
2. There are other systems in which such slight perturbations or differences in the exact
character of the initial conditions are, so to speak, amplified over the long run (divergent
causality)
o Bv. zwerm spreeuwen
o Psychologie?
12. Random walk
Wat is een random walk?
Random walks, Unknown critical events…
8. Unknown critical events
12. Random walk
13. Sheer number of variables
20. Ethical constraints
…
15. Context-Dependent Stochastologicals
Nomological network: “the system of lawlike relationships conjectured to hold between
theoretical entities (states, structures, events, dispositions) and between theoretical entities
and their observable indicators.”
Met andere woorden: een theorie over hoe bepaalde concepten wetmatig samenhangen, en
hoe ze gemeten kunnen worden
, Het punt: theorieën in de psychologie zijn niet “nomological” (gebaseerd op
wetmatigheden), maar “stochastological” (statistisch, probabilistisch, contextafhankelijk)
16. Open concepts
Closed concept: exacte definitie, noodzakelijke en voldoende voorwaarden
o Driehoek: Een driehoek is een meetkundige figuur die uit drie punten bestaat die
niet op een rechte lijn liggen, en de lijnstukken die die punten met elkaar verbinden
Open concept: concepten die niet “closed” zijn
Het punt: concepten in de psychologie zijn open
Verisimilitude
“probably, all theories are false in the eyes of God”
Uitdrukking, niet letterlijk bedoeld
Niets met religie te maken
Punt: zelfs de beste theorieën zijn imperfect en kloppen niet altijd
Maar: sommige theorieën komen dichter bij de waarheid dan andere theorieën
(verisimilitude, truthlikeness)
Psychoanalytische theorie?
Zie “Addendum”, p. 829
“For the purposes of the present article … I hope it is sufficient to say that one could arguably
hold that significance testing in soft psychology is a pretentious endeavor that falls under a
tolerant neo-Popperian criticism, and could nevertheless enter his personalistic prediction
that when adequate tests become available to us, a sizable portion of psychoanalytic theory
will escape refutation. So I do not think I am actually contradicting myself, but I am
personalistically betting on the outcome of a future horse race.”
Meehl (1967): theory-testing in psychology and physics: a methodological paradox
Methodologisch paradox
In de fysica worden experimenten verbeterd om het moeilijker te maken om de theorie of
hypothese te verifiëren strengere test
In de psychologie maakt verbetering van experimenten het makkelijker om de theorie of
hypothese te verifiëren minder strenge test
Psychologen doen hun best om een effect te vinden, fysici doen hun best om een hypothese
te weerleggen
Achtergrond
Het inductieprobleem David Hume (1711-1776)
o Gaat over inductief redeneren
o Van individuele observaties naar een algemene wet
Zwaan 1 is wit
Zwaan 2 is wit
Zwaan 1000 is wit
Conclusie: alle zwanen zijn wit?
o Redenering in de wetenschap
o De conclusie is aannemelijk of waarschijnlijk, maar niet logisch onontkoombaar
o Hume’s redenering:
Inductie kan in principe altijd misgaan
Er is geen logische basis voor het vertrouwen in inductie
