PaW samenvatting ✓
Tentamenstof
● De te bestuderen hoofdstukken uit het boek Science Fictions (alle hoofdstukken
behalve h.3 en de epiloog). Zie het ‘Programma PaW 2023/2024’; ✓
● Extra op Blackboard geplaatste verplichte literatuur (zie Blackboard), zoals de tekst
over wetenschapsfilosofie en de slides ter voorbereiding op HC04 (zie Literatuur); ✓
● Alle collegestof; ✓
● De opgaven testtheorie met uitwerkingen (zie Blackboard); ✓
● Het Testtheorie Practicum en de toelichtingen in het practicum; ✓
● De leerstof die is behandeld in de werkgroepen, zoals ook de COTAN-Reader. ✓
Science fictions ✓
NOTE: excuses voor grote stukken tekst. Dit boek gaat soms echt lang door over één
onderwerp.
Preface ✓
Wil een wetenschappelijke bevinding de moeite waard zijn om serieus te nemen, dan mag
het niet iets zijn dat is gebeurd door willekeurig toeval of een storing in de apparatuur, of
omdat de wetenschapper vals speelde of deed alsof. In veel opzichten is replicatie de essentie
van wetenschap, en iets dat haar onderscheidt van andere manieren om kennis over de
wereld te krijgen: als het zich niet repliceert, is het moeilijk om wat je hebt gedaan überhaupt
als wetenschappelijk te beschrijven.
Wat zorgwekkend was, was niet dat de experimenten van Bem ('studenten hebben
paranormale krachten') onbetrouwbaar waren of dat die van Stapel ('meer vooroordelen in
rommeligere/viezere omgevingen') een verzinsel van zijn verbeelding waren: sommige
misstappen en valse resultaten zullen altijd met zich meebrengen. ons (en helaas ook
fraudeurs). Wat echt problematisch was, was de manier waarop de wetenschappelijke
gemeenschap met beide situaties was omgegaan. Onze poging tot replicatie van Bems
experiment werd zonder pardon afgewezen door het tijdschrift dat het origineel publiceerde;
in het geval van Stapel had bijna niemand ooit geprobeerd zijn bevindingen te repliceren.
Met andere woorden: de gemeenschap had aangetoond dat zij er genoegen mee nam de
dramatische beweringen in deze onderzoeken voor waar aan te nemen, zonder na te gaan
hoe duurzaam de resultaten werkelijk waren.
Je zorgen maken over de vraag of de resultaten zich zullen repliceren of niet, is niet
optioneel. Het is de fundamentele geest van de wetenschap; een geest die tot uiting zou
moeten komen in het systeem van peer review en tijdschrift publicatie, dat fungeert als een
bolwerk tegen valse bevindingen, foutieve experimenten en onbetrouwbare gegevens. Zoals
dit boek echter zal laten zien, is dat systeem ernstig kapot. Belangrijke kennis, ontdekt door
wetenschappers maar niet interessant genoeg geacht om te publiceren, wordt gewijzigd of
verborgen, waardoor de wetenschappelijke gegevens worden vervormd en onze
geneeskunde, technologie, onderwijsinterventies en overheidsbeleid worden beschadigd.
Enorme middelen, die in de wetenschap worden gestoken in de verwachting dat er iets
nuttigs uit voortkomt, worden verspild aan onderzoek dat volkomen weinig informatief is.
,Volledig vermijdbare fouten en vergissingen komen routinematig voorbij de Maginotlinie
van peer review. Boeken, mediaberichten en onze hoofden worden gevuld met 'feiten' die
onjuist, overdreven of drastisch misleidend zijn. En in de ergste gevallen, vooral als het om
de medische wetenschap gaat, sterven er mensen.
1. How science works ✓
Wetenschap is een sociale constructie. Het is de beste methode die we hebben om uit te
zoeken hoe het universum werkt en om het naar onze hand te zetten. Met andere woorden:
het is onze beste manier om richting de waarheid te komen. Natuurlijk zullen we daar
misschien nooit helemaal komen; een blik op de geschiedenis laat zien hoe hoogmoedig het
is om feiten als absoluut of onveranderlijk te claimen.
Met wetenschappelijke methoden alleen kunnen we echter geen vooruitgang boeken. Het is
niet genoeg om een enkele observatie in uw laboratorium te doen; je moet ook andere
wetenschappers ervan overtuigen dat je iets echts hebt ontdekt. Dit is waar het sociale deel
om de hoek komt kijken. Elke bewering over de wereld kan alleen als wetenschappelijke
kennis worden omschreven nadat deze een gemeenschappelijk proces heeft doorlopen, dat is
ontworpen om fouten en gebreken uit te filteren en andere wetenschappers de kans te geven
te zeggen of zij een nieuwe bevinding beoordelen. betrouwbaar, robuust en belangrijk zijn.
En dus werken wetenschappers samen in teams, reizen ze de wereld rond om lezingen en
toespraken op conferenties te houden, debatteren ze met elkaar in seminars, vormen
wetenschappelijke verenigingen om onderzoek te delen en, misschien wel het
allerbelangrijkste, publiceren ze hun resultaten in peer-reviewed tijdschriften. Deze sociale
aspecten vormen het proces van wetenschap in actie: een voortdurende mars van collectief
onderzoek, ondervraging, herziening, verfijning en consensus. Hoewel het op het eerste
gezicht misschien paradoxaal klinkt, is het het subjectieve proces van de wetenschap dat haar
haar ongeëvenaarde mate van objectiviteit verschaft.
De wetenschappelijke sociale natuur kent echter ook zwakke punten. Omdat wetenschappers
zich zo sterk richten op het overtuigen van hun collega's, is het maar al te gemakkelijk voor
hen om het echte doel van de wetenschap te negeren: ons dichter bij de waarheid brengen.
En omdat wetenschappers mensen zijn, zijn de manieren waarop ze elkaar proberen te
overtuigen niet altijd volledig rationeel en objectief. De afgelopen jaren is het steeds
pijnlijker duidelijk geworden dat peer review verre van de garantie is voor de
nauwkeurigheid en betrouwbaarheid die het zou moeten zijn.
Stel je voor dat je wat wetenschap wilt doen. De eerste stap is het lezen van de
wetenschappelijke literatuur. Deze bestaat uit een enorme bibliotheek met tijdschriften, de
gespecialiseerde tijdschriften die de belangrijkste afzetmarkt zijn voor nieuwe
wetenschappelijke kennis. Dit idee van het delen van kennis dateert uit 1665, toen het eerste
nummer van 'Philosophical Transactions: Giving Some Accompt of the Present
Undertakings, Studies and Labors of the Ingenious in Many aanzienlijke delen van de
wereld' werd gepubliceerd. Voordien werkten wetenschappers alleen, publiceerden op
zichzelf staande boeken of vormden brieven kringen met gelijkgestemde collega's. Dat
tijdschrift bestaat nog steeds, met de nieuwe titel 'Philosophical Transactions of the Royal
Society'. Naarmate de tijd verstreek, werden de korte nieuwe items vervangen door langere
artikelen met gedetailleerde beschrijvingen van experimenten en onderzoeken. Het maakt nu
deel uit van een mondiaal exosysteem van meer dan 30.000 tijdschriften.
,Nadat u de tijdschriften heeft gelezen die relevant zijn voor uw vakgebied, kunt u zich op een
onderzoeksvraag richten. Voordat u eraan kunt gaan werken, heeft u normaal gesproken
echter wat geld nodig om het onderzoek te financieren. Tenzij je bijvoorbeeld een
farmaceutisch bedrijf bent dat het zich kan veroorloven zijn eigen laboratoria te runnen, is
de belangrijkste manier om die allerbelangrijkste financiering te krijgen het aanvragen van
een subsidie. Dit kan afkomstig zijn van uw overheid, een bedrijf, een schenking fonds, een
non-profitorganisatie, een liefdadigheidsinstelling of zelfs een rijk individu. Financiering is
geenszins verzekerd en elke wetenschapper zal je vertellen dat het verkrijgen van
financiering een van de meest slopende onderdelen van het werk is, waarbij mislukkingen
vaak voorkomen.
Stel je voor dat je erin slaagt een subsidie binnen te halen. Vervolgens kunt u aan de slag en
gegevens verzamelen. Zodra de gegevens binnen zijn, beschikt u normaal gesproken over een
reeks cijfers die u, of een meer wiskundig ingestelde collega, kunt analyseren met behulp van
een aantal verschillende statistieken. Dan moet je het allemaal opschrijven in de vorm van
een wetenschappelijk artikel. Het typische papier bestaat uit de volgende onderdelen:
● Abstract, waarbij u een korte verklaring geeft, meestal +/- 150 woorden, die het hele
onderzoek en de resultaten ervan samenvat
● Inleiding, waarin je samenvat wat er over het onderwerp bekend is en wat jouw
studie toevoegt
● Methode sectie, waarin je precies beschrijft wat je hebt gedaan, in voldoende detail
zodat iedereen, in theorie, precies hetzelfde experiment opnieuw kan uitvoeren
● Resultatensectie, waar u de cijfers, tabellen, grafieken en statistische analyses
presenteert die uw bevindingen documenteren
● Discussiesectie, waar je wilder speculeert, ik bedoel, zorg voor een doordachte,
geïnformeerde overweging over wat het allemaal betekent
Als het artikel klaar is, betreed je de wereld van wetenschappelijke tijdschriften en de
competitie om publicatie. Tot voor kort betekende het indienen van een artikel bij een
tijdschrift het afdrukken van een aantal papieren exemplaren en het opsturen ervan naar de
redactie, maar tegenwoordig wordt alles online afgehandeld. De redacteur van het tijdschrift,
vaak een senior academicus, zal het artikel lezen (of, laten we eerlijk zijn, waarschijnlijk
alleen de samenvatting) en beslissen of het de moeite waard is om te publiceren. De meeste
tijdschriften, vooral de zeer prestigieuze, zijn trots op hun exclusiviteit en dus op hun lage
acceptatiegraad, dus de meerderheid van de artikelen zal op dit punt teruggestuurd worden
naar de auteurs, in wat een 'bureau afwijzing' wordt genoemd. Dit is de eerste stap in de
kwaliteitscontrole: een sortering door de redacteur van de artikelen in artikelen die passen
bij het thema van het tijdschrift en potentieel hebben in termen van hun wetenschappelijk
belang of kwaliteit, en artikelen die geen tweede blik waard zijn.
Voor het deel van de artikelen dat de redactie wel aanspreekt, komt nu het moment van peer
review. De redacteur zoekt twee tot drie wetenschappers die experts zijn op jouw vakgebied
en vraagt hen of ze jouw manuscript willen beoordelen. Ze zullen waarschijnlijk weigeren
omdat ze het te druk hebben, dus de redacteur zal de lijst met mogelijke recensenten blijven
doorlopen totdat enkelen het ermee eens zijn. Peer reviewers zijn meestal anoniem, wat
zowel een zegen als een vloek is: een zegen omdat het hen in staat stelt hun mening te uiten
zonder zich zorgen te hoeven maken over de gevolgen van de wetenschappers wier werk ze
bekritiseren, maar een vloek omdat het hen, nou ja, het mogelijk maakt om hun mening
kunnen uiten zonder zich zorgen te hoeven maken over de gevolgen van de wetenschappers
wier werk ze bekritiseren, waardoor ze erg hardvochtig kunnen zijn.
, Als de beoordelingen van de reviewers negatief zijn, zal de redacteur uw artikel
waarschijnlijk afwijzen. Op dat moment wilt u misschien het hele proces opgeven of opnieuw
beginnen door het in te dienen bij een ander tijdschrift en als dat niet lukt, een ander
tijdschrift, enzovoort.
Als de reviewers meer onder de indruk zijn, krijgt u misschien de kans om uw artikel te
herzien om op hun kritiek te reageren en het opnieuw aan de redacteur voor te leggen. Het
heen en weer revisieproces kan meerdere rondes doorlopen en duurt vaak maanden. Als de
reviewers uiteindelijk tevreden zijn, geeft de redacteur groen licht en wordt het artikel
gepubliceerd.
Er is geen wet die vereist dat iedereen eerlijk en rationeel handelt bij het evalueren van
wetenschap, dus wat nodig is is een gedeelde ethos, een reeks waarden die het gedrag van de
wetenschappers op één lijn brengen. De bekendste poging om deze ongeschreven regels op te
schrijven is die van Robert Merton. In 1942 formuleerde Merton vier wetenschappelijke
waarden, nu bekend als de ‘Mertoniaanse normen’:
● Universalisme: wetenschappelijke kennis is wetenschappelijke kennis, ongeacht wie
deze bedenkt, zolang hun methoden om die kennis te vinden maar deugdelijk zijn.
● Onbaatzuchtigheid (disinterestedness): wetenschappers doen het niet voor het geld,
om politieke of ideologische redenen of om hun eigen ego of reputatie te vergroten.
Ze willen ons begrip van het universum vergroten door dingen te ontdekken en
dingen te maken.
● Gemeenschappelijkheid (communality): wetenschappers moeten kennis met elkaar
delen.
● Georganiseerd scepticisme: niets is heilig en een wetenschappelijke claim mag nooit
zomaar worden aanvaard. We moeten ons oordeel over een bepaalde bevinding
opschorten totdat we alle gegevens en methodologie goed hebben gecontroleerd.
Wetenschap moet zichzelf corrigeren. Uiteindelijk, ook al duurt het vele jaren of tientallen
jaren, worden oudere, onjuiste ideeën tenietgedaan door data (of soms doordat al hun
koppige voorstanders sterven en de wetenschap aan de volgende generatie overlaten).
Nogmaals, dat is de theorie. In de praktijk sluit het publicatiesysteem dat eerder in dit
hoofdstuk is beschreven echter op onhandige wijze aan bij de Mertoniaanse normen,
waardoor het proces van zelfcorrectie in veel opzichten wordt belemmerd.
Het heeft weinig zin om te proberen onze wetenschappelijke theorieën te corrigeren en bij te
werken met gegevens als de gegevens zelf niet overtuigend zijn, of erger nog, niet eens
accuraat zijn. Dit brengt ons terug bij het idee dat we in het voorwoord bespraken: resultaten
kunnen ons vertrouwen alleen garanderen als ze repliceerbaar zijn.
Replicatie is lange tijd een belangrijk onderdeel geweest van de manier waarop wetenschap
zou moeten werken - en overigens is het ook een van de sociale aspecten ervan, waarbij
resultaten pas serieus worden genomen nadat ze door meerdere waarnemers zijn bevestigd.
Maar ergens onderweg vergaten wetenschappers het belang van replicatie. In de botsing van
onze Mertoniaanse idealen met de realiteit van het wetenschappelijke publicatiesysteem –
om nog maar te zwijgen van de realiteit van de menselijke natuur – zijn de idealen des te
kwetsbaarder gebleken, waardoor we achterblijven met een wetenschappelijke literatuur vol
onbetrouwbare, onbetrouwbare, niet-repliceerbare onderzoeken die dat vaak ook doen. meer
om te verwarren dan om te verlichten.
