Notes de cours
Hoorcolleges TOE 9 t/m 12: experimenteel
- Cours
- Établissement
- Book
Het experimentele deel van de hoorcolleges van Toepassen van Onderzoeksmethoden en Statistiek
[Montrer plus]
Livre connecté
Titre de l’ouvrage:
Auteur(s):
- Édition:
- ISBN:
- Édition:
Plus de résumés pour
-
Samenvatting Research Methods in Psychology – Evaluating a World of Information - Methodologie 1
-
Samenvatting inleiding methodenleer, zelf 8.5 gehaald!
-
Aantekingen KOM (alle info!): colleges, samenvatting boek, grasple opdrachten, werkgroepen
Vendeur
S'abonner
revelips
Avis reçus
Aperçu du contenu
HC9. Experimenteel onderzoek9.1 De contemporaine empirische cirkel
Een contemporaine empirisch cirkel
De structuur waar je je aan moet houden bij het doen van onderzoek.
1. Theory en onderzoeksvraag.
2. Onderzoeksontwerp.
3. Hypothese formulering en pre registratie.
4. Steekproeftrekking, randomisering en causaliteit, dataverzameling en datacontrole.
5. Nulhypothese significantie toetsing (NHST) of Bayeasiaanse hypothese evaluatie.
6. Rapportage.
7. Replicatieonderzoek.
Voorbeeldonderzoek: Mixed emotions in the face of endings
Op de dag van hun afstuderen lezen studenten aan de Stanford University oftewel “een tekst die ze eraan
herinnert dat ze een periode in hun leven gaan afsluiten (experimentele groep)” of “een tekst die ze er niet aan
herinnert dat ze een periode gaan afsluiten (controlegroep)”. Vervolgens wordt de mate waarin ze mixed
emotions hebben (zowel blij als bedroefd) gemeten’.
1 – Theory en onderzoeksvraag
Onderzoeksvraag: Hebben studenten de eraan herinnerd worden dat ze hun studententijd gaan afsluiten meer of
minder mixed emotions dan studenten die daar niet aan herinnerd worden?
2 – Onderzoeksontwerp
1. De onafhankelijke variabele is de groepsindeling. In de ene groep worden studenten niet herinnerd aan
de afluisting van de studentetijd. In de ander egroep worden studenten daar wel aan herinnerd.
2. De afhankelijke variabele is mixed emotions. Elke student rapporteert.
a. Happiness op een zeven punts schaal lopend van 1 = not at all tot 7 = extremely.
b. Sadness ook op een zeven punts schaal.
De mixed emotion score is de kleinste van beide resulterende getallen.
c. Scoor je 1 en 7 dan ben je niet blij en erg bedroefd en scoor je laag (1) op mixed emotions.
d. Scoor je 7 en 7 dan ben je heel erg blij en bedroefd en scoor je hoog (7) op mixed emotions.
3 – Hypothese formulering
H0: in de populatie is de gemiddelde score op mixed emotions van de
mensen die niet beïnvloed zijn gelijk aan de gemiddelde score op mixed
emotions van de mensen die wel beïnvloed zijn.
H1: de beiden scores zijn niet gelijk aan elkaar; het gemiddelde in de niet
groep is niet gelijk aan het gemiddelde van de wel groep.
4 – Dataverzameling
Nadat er een steekproef getroken is en mensen over de controle en experiementele condities verdeeld zijn,
moeten de gegevens verzameld worden. In onderhavige onderzoek is elke student gevraagd naar de happiness en
sadness op een 7-punts schaal lopend van not-at-all tot extremely.
5 – Hypothese evaluatie
Twee manieren van hypothese evalutie:
1. NHST: Null Hypothese Significantie
Toetsing.
2. Bayesiaanse hypothese.
NHST-toelichting
De NHST wordt getoetst aan de hand van de t-toets.
Gemiddelde score mixed emotions:
Wel groep: 3.75
Niet groep: 3.00
,Er moet een statistische toets worden uitgevoerd om de p-waarde uit te rekenen.
P-waarde: .02
o P-waarde: de kans op het verschil in gemiddelden zoals gevonden in de steekproef of een
groter verschil, onder de aanname dat H0 waar is.
o Het verschil is .02, dit is een heel klein verschil en de H0 is dus waarschijnlijk niet waar.
Cohen’s d: .45
o Cohen’s d: het gestandaardiseerde verschil tussen de gemiddelden.
Het aantal standaarddeviaties dat de twee gemiddelden van elkaar
verschillen.
o Noot: Cohen’s d kan worden berekend m.b.v. de gemiddeld voor de
wel en niet groepen en de SD (de wortel uit de mean squaded error) zoals deze door zowel
SPSS als JASP gegeven worden.
NHST type I en type II fouten
a: de kant op een type I fout a staat gebruikelijk op .05, d.w.z.; we accepteren een kans van .05 dat we
H0 ten onrechte verwerpen.
Power: de power (1 – kans op een type II fout) staat gebruikelijk op .80, d.w.z.; we willen een kans
van .80 dat we H0 terecht verwerpen. De power in beïnvloedbaar d.m.v. een poweranalyse.
NHST-poweranalyse
Bij een poweranalyse bepaal je hoe groot de steekproef moet zijn, om de H0 te verwerpen als hij niet waar is.
1. De effect sizes die meestal in gedrags-
en sociaalwetenschappelijk onderzoek
worden gevonden liggen tussen .20 en
de .50. Met a = .05 zijn er dus
minstens 64 personen per groep nodig.
2. In het mixed emotions onderzoek zijn
de steekproefgroottes (59 en 51
studenten per groep) kleiner.
NHST-rapportage
De t-test (t = -2.36, df = 108) resulteerde in een p-waarde van .02. Aangezien deze kleiner is dan .05 wordt H0
verworpen. Cohen’s d is -.45 dat is ruwweg een medium effect size waarbij de mixed emotions in de “niet”
groep lager liggen dan in de “wel” groep.
9.2 Replicatiecrisis
Replicatiecrisis
Het mixed-emotions onderzoek is gerepliceerd. Hiernaast staan de
resultaten van de originele en replicatie studie weergegeven.
Voorbeeld replicatiecrisis
Drie observaties:
1. De originele studie heeft p < .05, de replicatiestudie heeft p > .05.
2. De originele studie heeft d = .45, de replicatie studie heeft d = .01.
3. De replicatiestudie heeft met 110 studenten per groep een power groter dan .80 om een effect size dan d
= .45 te kunnen ontdekken (zie de power tabel aan het einde van het vorige college). Het resultaat van
de replicatie studie is dan ook geen type II fout.
Gebruik en misbruik van NHST
De Open Science Collaboration heeft 100 studies (waaronder randomized experiemnts) uit allerlei tijdschriften
gerepliceerd.
1. De effectgroottes (zoals Cohen’s d) waarin in de replicatiestudies maar half zo groot als in de originele
studies.
2. In bijna alle originele studies werd de H0 verworpen (een p-waarde kleiner dan .05). In slechts 1/3e van
de replicatiestudies werd de H0 verworpen.
Er werd duidelijk dat er een replicatiecrisis gaande is in de gedragswetenschappen en mogelijk ook daarbuiten.
Want wat is een onderzoeksresultaat waard als het niet herhaald kan worden?
, De replicatiecrisis leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk onderzoek vaak
niet repliceerbaar lijken. Twee van de oorzaken zijn sloppy science en publicatie bias.
Sloppy science (questionable research practices)
1. When explicity asked if they ever fabricated or falsified research data, or if they altered or modified
results to improve the outcome, between 0.3% and 4.9% of scientists replied affirmatively.
2. Other questionable practices were admitted by up to 33.7% of respondents. Consistently across studies,
scientists admitted more frequently to have “modified research results” to improve the outcome than to
have reported results the “knew to be untrue”.
3. When asked if they had personal knowledge of a colleague who fabricated or falsified research data, or
who altered or modified research data between 5.2% and 33.3% of respondents replied affirmatively.
Je kunt dit voorkomen door te pre-registreren en daar niet meer vanaf te wijken.
In de tabel hiernaast is te zien dat
het vinden van een hele lage p-
waarde veel beloningen met zich
meebrengen. Dit is dan ook een
van de redenen dat de
replicatiecrisis is ontstaan en dat
er sprake is van sloppy science en
questionable research practices.
Gelukkig is wetenschap aan het
veranderen en er worden ook
steeds vaker onderzoeken
gepresenteerd waar geen
significante variabelen in te
vinden zijn.
Publicatie bias
Publicatiebias: het publiceren van onderzoek gebaseerd op type I fouten. Deze fouten kunnen zowel het gevolg
van zijn van toeval als van sloppy science. Er wordt alleen iets gepubliceerd wanneer je er iets vindt wat
significant vindt. De a = .05 mag niet meer het criterium zijn om een onderzoek wel of niet te publiceren. Door
pre-registratie toe te passen moet het onderzoek voor de dataverzameling goed- of afgekeurd worden zodat de
publicatie niet afhankelijk is van het resultaat.
9.3 Bayesiaanse hypothese evaluatie
De Bayes factor
Gedurende de replicatiecrisis ontstond er in toenemende mate aandacht voor de Bayes factor als alternatief voor
NHST. Niet dat daarmee allee problemen worden vermeden,
maar de Bayes factor komt voort uit een ander perspectief op
statistiek en het is goed ook dat perspectief te kennen.
De tabel is hetzelfde gebleven, alleen de p-waarde is
vervangen voor de BF0a (Bayes factor).
Bayes factor:
De Bayes factor BF0a heeft de relatieve steun in de
data voor H0 versus Ha.
Als BF0a = 5 betekent dat dat de steun in de data 5x groter is voor H0 dan voor Ha.
Oftewel de BF0a = .64 betekent .64x meer steun voor H0 dan voor Ha.
De hypotheses kun je ook omdraaien BFa0 = 1/.64 = 1.50, oftewel, 1.50x meer steun voor Ha dan voor
H0.
Vuistregels Bayes factor
Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot.
Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha.
Als BF0a kleiner is dan 1, dan is de steun in de data voor H0 kleiner dan voor Ha.
De Bayes factor wordt berekend met behulp van de fit (f0) en de complexiteit
(specificiteit) (c0) van de nulhypothese: BF0a = f0/c0.
Les avantages d'acheter des résumés chez Stuvia:
Qualité garantie par les avis des clients
Les clients de Stuvia ont évalués plus de 700 000 résumés. C'est comme ça que vous savez que vous achetez les meilleurs documents.
L’achat facile et rapide
Vous pouvez payer rapidement avec iDeal, carte de crédit ou Stuvia-crédit pour les résumés. Il n'y a pas d'adhésion nécessaire.
Focus sur l’essentiel
Vos camarades écrivent eux-mêmes les notes d’étude, c’est pourquoi les documents sont toujours fiables et à jour. Cela garantit que vous arrivez rapidement au coeur du matériel.
Foire aux questions
Qu'est-ce que j'obtiens en achetant ce document ?
Vous obtenez un PDF, disponible immédiatement après votre achat. Le document acheté est accessible à tout moment, n'importe où et indéfiniment via votre profil.
Garantie de remboursement : comment ça marche ?
Notre garantie de satisfaction garantit que vous trouverez toujours un document d'étude qui vous convient. Vous remplissez un formulaire et notre équipe du service client s'occupe du reste.
Auprès de qui est-ce que j'achète ce résumé ?
Stuvia est une place de marché. Alors, vous n'achetez donc pas ce document chez nous, mais auprès du vendeur revelips. Stuvia facilite les paiements au vendeur.
Est-ce que j'aurai un abonnement?
Non, vous n'achetez ce résumé que pour €5,99. Vous n'êtes lié à rien après votre achat.
Peut-on faire confiance à Stuvia ?
4.6 étoiles sur Google & Trustpilot (+1000 avis)
78252 résumés ont été vendus ces 30 derniers jours
Fondée en 2010, la référence pour acheter des résumés depuis déjà 14 ans