Dit is een vak in de bachelor onderwijskunde gegeven. Het vak wordt gegeven door 3 proffen. De samenvatting omvat alle drie de delen: kwantitatief onderzoek, kwalitatief onderzoek en mixed methods. De samenvatting is opgesteld uit mijn lesnotities en de powerpoints.
METHODEN VAN HET GEDRAGSWETENSCHAPPELIJK
ONDERZOEK: VERDIEPING
HOORCOLLEGE 1: VALIDITEIT (KWANTITATIEF)
1. THEORIE OVER VALIDITEIT: TYPOLOGIE EN BEDREIGINGEN
Vb. slimme Hans à slim paard dat eenvoudige optelsommen kan. Bleek dat Hans gebruik maakte van
onbewuste aanwijzingen van de eigenaar en onderzoeker à mensen zijn geneigd om een kleine knik met het
hoofd te maken wanneer het paard moet beginnen tellen met zijn hoef en hun hoofd licht op te tillen wanneer
het paard moet stoppen
Validiteit: Fungst (onderzoeker) stelde de validiteit in vraag van de uitspraak dat dit specifiek paard
optelsommen kan door experimenten ermee uit te voeren
1.1 TYPOLOGIE
Validiteit (geldigheid) à de mate waarin een uitspraak/inferentie de waarheid benadert
• Het gaat over “een mate waarin”; de waarheid wordt slechts “benaderd”
• Het gaat over uitspraken/inferenties; niet over proefopzetten of methoden
• Geen enkele methode is superieur; het gaat over afwegen van verschillende types van validiteit
gekoppeld aan de context en de doelstellingen van het onderzoek
In deze theorie is validiteit gekoppeld aan Waarheid
• Correspondentie
o Bv. “het regent”
o Uitspraak is waar als de uitspraak correspondeert met de observeerbare werkelijkheid
• Coherentie
o Bv. “het roken van cannabis veroorzaakt kanker”
o Uitspraak is waar als ze past binnen een coherente of consistente verzameling van uitspraken
o Nadruk op het passen van resultaten binnen een geheel van resultaten en theorieën waarbij
gestreefd wordt naar het vermijden van contradicties
• Nuttigheid
o Bv. “elektronen bestaan”
o Uitspraak is waar als het nuttig is om de uitspraak te geloven en ernaar te handelen (als ze
een bepaalde levenswaarde heeft)
• (Sociale constructie)
o Invloed van sociale en psychologische factoren op de consensusvorming onder
wetenschappers over wat nu de waarheid is
Campbell (1957)
• Interne validiteit: “Did in fact the experimental stimulus make some significant difference in this
specific instance?”
o à Onder controle door randomisering (invloed van Fisher in de jaren ’50)
• Externe validiteit: “To what populations, settings, and variables can this effect be generalized?”
o à Niet onder controle door randomisering
1
,Campbell & Stanley (1963)
• Interne validiteit: “Did “the experimental treatments make a difference in this specific experimental
instance”?
o Gaat minder over significant, maar gewoon of er een verschil is opgetreden door de
experimentele manipulatie
• Externe validiteit: “to what populations, settings, treatment variables, and measurement variables can
this effect be generalized”?
o ≠ Ecologische validiteit
§ = Lijkt het experiment op de omstandigheden waarin de fenomenen zich normaal
voordoen
• Intern versus extern ≠ laboratorium versus veld
Cook & Campbell (1979)
• Statistische conclusie validiteit
o Verwijst naar het gepaste gebruik van statistiek om af te leiden of de onafhankelijke en
afhankelijke variabelen samenhangen
o Samenhang
• Interne validiteit
o Verwijst naar het feit of die statistische samenhang te wijten is aan een oorzaak-gevolg
verband
o Causaliteit
• Constructvaliditeit
o Verwijst naar de veralgemening van de geoperationaliseerde variabelen naar constructen
(met bijzondere nadruk op oorzaak en gevolg constructen)
o Operationalisering
• Externe validiteit
o Verwijst naar de veralgemening van steekproeven van personen, settings, en tijdstippen naar
en over populaties waarover vragen van veralgemeenbaarheid kunnen worden gesteld
o Veralgemening
Shadish, Cook, & Campbell (2002)
• Statistische conclusie validiteit
o Cook & Campbell (1979) + nadruk op effectgrootte
• Interne validiteit
o Cook & Campbell (1979)
• Constructvaliditeit
o Inferenties over hogere orde constructen op basis van operationaliseringen in de steekproef:
onderzoekseenheden, behandelingen, meetvariabelen, en settings
o à Representaties
• Externe validiteit
o Inferenties over de houdbaarheid van oorzaak-gevolg verbanden over variatie in
onderzoekseenheden, behandelingen, meetvariabelen, en settings
o à Extrapolaties
2
,1.2 BEDREIGINGEN VAN DE VALIDITEIT
= De specifieke redenen waarom we gedeeltelijk of volledig verkeerd kunnen zijn als we een inferentie maken
= Veel voorkomende alternatieve verklaringen
• = lijstjes van bedreigingen die niet exhaustief zijn maar die wel vaak voorkomen
• Overlopen voor en na onderzoek en kijken of dit niet mogelijk zou zijn
à Proberen om rekening te houden met de bedreigingen (“rule them out”) door middel van design controls
(niet zozeer statistical adjustments = post hoc à dus door de manier waarop het onderzoek ontworpen is)
à Indien niet mogelijk, dan 3 vragen:
1. Op welke manier is de bedreiging toepasselijk in dit geval?
2. Is er evidentie dat de bedreiging plausibel is (en niet enkel mogelijk)?
3. Werkt de bedreiging in dezelfde richting als het geobserveerde effect zodat het een gedeeltelijke of
volledige verklaring van het geobserveerde effect kan bieden?
à De bedreiging “meten”
1.2.1 STATISTISCHE CONCLUSIE VALIDITEIT
1. Covariëren de veronderstelde oorzaak en effect?
2. Hoe sterk is deze covariatie?
Als er bedreigingen zijn voor de covariatie, dan kom je terecht bij hypothesetoetsing en kan je fouten maken
1. Type I en type II fouten
a. Type I: Het effect bestaat niet en je vindt het wel
b. Type II: Het effect bestaat wel en je vindt het niet
2. Onder- of overschatting van het effect + onder- of overschatting van de onzekerheid
RAPPORTERING VAN STATISTISCHE RESULTATEN
1. NHST: Null Hypothesis Significance Testing
a. Cohen (1994): “I resisted the temptation to call it Statistical Hypothesis Inference Testing”)
b. à Misverstanden:
i. P-waarde mag je niet interpreteren als de kans dat de nulhypothese waar is/de kans
dat het experiment kan worden gerepliceerd
ii. P-waarde geeft geen informatie over de grootte van het effect
2. Schattingen van de effect grootte + 95% betrouwbaarheidsinterval
3
, BEDREIGINGEN
Bedreiging Uitleg
1. Laag statistisch onderscheidingsvermogen (power) Kans om een effect te detecteren
à als de kans klein is dan is het
verloren moeite om onderzoek
uit te voeren (grote aantalen zijn
van belang)
2. Schendingen van de veronderstellingen van statistische procedures Als veronderstellingen weinig
plausibel zijn
3. Meervoudig toetsingsprobleem (fishing, p-hacking) Als je meerdere toetsen doen
heb je meer kans op ten minste 1
type I fout
4. Onbetrouwbaarheid in de metingen Zorgt voor lage statistische
conclusie validiteit
5. Beperking van het bereik (restriction of range) Covariatie kan minder groot
worden als de variatie beperkt is
6. Onbetrouwbaarheid in de experimentele manipulatie Kan je geen covariatie vaststellen
7. Ruis in de experimentele setting
8. Heterogeniteit bij de onderzoekseenheden/deelnemers Zorgt ervoor dat kleine effecten
niet gedetecteerd worden
9. Over-of onderschatting van de effectgrootte (biased estimation)
HET AANVAARDEN VAN DE NULHYPOTHESE?
à We kunnen de nulhypothese niet bewijzen als je zo’n significantietoets uitvoert
Problematisch: sommige theorieën hebben als implicatie dat een bepaald effect niet mag optreden. Hoe kan je
aantonen dat een bepaald effect er niet is (0 is)?
à Voorgestelde aanpak
1. Onderscheidingsvermogen zo hoog mogelijk maken
a. Als je een grote kans hebt om de nulhypothese te verwerpen als ze vals is, dus als er echt een
effect is dan ga je het wel detecteren als je een zeer grote steekproef hebt. Als je in dat geval
de nulhypothese toch niet kan verwerpen dan heb je wel wat aanwijzing dat misschien de
nulhypothese wel waar is
2. Definiëren van het kleinste effect dat de moeite waard is
a. Als je dan de nulhypothese niet verwerpt dan kan je zeggen: het is misschien niet 0, maar het
is zeer klein. Het is niet de moeite waard om het te vermelden of in de theorie op te nemen
3. Equivalentietoets (of Bayesiaanse analyse)
a. Is een nieuwe methode gelijk aan de oude methode?
4. Quasi-experimentele analyses
a. Als je geen statistisch significant effect vindt, dan ga je proberen om in bepaalde subgroepen
toch effecten te vinden.
b. Als je dan effecten vindt, kan je er eigenlijk weinig over zeggen.
c. Vooral belangrijk/interessant als je geen effecten blijft vinden à dan kan je zeggen dat je wel
heel dicht bij zo’n nulresultaat komt want zelfs als je heel hard zoekt, vind je niets
d. Caution is required in interpreting such results because of the risk of capitalizing on chance
and because individuals will often have self-selected themselves into treatments
differentially. Nonetheless, if sophisticated quasi-experimental analyses fail to show
4
Les avantages d'acheter des résumés chez Stuvia:
Qualité garantie par les avis des clients
Les clients de Stuvia ont évalués plus de 700 000 résumés. C'est comme ça que vous savez que vous achetez les meilleurs documents.
L’achat facile et rapide
Vous pouvez payer rapidement avec iDeal, carte de crédit ou Stuvia-crédit pour les résumés. Il n'y a pas d'adhésion nécessaire.
Focus sur l’essentiel
Vos camarades écrivent eux-mêmes les notes d’étude, c’est pourquoi les documents sont toujours fiables et à jour. Cela garantit que vous arrivez rapidement au coeur du matériel.
Foire aux questions
Qu'est-ce que j'obtiens en achetant ce document ?
Vous obtenez un PDF, disponible immédiatement après votre achat. Le document acheté est accessible à tout moment, n'importe où et indéfiniment via votre profil.
Garantie de remboursement : comment ça marche ?
Notre garantie de satisfaction garantit que vous trouverez toujours un document d'étude qui vous convient. Vous remplissez un formulaire et notre équipe du service client s'occupe du reste.
Auprès de qui est-ce que j'achète ce résumé ?
Stuvia est une place de marché. Alors, vous n'achetez donc pas ce document chez nous, mais auprès du vendeur michelletrybou. Stuvia facilite les paiements au vendeur.
Est-ce que j'aurai un abonnement?
Non, vous n'achetez ce résumé que pour €7,49. Vous n'êtes lié à rien après votre achat.
