Geslaagd in 1e zit, uitsluitend deze samenvatting gebruikt!! Samenvatting methoden van het gedragswetenschappelijk onderzoek: verdieping, 2e jaar onderwijskunde, docent: Patrick Onghena, Benedikte Custers en Agnes Moors
METHODEN VAN GEDRAGSWETENSCHAPPELIJK
ONDERZOEK: VERDIEPING
DEEL 1: KWANTITATIEF ONDERZOEK
VALIDITEIT – TYPOLOGIE EN BEDREIGINGEN
VALIDITEIT
Paard Clever Hans kan wiskundige problemen oplossen MAAR validiteit in vraag stellen
Validiteit (geldigheid) = de mate waarin een uitspraak / inferentie de waarheid benadert
o Het gaat over “een mate waarin” ; de waarheid wordt slechts benaderd
o Het gaat over uitspreken / inferenties ; niet over proefopzettingen of methoden
o Geen enkele methode is superieur ; het gaat over afwegen van verschillende types van validiteit
gekoppeld aan de context en de doelstellingen van het onderzoek
Gekoppeld aan waarheid
o Correspondentie theorie: bewering is waar als deze overeenkomt met de wereld
o Coherentietheorie: bewering is waar als deze behoort tot een samenhangende reeks beweringen
o Pragmatisme: bewering is waar als het nuttig is om die bewering te geloven
= de specifieke redenen waarom we gedeeltelijk of volledig verkeerd kunnen zijn als we een inferentie maken
= veel voorkomende alternatieve verklaringen
Proberen om rekening te houden met de bedreigingen (“rule them out”)
Door middel van design controls (niet zozeer statistical adjustments = post hoc)
Niet mogelijk? 3 vragen
1. Op welke manier is de bedreiging toepasselijk in dit geval?
2. Is er evidentie dat de bedreiging plausibel is (en niet enkel mogelijk)?
3. Werkt de bedreiging in dezelfde richting als het geobserveerde effect
zodat het een gedeeltelijke of volledige verklaring van het geobserveerde effect kan bieden?
De bedreiging “meten”
1
,EEN VALIDITEITSTYPOLOGIE
CAMPBELL
Interne validiteit: “did the experimental stimulus make some significant difference in this specific instance?“
Onder controle door randomisering
Externe validiteit: “to what populations, settings, and variables can this effect be generalized?”
Niet onder controle door randomisering
CAMPBELL & STANLEY
Interne validiteit: “did the experimental treatments make a difference in this specific experimental instance“?
Externe validiteit: : “to what populations, settings, treatment variables, and measurement variables can this
effect be generalized“? (≠ ecologische validiteit)
Intern vs extern ≠ laboratorium vs veld
COOK & CAMPBELL
Statistische conclusie validiteit: is er een statistische samenhang tussen de onafh en afh variabelen?
Interne validiteit: is die statistische samenhang te wijten aan een oorzaak-gevolg verband?
Constructvaliditeit: veralgemening vd geoperationaliseerde variabelen naar constructen
(met bijzondere nadruk op oorzaak en gevolg constructen)
Externe validiteit: veralgemening van steekproeven van personen, settings, en tijdstippen naar en over
populaties waarover vragen van veralgemeenbaarheid kunnen worden gesteld
SHADISH, COOK & CAMPBELL
Statistische conclusie validiteit: is er een statistische samenhang tussen de onafh en afh variabelen? Hoe groot?
Interne validiteit: is die statistische samenhang te wijten aan een oorzaak-gevolg verband?
Constructvaliditeit: inferenties over hogere orde constructen obv operationaliseringen in de steekproef:
onderzoekseenheden, behandelingen, meetvariabelen, en settings (representaties)
Externe validiteit: inferenties over de houdbaarheid van oorzaak-gevolg verbanden over variatie in
onderzoekseenheden, behandelingen, meetvariabelen, en settings (exploraties)
2
,STATISTISCHE CONSLUSIE VALIDITEIT
= covariëren de veronderstelde oorzaak en effect?
hoe sterk is deze covariatie?
Type 1 fout: er bestaat geen effect, maar je vindt het wel
Type 2 fout: er bestaat een effect, maar je vindt het niet
Onder- of overschatting van het effect
Onder- of overschatting van de onzekerheid
Rapportering van statistische resultaten
o NHST: Null Hypothesis Significance Testing
Significant? P < 0,05
Misverstanden ; P-waarde die je bekomt mag je niet begrijpen als…
- De kans dat de nulhypothese waar is / experiment kan worden gerepliceerd
- Info over de grootte van het effect
o Schattingen vd effectgrootte + 95% BI (betrouwbaarheidsinterval)
BEDREIGINGEN
1. Laag statistisch onderscheidingsvermogen (power)
2. Schendingen van de veronderstellingen van statistische procedures
3. Meervoudig toetsingsprobleem (fishing, p-hacking)
4. Onbetrouwbaarheid in de metingen
5. Beperking van het bereik (restriction of range)
6. Onbetrouwbaarheid in de experimentele manipulatie
7. Ruis in de experimentele setting
8. Heterogeniteit bij de onderzoekseenheden / deelnemers
9. Over- of onderschatting van de effectgrootte (biased estimation)
Het aanvaarden van de nulhypothese?
We kunnen de nulhypothese niet bewijzen
voorgestelde aanpak
1. Onderscheidingsvermogen zo hoog mogelijk maken
2. Definiëren van het kleinste effect dat de moeite waard is
3. Equivalentietoets (of Bayesiaanse analyse)
4. Quasi-experimentele analyses
3
, INTERNE VALIDITEIT
= geldigheid van inferenties over het causaal verband tussen X en Y obv geobserveerde covariatie tussen X en Y
(op de manier waarop ze gemanipuleerd of gemeten zijn)
Voorwaarden
1. X gaat vooraf aan Y (Y gaat niet vooraf aan X)
2. X covarieert met Y (statistische conclusie validiteit)
3. Er zijn geen andere plausibele verklaringen voor de covariatie
BEDREIGINGEN
1. Ambigue tijdsvolgorde
2. Differentiële groepssamenstelling (selection)
3. Buitenexperimentele gebeurtenissen (history)
4. Spontane veranderingen (maturation)
5. Regressie naar het gemiddelde
6. Differentiële uitval (attrition / experimental mortality)
7. Herhaald testen (testing)
8. Instrumentatie
9. Additieve en interactieve effecten van de bedreigingen
4
Les avantages d'acheter des résumés chez Stuvia:
Qualité garantie par les avis des clients
Les clients de Stuvia ont évalués plus de 700 000 résumés. C'est comme ça que vous savez que vous achetez les meilleurs documents.
L’achat facile et rapide
Vous pouvez payer rapidement avec iDeal, carte de crédit ou Stuvia-crédit pour les résumés. Il n'y a pas d'adhésion nécessaire.
Focus sur l’essentiel
Vos camarades écrivent eux-mêmes les notes d’étude, c’est pourquoi les documents sont toujours fiables et à jour. Cela garantit que vous arrivez rapidement au coeur du matériel.
Foire aux questions
Qu'est-ce que j'obtiens en achetant ce document ?
Vous obtenez un PDF, disponible immédiatement après votre achat. Le document acheté est accessible à tout moment, n'importe où et indéfiniment via votre profil.
Garantie de remboursement : comment ça marche ?
Notre garantie de satisfaction garantit que vous trouverez toujours un document d'étude qui vous convient. Vous remplissez un formulaire et notre équipe du service client s'occupe du reste.
Auprès de qui est-ce que j'achète ce résumé ?
Stuvia est une place de marché. Alors, vous n'achetez donc pas ce document chez nous, mais auprès du vendeur Juttavc. Stuvia facilite les paiements au vendeur.
Est-ce que j'aurai un abonnement?
Non, vous n'achetez ce résumé que pour €9,99. Vous n'êtes lié à rien après votre achat.
