BOS Samenvatting Experimenteel Onderzoek HC + Grasple - Huyen Chau Nguyen
HC 1 EXPERIMENTEEL ONDERZOEK
In correlationele deel: samenhang van variabelen hangt niet samen (≠) met causaliteit
- Maar… vaak zijn onderzoekers wel geïnteresseerd in causale verbanden:
- Begrijpen hoe de (sociale) werkelijkheid in elkaar zit
Bijv: effect van motivatie op leerprestaties, effect van sociaal economische status op toegang tot gezondheidszorg
- Beϊnvloeden van de werkelijkheid
Bijv: effect van inquiry-based learning op studiemotivatie van universitaire studenten, effectiviteit van interventie
voor het verbeteren van gezondheidsvaardigheden bij bewoners van Overvecht
Voorwaarden causaliteit
- Covariance: er moet een relatie zijn tussen de oorzaak en het gevolg (er moet samenhang zijn)
- Temporal precedence: de oorzaak moet in de tijd voorafgaan aan het gevolg
- Internal validity: alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
Causaliteit
- Beste manier om te kunnen voldoen aan de drie voorwaarden (vooral internal validity) is middels een
gerandomiseerd experiment: onderzoeksopzet waarbij
- door randomisatie de groepen worden ingedeeld (hierdoor hebben we de grootste kans dat groepen vergelijkbaar zijn)
- de onderzoeker één variabele manipuleert/beïnvloed (varieert)
- de onderzoeker het effect daarvan op een andere variabele meet
Doel van randomisatie (=willekeurige toewijzing)
- Door gebruik te maken van randomisatie hebben we de grootste kans dat in de groepen de gemiddelde
scores en spreiding in scores op alle variabelen, zowel gemeten als ongemeten, bij aanvang vergelijkbaar zijn
- Door willekeurige toewijzing/toeval ipv argumenten komen mensen in twee verschillende groepen
Elementen onderzoeksvraag van een experimenteel onderzoek: PICO
- Population: de groep mensen die de onderzoeker wil onderzoeken
- Intervention: de variabele die je manipuleert (onafhankelijke variabele)
- Comparison: de niveaus van de gemanipuleerde variabele (= de groepen die vergeleken worden)
- Outcome: gemeten variabele (afhankelijke variabele)
Voorbeeld: Is er effect van een specifieke rekeninstructie in vergelijking met een controlegroep op de
rekenprestaties van kinderen met rekenproblemen?
- Onderzoekers willen weten of de kinderen in de directe instructiegroep (experimentele groep) een hogere
gemiddelde rekenscore hebben dan kinderen in de controlegroep (groep zonder specifieke instructie)
- Afhankelijke variabele is de gemeten variabele (uitkomstvariabele) → Rekenprestaties
- Onafhankelijke variabele is de gemanipuleerde variabele → Instructie (Directe instructie of controle)
Stap 1 Toetskeuze, hypothesen en
- Om een verschil tussen een experimentele en controlegroep te analyseren, gebruiken we de t-toets voor
onafhankelijke groepen
- Hypothesen → uitspraak doen over de populatie, dus gebruik letter (= gemiddelde in de populatie)
H0: DI = C of H0: DI – C = 0
H1: DI > C of H1: DI – C > 0
- =.05
Stap 3: toetsingsgrootheid en p‐waarde
Beschrijvende statistieken
- Groepsgemiddelden (mean) opzoeken → In de steekproef hebben de kinderen in de Directe Instructie
groep een hoger gemiddelde dan de kinderen in de Controlegroep
- Eénzijdige toets, dus we moeten hier de richting controleren → deze is positief, er is een verschil in gemiddelde
,BOS Samenvatting Experimenteel Onderzoek HC + Grasple - Huyen Chau Nguyen
Steekproevenverdeling van t
- Ook bij t hebben we verschillende steekproevenverdelingen
- Worden bepaald door het aantal vrijheidsgraden (degrees of freedom/df)
- Bij de t –toets voor onafhankelijke groepen df = n 1-1 + n2-1
- Hoe groter steekproeven (n), hoe groter df, hoe minder spreiding/variatie in de steekproevenverdeling
Toetsingsgrootheid t
- Bij de t-toets is de toetsingsgrootheid de t-waarde
- Standard error = standaardfout = spreiding in de steekproevenverdeling
- Wanneer we waarden van t vinden dicht bij 0, vinden we H0 het meest waarschijnlijk
- Wanneer we waarden van t vinden ver weg van 0, vinden we H 1 het meest waarschijnlijk
- Om te bepalen wat ‘dicht bij 0’ en ‘ver weg van 0’ is, gebruiken we weer de p -waarde en het significantieniveau
Stap 4: conclusie trekken over H 0
P waarde kleiner dan alfa = alternatieve hypothese kiezen, h0 verwerpen
P waarde groter dan alfa = nulhypothese kiezen, h0 niet verwerpen
In dit geval wordt de H 0 verworpen, want de p-waarde is 0.006 en dus kleiner dan alfa/0.5
Stap 5: Inhoudelijke conclusie en effectgrootte bepalen
- Vraag: Hebben kinderen in de directe instructiegroep een hogere gemiddelde rekenscore dan kinderen in
de controlegroep?
- Antwoord: Ja, kinderen in de directe instructiegroep hebben een significant hogere gemiddelde rekenscore
dan kinderen in de controlegroep > kan een type I fout zijn
Betekenis H0 verwerpen
- H0 verwerpen betekent dat we de alternatieve hypothese het meest waarschijnlijk vinden
- We hebben vertrouwen in onze NHST toetsprocedure, maar het kan wel dat we een fout hebben gemaakt
Fouten
- Type I fout; : Nulhypothese verwerpen, terwijl we dat niet zouden moeten doen
- Type II fout; : Nulhypothese niet verwerpen, terwijl we dat eigenlijk hadden moeten doen
Type I fout
- Onderzoekers kunnen niet voorkomen dat er kans is dat zij deze fout maken
- Wel kunnen zij vooraf bepalen hoe groot de kans op deze fout mag zijn
- De kans op een Type I fout is gelijk aan het significantieniveau
, BOS Samenvatting Experimenteel Onderzoek HC + Grasple - Huyen Chau Nguyen
Keuze voor
- Keuze voor 𝛼 hangt af van de situatie. Meestal kies je een kleine als de gevolgen van grote invloed is.
- Stel twee onderzoekers evalueren de effectiviteit van een behandeling van depressie:
- Mindfulness-training: relatief goedkope training, geen nadelige bijwerkingen → kiezen voor hoge alfa
- Lithium: relatief duur medicijn, risico op ernstige bijwerkingen → kiezen voor lage alfa
- Type I fout: als we zeggen dat de training werkt, terwijl dat niet zo is/Als we denken dat het medicijn werkt, maar het
eigenlijk niet werkt. Dit geeft ernstige gevolgen.
Type II fout
- Onderzoekers rapporteren meestal niet over de kans op een Type II fout, maar over de kans op het nemen
van de juiste beslissing
Power
- Power: er is een verschil tussen de groepen (H 1 is waar); hoeveel kans hebben we om het te vinden op
basis van steekproefgegevens en statistische toets
- Power is de kans om H0 te verwerpen wanneer de alternatieve hypothese waar is
- Onderzoekers willen graag een hoge power zodat, als er in werkelijkheid een verschil is, ze dat verschil ook
vinden. Onderzoekers streven vaak naar een power van 0.80
- Factoren die van invloed zijn op de power: grootte van het verschil, grootte van de steekproef, spreiding
van scores, significantieniveau
Factor power: Grootte van het verschil
→ Hoe groter het verschil tussen de groepen, hoe hoger de power
- Groot verschil in populatie geeft een groot verschil in steekproefpopulatie
- Hoe groter het verschil in de populatie, hoe groter de kans dat H 0 terecht wordt verworpen
Factor power: Grootte van de steekproef
→ Hoe groter de steekproef (𝑛), hoe hoger de power
- Bij een grotere steekproef is er minder variatie tussen steekproeven
- Bij een grote steekproef hoeven we minder rekening te houden met variatie tussen steekproeven
- We kunnen dus eerder concluderen dat een verschil of samenhang in de steekproef, ook daadwerkelijk in
de populatie te vinden is
Factor power: Spreiding van scores
→ hoe kleiner de spreiding, hoe hoger de power
- Bij een grotere spreiding is er meer variatie tussen steekproeven
- Bij een kleine spreiding hoeven we minder rekening te houden met variatie tussen steekproeven
- We kunnen dus eerder concluderen dat een verschil of samenhang in de steekproef, ook daadwerkelijk in
de populatie te vinden is
Factor power: Significantieniveau
→ hoe groter , hoe hoger de power
- Bij aanvang van onderzoek, kiezen onderzoekers een waarde voor 𝛼 (meestal .05)
- Bij een minder streng significantieniveau wordt H 0 eerder verworpen
- Bij een grotere , ook grotere kans op Type I fout. Je moet een balans zoeken tussen kleine 𝛼 en grote power
HC 1 EXPERIMENTEEL ONDERZOEK
In correlationele deel: samenhang van variabelen hangt niet samen (≠) met causaliteit
- Maar… vaak zijn onderzoekers wel geïnteresseerd in causale verbanden:
- Begrijpen hoe de (sociale) werkelijkheid in elkaar zit
Bijv: effect van motivatie op leerprestaties, effect van sociaal economische status op toegang tot gezondheidszorg
- Beϊnvloeden van de werkelijkheid
Bijv: effect van inquiry-based learning op studiemotivatie van universitaire studenten, effectiviteit van interventie
voor het verbeteren van gezondheidsvaardigheden bij bewoners van Overvecht
Voorwaarden causaliteit
- Covariance: er moet een relatie zijn tussen de oorzaak en het gevolg (er moet samenhang zijn)
- Temporal precedence: de oorzaak moet in de tijd voorafgaan aan het gevolg
- Internal validity: alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
Causaliteit
- Beste manier om te kunnen voldoen aan de drie voorwaarden (vooral internal validity) is middels een
gerandomiseerd experiment: onderzoeksopzet waarbij
- door randomisatie de groepen worden ingedeeld (hierdoor hebben we de grootste kans dat groepen vergelijkbaar zijn)
- de onderzoeker één variabele manipuleert/beïnvloed (varieert)
- de onderzoeker het effect daarvan op een andere variabele meet
Doel van randomisatie (=willekeurige toewijzing)
- Door gebruik te maken van randomisatie hebben we de grootste kans dat in de groepen de gemiddelde
scores en spreiding in scores op alle variabelen, zowel gemeten als ongemeten, bij aanvang vergelijkbaar zijn
- Door willekeurige toewijzing/toeval ipv argumenten komen mensen in twee verschillende groepen
Elementen onderzoeksvraag van een experimenteel onderzoek: PICO
- Population: de groep mensen die de onderzoeker wil onderzoeken
- Intervention: de variabele die je manipuleert (onafhankelijke variabele)
- Comparison: de niveaus van de gemanipuleerde variabele (= de groepen die vergeleken worden)
- Outcome: gemeten variabele (afhankelijke variabele)
Voorbeeld: Is er effect van een specifieke rekeninstructie in vergelijking met een controlegroep op de
rekenprestaties van kinderen met rekenproblemen?
- Onderzoekers willen weten of de kinderen in de directe instructiegroep (experimentele groep) een hogere
gemiddelde rekenscore hebben dan kinderen in de controlegroep (groep zonder specifieke instructie)
- Afhankelijke variabele is de gemeten variabele (uitkomstvariabele) → Rekenprestaties
- Onafhankelijke variabele is de gemanipuleerde variabele → Instructie (Directe instructie of controle)
Stap 1 Toetskeuze, hypothesen en
- Om een verschil tussen een experimentele en controlegroep te analyseren, gebruiken we de t-toets voor
onafhankelijke groepen
- Hypothesen → uitspraak doen over de populatie, dus gebruik letter (= gemiddelde in de populatie)
H0: DI = C of H0: DI – C = 0
H1: DI > C of H1: DI – C > 0
- =.05
Stap 3: toetsingsgrootheid en p‐waarde
Beschrijvende statistieken
- Groepsgemiddelden (mean) opzoeken → In de steekproef hebben de kinderen in de Directe Instructie
groep een hoger gemiddelde dan de kinderen in de Controlegroep
- Eénzijdige toets, dus we moeten hier de richting controleren → deze is positief, er is een verschil in gemiddelde
,BOS Samenvatting Experimenteel Onderzoek HC + Grasple - Huyen Chau Nguyen
Steekproevenverdeling van t
- Ook bij t hebben we verschillende steekproevenverdelingen
- Worden bepaald door het aantal vrijheidsgraden (degrees of freedom/df)
- Bij de t –toets voor onafhankelijke groepen df = n 1-1 + n2-1
- Hoe groter steekproeven (n), hoe groter df, hoe minder spreiding/variatie in de steekproevenverdeling
Toetsingsgrootheid t
- Bij de t-toets is de toetsingsgrootheid de t-waarde
- Standard error = standaardfout = spreiding in de steekproevenverdeling
- Wanneer we waarden van t vinden dicht bij 0, vinden we H0 het meest waarschijnlijk
- Wanneer we waarden van t vinden ver weg van 0, vinden we H 1 het meest waarschijnlijk
- Om te bepalen wat ‘dicht bij 0’ en ‘ver weg van 0’ is, gebruiken we weer de p -waarde en het significantieniveau
Stap 4: conclusie trekken over H 0
P waarde kleiner dan alfa = alternatieve hypothese kiezen, h0 verwerpen
P waarde groter dan alfa = nulhypothese kiezen, h0 niet verwerpen
In dit geval wordt de H 0 verworpen, want de p-waarde is 0.006 en dus kleiner dan alfa/0.5
Stap 5: Inhoudelijke conclusie en effectgrootte bepalen
- Vraag: Hebben kinderen in de directe instructiegroep een hogere gemiddelde rekenscore dan kinderen in
de controlegroep?
- Antwoord: Ja, kinderen in de directe instructiegroep hebben een significant hogere gemiddelde rekenscore
dan kinderen in de controlegroep > kan een type I fout zijn
Betekenis H0 verwerpen
- H0 verwerpen betekent dat we de alternatieve hypothese het meest waarschijnlijk vinden
- We hebben vertrouwen in onze NHST toetsprocedure, maar het kan wel dat we een fout hebben gemaakt
Fouten
- Type I fout; : Nulhypothese verwerpen, terwijl we dat niet zouden moeten doen
- Type II fout; : Nulhypothese niet verwerpen, terwijl we dat eigenlijk hadden moeten doen
Type I fout
- Onderzoekers kunnen niet voorkomen dat er kans is dat zij deze fout maken
- Wel kunnen zij vooraf bepalen hoe groot de kans op deze fout mag zijn
- De kans op een Type I fout is gelijk aan het significantieniveau
, BOS Samenvatting Experimenteel Onderzoek HC + Grasple - Huyen Chau Nguyen
Keuze voor
- Keuze voor 𝛼 hangt af van de situatie. Meestal kies je een kleine als de gevolgen van grote invloed is.
- Stel twee onderzoekers evalueren de effectiviteit van een behandeling van depressie:
- Mindfulness-training: relatief goedkope training, geen nadelige bijwerkingen → kiezen voor hoge alfa
- Lithium: relatief duur medicijn, risico op ernstige bijwerkingen → kiezen voor lage alfa
- Type I fout: als we zeggen dat de training werkt, terwijl dat niet zo is/Als we denken dat het medicijn werkt, maar het
eigenlijk niet werkt. Dit geeft ernstige gevolgen.
Type II fout
- Onderzoekers rapporteren meestal niet over de kans op een Type II fout, maar over de kans op het nemen
van de juiste beslissing
Power
- Power: er is een verschil tussen de groepen (H 1 is waar); hoeveel kans hebben we om het te vinden op
basis van steekproefgegevens en statistische toets
- Power is de kans om H0 te verwerpen wanneer de alternatieve hypothese waar is
- Onderzoekers willen graag een hoge power zodat, als er in werkelijkheid een verschil is, ze dat verschil ook
vinden. Onderzoekers streven vaak naar een power van 0.80
- Factoren die van invloed zijn op de power: grootte van het verschil, grootte van de steekproef, spreiding
van scores, significantieniveau
Factor power: Grootte van het verschil
→ Hoe groter het verschil tussen de groepen, hoe hoger de power
- Groot verschil in populatie geeft een groot verschil in steekproefpopulatie
- Hoe groter het verschil in de populatie, hoe groter de kans dat H 0 terecht wordt verworpen
Factor power: Grootte van de steekproef
→ Hoe groter de steekproef (𝑛), hoe hoger de power
- Bij een grotere steekproef is er minder variatie tussen steekproeven
- Bij een grote steekproef hoeven we minder rekening te houden met variatie tussen steekproeven
- We kunnen dus eerder concluderen dat een verschil of samenhang in de steekproef, ook daadwerkelijk in
de populatie te vinden is
Factor power: Spreiding van scores
→ hoe kleiner de spreiding, hoe hoger de power
- Bij een grotere spreiding is er meer variatie tussen steekproeven
- Bij een kleine spreiding hoeven we minder rekening te houden met variatie tussen steekproeven
- We kunnen dus eerder concluderen dat een verschil of samenhang in de steekproef, ook daadwerkelijk in
de populatie te vinden is
Factor power: Significantieniveau
→ hoe groter , hoe hoger de power
- Bij aanvang van onderzoek, kiezen onderzoekers een waarde voor 𝛼 (meestal .05)
- Bij een minder streng significantieniveau wordt H 0 eerder verworpen
- Bij een grotere , ook grotere kans op Type I fout. Je moet een balans zoeken tussen kleine 𝛼 en grote power
