Methoden van Communicatieonderzoek en Statistiek
Week 8: Steekproeven, survey en experiment
Hoorcollege 1: Survey en steekproeven
Bij wetenschappelijk onderzoek zijn twee soorten validiteit van belang:
- Validiteit van de meting
- Validiteit van het onderzoek (interne (hoe goed zit je onderzoek in elkaar?) en
externe validiteit (generaliseerbaarheid van je steekproef en
onderzoekomstandigheden > ecologische en populatie validiteit)
Validiteit van het onderzoek (sampling en surveyonderzoek)
Hierbij gaat het om de validiteit van het onderzoek in zijn geheel. Hoe goed is je onderzoek
opgezet? Hoe generaliseerbaar zijn je bevindingen? Validiteit van het onderzoek omvat de
interne en externe validiteit.
Externe validiteit: het gaat om iets buiten je onderzoek, verwijst naar de mate waarin je
resultaten te generaliseren zijn naar een andere context dan de studie zelf. In hoeverre
zeggen jouw resultaten over de populatie waarin je geïnteresseerd bent?
Generaliseerbaarheid van je resultaten naar de populatie en omstandigheden
- Populatievaliditeit: zijn je resultaten uit de steekproef te generaliseren naar de
populatie waar je uitspraak over wilt doen. Wanneer je resultaten niet
overeenkomen met de populatie die je wilt generaliseren, is je validiteit laag. Past de
steekproef bij je populatie? Heb je de goede mensen uitgekozen om te
generaliseerbaar naar de hele populatie?
- Ecologische validiteit: doel van het onderzoek is uitspraken doe over grote groep
mensen in verschillende omstandigheden. Zijn je resultaten te generaliseren naar
andere/werkelijke omstandigheden.
Meetvaliditeit= kracht van de meting (meet je wat je wilt meten)
Interne validiteit= zekerheid van je conclusies (geen causale relaties kunnen toetsen
met survey, wel met experimenteel)
Populatievaliditeit= representativiteit sample
Ecologische validiteit= representativiteit onderzoek omstandigheden
Interne validiteit: het gaat om iets binnen je onderzoek, hoe valide zijn je conclusies? Wordt
het effect wat je vindt werkelijk veroorzaakt door je onafhankelijke variabele of door iets
anders? Het gaat om de zekerheid waarmee je causale relaties met je onderzoek kan
toetsen. De onafhankelijke variabele mag de enige zijn die de afhankelijke variabele
beinvloed. Causale relaties moeten aan 3 criteria voldoen:
Covariantie/correlatie: y moet mee veranderen met x
Tijdsvolgorde (chronologie): x moet voorafgaan aan y
Geen alternatieve verklaringen/niet spurieus: Alleen x moet y beïnvloeden, niks anders
,Validiteit hoog= je meet/hebt de goede resultaten om de gewenste populatie te
generaliseren, veel controle en zeker over je conclusies
Validiteit laag= je meet/hebt niet de goede resultaten om de gewenste populatie te kunnen
generaliseren, weinig controle en onzeker over je conclusies
Bij survey-onderzoek is externe validiteit hoger dan interne validiteit. Externe validiteit
kunnen we meten door ecologische validiteit en populatievaliditeit. Maar over de interne
validiteit hebben we geen controle, we versturen een vragenlijst. We kunnen geen factoren
onderzoeken en geen causale relaties meten.
Sampling
Sampling is belangrijk voor je externe validiteit van je onderzoek. Is kleiner dan de populatie
(je kan niet alle Nederlanders ondervragen). Omdat hij kleiner is, is het mogelijk dat er
bepaalde kenmerken niet worden meegenomen terwijl die wel in de populatie zitten = niet
representatief. Data verzamelen van een selectie van cases uit de populatie
Populatie vs steekproef
Vanuit populatie (iedereen die je als doelgroep voor ogen hebt) > steekproefkader trekken.
Representativiteit (=externe validiteit)
- Kans steekproeven (aselect), random gekozen, beste voor de representativiteit
- Niet kans steekproeven (select)
En representatieve steekproef weerspiegelt de populatie op bepaalde kenmerken
Welke steekproef heb je nodig?
Definitie (doel) populatie > operationalisering populatie > steekproefplan > selectie
onderzoekseenheden > vaak oversampeling: meer eenheden selecteren dan nodig in
verband met non-respons
Steekproefkader
Overzicht van alle populatie eenheden (lijst, database) mensen, artikelen, media
boodschappen enz. Omdat de populatie vaak te groot is om te onderzoeken, maak je een
steekproef. Moet zo goed mogelijk weerspiegelen hoe het in de populatie aan toe gaat. Als
dat niet zo is heb je lage populatie validiteit.
Onderdekking= niet iedereen uit de populatie zit in je steekproefkader
Overdekking= je steekproefkader bevat mensen uit de populatie die er niet horen
Census (geen steekproef)
Alle eenheden uit de onderzoekspopulatie ondervragen/selecteren = geen steekproef, maar
gehele populatie dan heb je volledige zekerheid over de populatie.
Nadeel is vaak praktisch niet haalbaar want is populatie is groot, door technologische
ontwikkelingen meer mogelijk (big data)
Kans-steekproeven
Iedereen heeft dezelfde kans om in de steekproeven te komen, toeval, random
geselecteerd, geen bias.
, 1. Enkelvoudige aselecte steekproef
Toevalssteekproef uit alle onderzoekseenheden, uit alle mensen in je steekproefkader. Per
toeval/random een steekproef trekken = iedereen heeft evenveel kans om in steekproef te
komen. Voordeel = hoge representativiteit, nadeel= niet altijd haalbaar
2. Gestratificeerde steekproef
Populatie in strata verdelen > random selectie eenheden uit strata
Met name nuttig bij scheve verdeling binnen populatie. Strata= naar verhouding van indeling
in het land.
3. Systematische steekproef
Systematische uit de hele populatie steeds een bepaalde eenheid trekken, met random
startpunt. Soms niet handig, want als de volgorde samenhangt met bepaalde kenmerken
dan niet handig om in te zetten en krijg je niet de juiste resultaten
4. Getrapte/multi stage steekproef
Populatie in clusters verdelen in subgroepen > random een aantal clusters subgroepen
selecteren > random selectie eenheden uit clusters. Random geselecteerd = iedereen heeft
gelijke kans om in de sample te komen. Cluster= alles op een hoopje, geen verhoudingen.
Moet je hele goede steekproefkader hebben om dit haalbaar te maken. Uitgebreide versie
van gestratificeerde steekproef, voor een uitgebreide doelgroep.
, Niet-kans-steekproeven
Vaak niet mogelijk om random procedure in te zetten, omdat steekproefkader niet
goed is of niet klopt met de populatie. Daarom niet-kans steekproeven inzetten
(vaakste gebruikt)
1. Gemak steekproef/convenience
Net wat voorhanden is. Wordt veel gebruikt, puur uit gemak. Bijv.: oproep op social media of
via e-mail. Hiermee geen gele en oranje personen in je steekproef, kunnen dus niks over
zeggen. Kan daarom bias optreden en lage representativiteit van de sample (als je in je
omgeving alleen maar studenten hebt, dan is het niet representatief voor de populatie)
2. Quatosteekproef
Selectie om bepaalde quota te hebben van groepen/eenheden. Onderzoeker/ interviewer
selecteert/bepaalt eenheden. Kan bias opleveren, bepaalde soort man van 50 selecteren
door omgeving en daarom niet representatief voor alle mannen van 50.
3. Sneeuwbalsteekproef
Respondent vraagt volgende respondent deel te nemen. Respondent vraagt weer iemand
om deel te nemen en die vraagt weer verder enz. Veel mogelijke factoren die voor
vertekening zorgen. Specifieke doelgroep bereiken, maar ook hier bias want gene selecteer
iemand binnen bepaalde doelgroep.
4. Judgemental/purposive sampling