Kleine disclaimer: we moeten ook een deel lezen uit een artikel van Ritchie & Lewis, dat staat
niet in deze samenvatting, maar is voor zover ik gezien heb heel makkelijk en snel door te lezen.
Hiervan moet je pagina 114-133, 150-169, 176-189, en 264-276 lezen.
Link naar artikel van Ritchie & Lewis: qualitative-research-practice_a-guide-for-social-science-
students-and-researchers_jane-ritchie-and-jane-lewis-eds_20031.pdf (wordpress.com)
From The Art and Science of
Social Research
p. 189
H7: Survey Research
07/02/2023, p. 189-208
What Are Surveys and What Can They Do?
07/02/2023, p. 190
Een survey is een methode voor sociaal onderzoek waarbij onderzoekers een steekproef
individuen vragen om een aantal vragen te beantwoorden. Primary data collection is wanneer
sociale wetenschappers hun eigen dataverzameling ontwerpen en uitvoeren. Secondary data
collection is data die verzameld zijn door iemand anders. Mensen die de vragenlijsten invullen
zijn respondenten. Bij het onderzoeken van instituties wordt vaak gebruik gemaakt van een key
informant: een persoon die vrij centraal of populair is in de onderzoeksomgeving, die hun
kennis met de onderzoeker of iemand met professionele of speciale kennis over de omgeving
deelt.
Er zijn veel verschillende modes of administration: manieren waarop een vragenlijst afgenomen
kan worden. Een self-administered questionnaire (SAQ) is een vragenlijst die via de mail of
online ingevuld wordt. Een closed-ended question is een gefocuste interviewvraag die alleen
beantwoord kan worden met voorbedachte opties (response categories). Bij diepte-interviews
wordt vaak gebruik gemaakt van open-ended questions: brede interviewvragen die beantwoord
kunnen worden hoe de respondent dat ook maar wil.
Cross-sectional surveys zijn vragenlijsten die maar één keer worden afgenomen bij alle
respondenten. Hiermee kunnen correlaties gevonden worden, maar er kan geen oorzaak-
gevolg conclusie getrokken worden. Longitudinal surveys zijn vragenlijsten die meerdere keren
worden afgenomen. Repeated cross-sectional surveys zijn een soort longitudinale vragenlijsten
die meerdere keren worden afgenomen, maar telkens bij een andere groep respondenten.
Hiermee kunnen historische trends bijvoorbeeld gemeten worden. Panel surveys zijn een soort
longitudinale vragenlijsten die meerdere keren afgenomen worden bij dezelfde groep
respondenten. Hiermee kan gemeten worden hoe mensen veranderen met de tijd. Er is bij
,panel surveys risico op attrition: het verlies van steekproefpersonen met de tijd, meestal door
sterfte of afvallers, dit kan de resultaten beïnvloeden en een te positief beeld schetsen.
Vragenlijsten verschillen in de mate van breedte, diepte en lengte. Een poll is een erg korte
vragenlijst die over één onderwerp gaat. Hiermee worden geen hypothesen getest. Omnibus
surveys zijn vragenlijsten die over een groot aantal onderwerpen gaan (omnibus = alles). De
data die uit deze vragenlijsten voortkomen kunnen voor heel veel onderzoeken gebruikt
worden. Om deze vragenlijsten niet te lang te maken, gebruiken onderzoekers soms een split-
ballot design: een vragenlijst waarbij willekeurig geselecteerde respondenten, meestal 50% van
de totale groep, vragen over het ene onderwerp krijgen, en de andere 50% vragen over het
andere onderwerp krijgt. Hoewel er veel informatie wordt verzameld bij omnibus surveys, gaan
ze niet erg de diepte in. Hiervoor kan je beter een diepte-interview houden.
Consistentie van metingen is een essentieel component van de meeste (closed-ended)
vragenlijsten. Hierdoor zijn ze erg geschikt voor sociologische vragen. Mensen kunnen makkelijk
in een bepaalde categorie geplaatst worden (bijvoorbeeld leeftijd of onderwijsniveau), waarna
de categorieën vergeleken kunnen worden. Door dezelfde vragenlijsten meerdere keren bij
nieuwe groepen af te nemen, kunnen historische analyses gemaakt worden.
Onderzoekers proberen zo veel mogelijk hun steekproeven willekeurig uit de populatie te
halen, om zo de externe validiteit hoog te houden.
Er zijn vier belangrijke typen fouten die bij een vragenlijst kunnen komen kijken. Nonresponse is
dat sommige respondenten bepaalde vragen of zelfs de hele vragenlijst niet invullen, waardoor
er een onvolledig beeld ontstaat. Een measurement error vindt plaats wanneer de manier
waarop een bepaalde variabele gemeten wordt, invloed heeft op het antwoord dat er gegeven
wordt. Een coverage error vindt plaats wanneer het steekproefkader niet alle leden van de
doelpopulatie omvat. Een sampling error is het verschil tussen de karakteristieken van de
steekproef en de karakteristieken van de populatie waaruit de steekproef is getrokken.
De response rate is de proportie van het aantal mensen dat benaderd is om mee te doen aan
een vragenlijst dat daadwerkelijk meedoet (aantal voltooide vragenlijsten ÷ aantal mensen dat
gevraagd is de vragenlijst in te vullen × 100 = response rate). Des te hoger de response rate, des
te lager de nonresponse bias.
Types of Surveys: Modes of Administration
09/02/2023, p. 198
Er zijn verschillende manieren om data te verzamelen. Welke manier een onderzoeker kiest,
hangt af van de kosten, response rate, controle van de onderzoeker over het
dataverzamelingsproces, en de potentiële interviewer effects. Interviewer effects verwijzen
naar de mogelijkheid dat de aanwezigheid van een interviewer ervoor kan zorgen dat de
respondent anders reageert. Bij een face-to-face interview wordt het interview persoonlijk
afgenomen volgens een interview schedule, die bestaat uit de vragen die de interviewer wil
,stellen. Paradata is informatie over het proces waarmee de data zijn verzameld. Dit kan
bijvoorbeeld informatie over het huis van een respondent zijn, als het interview daar
plaatsvindt. Een paper-and-pencil interview (PAPI) is een interview waarin de onderzoeker de
antwoorden van de respondent opschrijft in een vooraf uitgeprint vragenlijstboekje. Er wordt
nu meer gebruik gemaakt van computer-assisted personal interviews (CAPI), een face-to-face
interview waarbij de onderzoeker een laptop of tablet gebruikt die voorgeprogrammeerd is met
alle vragen en responscategorieën. Als er veel responscategorieën zijn, kan de onderzoeker de
respondent een showcard geven, waar de opties op staan. Doordat de computer
voorgeprogrammeerd is, wordt het makkelijker om een skip pattern te volgen; de computer kan
beslissen welke vragen de respondent wel en niet moet beantwoorden. Een screener question
is een weg naar, of weg om, een volgende vraag.
Bij face-to-face interviews kan de interviewer de respondent helpen vragen te begrijpen, en er
onder andere op die manier voor zorgen dat er geen vragen overgeslagen worden. Aan de
andere kant heeft de aanwezigheid van de interviewer ook invloed op de manier waarop
mensen antwoord geven. De social desirability bias is een type bias die plaatsvindt wanneer
participanten positief gewaardeerde gedragingen en attitudes rapporteren in de plaats van
antwoorden naar waarheid. Mensen proberen ook hun slechtere kenmerken en waarden die ze
hebben, die in het nadeel van de interviewer zijn (bijvoorbeeld iemand die racistisch is met een
interviewer die uit een minderheidsgroep komt), te verstoppen. Daarnaast verstoppen ze
gestigmatiseerde en illegale acties of waarden. Audio computer-assisted self-interview (ACASI)
is een interview waarin de respondent een laptop of tablet gebruikt om van tevoren
opgenomen vragen te beluisteren en beantwoorden. Dit vermindert de social desirability bias.
Vroeger was er bij telefooninterviews het probleem dat veel mensen geen telefoon hadden, nu
bestaat dat probleem nog nauwelijks. Ook bij telefooninterviews kan de interviewer ervoor
zorgen dat alle vragen begrepen en beantwoord worden. Computer-assisted telephone
interview (CATI) is een telefooninterview waarin de onderzoeker een laptop of tablet gebruikt
die voorgeprogrammeerd is met alle vragen en responscategorieën. Telefooninterviews zijn
goedkoper dan face-to-face interviews, en kunnen centraler afgenomen worden in callcenters.
Er is minder planning voor nodig, waardoor de interviews sneller plaats kunnen vinden.
Er zijn een aantal problemen met telefooninterviews. Sommige mensen zullen bijvoorbeeld niet
opnemen wanneer ze gebeld worden door een nummer dat ze niet kennen. De mensen die dan
wel opnemen zullen misschien significante verschillen hebben met de mensen die niet
opnemen, waardoor de data wordt beïnvloed. Om dit tegen te gaan hebben onderzoekers
bedacht dat ze van tevoren een brief zouden sturen naar potentiële respondenten, waarin ze
geïnformeerd worden over het onderzoek en de instantie. Bij een panel study helpt het om
mensen te herinneren aan eerdere interviews/onderzoeken waar ze aan mee hebben gedaan.
Bij telefooninterviews kan de onderzoeker geen paradata verzamelen, en de respondent kan
afgeleid of moe worden tijdens het interview, waardoor de data incompleet is. Ondanks al deze
,factoren kunnen er toch belangrijke data verzameld worden door middel van
telefooninterviews.
Om interviewer-effects te voorkomen, kan er gebruik worden gemaakt van self-administered
questionnaires (SAQ). Deze worden via de post verstuurd naar de respondenten, die ze na het
invullen gratis terug kunnen sturen naar de onderzoekers. Er zijn uitzonderingen, bijvoorbeeld
vragen over gewicht en roken worden accurater beantwoord in face-to-face interviews dan in
een SAQ. Voordelen van SAQs zijn dat het goedkoop is, en dat het makkelijk is om een grote en
geografisch verschillende steekproefgroep te bereiken dan met face-to-face interviews.
Problemen met SAQs zijn dat er geen interviewer is om de vragen uit te leggen aan de
respondent, of om de respondent te bemoedigen om de (hele) vragenlijst in te vullen, de
response rate van SAQs ligt laag, tussen de 20% en 40%.
Online vragenlijsten hebben een aantal voordelen. De kosten zijn relatief laag, er is weinig kans
op fouten bij het invoeren van de data, het is makkelijk om online vragenlijsten samen te
stellen en af te nemen, respondenten gaan makkelijk door de vragen heen (denk aan skip
patterns), omdat deze voorgeprogrammeerd zijn, er kan een grote geografisch verschillende
groep bereikt worden. Ook bij online vragenlijsten helpt het voor de response rate om van
tevoren een mail te sturen met informatie over het onderzoek. Problemen met online
vragenlijsten zijn dat niet iedereen toegang heeft tot of comfortabel is met het internet.
Hierdoor worden bepaalde groepen systematisch buitengesloten, waardoor er een vertekend
beeld ontstaat. Daarnaast kunnen email adressen niet willekeurig gegenereerd worden, zoals
telefoonnummers, waardoor de steekproef wellicht niet representatief is voor de populatie.
Nog een probleem is dat veel respondenten de vragenlijst niet of niet helemaal zullen invullen.
Als laatst is er een ethisch probleem met de goedkope online vragenlijsten platforms, omdat de
mensen die daar werken te weinig betaald krijgen.
Onderzoekers maken vaak gebruik van mixed-mode benaderingen. Dit doen ze om nieuwe
informatie van een eerder geïnterviewde respondent te ontvangen, om hun data te checken en
biases te verminderen, en om meer participanten te bereiken. Bij het gebruiken van mixed-
modes moeten onderzoekers wel rekening houden met mode effects: de manieren waarop de
manier van afname van de vragenlijst de antwoorden van de respondent kunnen veranderen.
Survey Content: What Do We Ask And How Do We Ask It?
06/03/2023, p. 208-220
Het survey instrument is de typen vragen die gesteld worden, de antwoord categorieën die
gegeven worden, en richtlijnen die helpen bij het organiseren van vragen. De stem is het deel
van de vragenlijst die dat waar de vraag over gaat presenteert. De meest basic soort gesloten
vraag heeft een dichotomous outcome categorie, waarbij er maar twee antwoordopties zijn. De
meeste gesloten vragen hebben meer antwoord categorieën dan dat. De categorieën moeten
mutually exclusive en mutually exhaustive zijn. Mutually exclusive betekent dat de categorieën
niet overlappen. Mutually exhaustive betekent dat er minstens één antwoord toepasbaar moet
,zijn voor elke respondent. Gesloten vragen worden veel gebruikt om frequenties te meten. Een
rating scale is een serie van geordende categorieën. De meest gebruikte versie hiervan is de
Likert scale, een type schaal die de mate van agreement (kan ff geen goed nederlands woord
vinden) met een bepaalde statement meet.
Sommigen denken dat er bij de antwoord categorieën een optie “niet eens en niet oneens”
moet zijn, anderen vinden van niet. Een forced choice is een vraag die de respondent forceert
om te laten weten of ze het meer eens of meer oneens zijn met het statement. Bij eens/oneens
vragen is er een risico op acquiescence bias: de neiging voor respondenten om “eens” te
antwoorden bij gesloten vragen over attituden. Om dit te vermijden kan je twee
tegenovergestelde vragen stellen. Ranking items is een type gesloten vraag waarbij
respondenten gevraagd wordt hun prioriteiten of voorkeuren te rangschikken.
Open vragen worden vaak op een van deze twee manieren gesteld: als “anders, …” optie bij een
multiple choice vraag, of volledig open, waarbij respondenten in hun eigen woorden
antwoorden. Vervolgens worden de antwoorden op een van deze twee manieren
gepresenteerd: een antwoord wordt gebruikt als citaat om de patronen die gevonden zijn in de
gesloten vragen te illustreren, of de antwoorden worden verdeeld over categorieën.
Om te besluiten of je open of gesloten vragen wil stellen, kan je kijken naar de doelen van de
vragenlijst, de kennis die respondenten hebben over het onderwerp, hoe veel respondenten
nagedacht hebben over het onderwerp, en de motivatie van respondenten om de vraag te
beantwoorden.
Een composite measure is een waarde die meerdere items combineert om één waarde te
creëren die een veelzijdig concept dekt. De twee belangrijkste vormen hiervan zijn een index en
een scale. Een index is een composite measure die de antwoorden op vragenlijsten optelt en
daarmee de belangrijkste elementen van een bepaald concept dat gemeten wordt vastlegt. Een
scale is een composite measure die het gemiddelde neemt van antwoorden op een serie
gerelateerde items die één concept of kenmerk vastleggen.
Voor het bedenken zijn een aantal richtlijnen. Gebruik duidelijke, simpele, en correcte taal.
Wees precies, vermijd het gebruik van een double-barred question: een vraag die over twee of
meer ideeën of concepten gaat. Ga er niet vanuit dat respondenten bepaalde kennis al hebben,
leg bijvoorbeeld concepten en afkortingen uit. Wees voorzichtig tijdens het stellen van vragen
over gevoelige onderwerpen, let op je woordkeuze. Vermijd sturende vragen.
Er zijn veel vragenlijsten die aan deze richtlijnen voldoen te vinden op het internet, die je ook
mag gebruiken voor eigen onderzoek. Een codebook is een systeem dat informatie organiseert
over een dataset, inclusief de variabelen, mogelijke waarden, coderingsschema’s, en regels
voor beslissingen. Je kan deze vragenlijsten gebruiken om vervolgens jouw data met bestaande
data te vergelijken. Het bedenken van nieuwe vragen vereist een goed begrip van de relevante
theoretische literatuur. Een onderzoeker begint met een theorie, ontwikkelt dan specifieke
,concepten die gerelateerd zijn aan de theorie, definieert dan de concepten, waarna die ze
operationaliseert.
Ook de indeling van een vragenlijst is belangrijk. De eerste vragen moeten makkelijk en niet
ongemakkelijk zijn. Demografische vragen kan je het beste aan het eind van de vragenlijst
stellen, tenzij het screener vragen zijn voor skip patterns. Probeer verveling bij respondenten te
vermijden door middel van afwisseling in de verschillende soorten vragen en/of antwoord
categorieën. Een response set is de neiging om hetzelfde antwoord te geven op verschillende
achtereenvolgende vragen, uit verveling of een verlangen de vragenlijst snel af te ronden.
Probeer ook order effects, wanneer de volgorde van de vragen zorgen voor biases in de
antwoorden, te vermijden. Mensen proberen zo consistent mogelijke antwoorden te geven.
Randomiseer dus de volgorde van de vragen. Het priming effect is een type order effect waarbij
blootstelling tot een bepaald beeld, woord of gevoel vormt hoe respondenten daarna denken
en zich voelen.
Conducting the Survey
12/03/2023, p. 220-224
Een pretest is het vooraf testen van je vragenlijst op een steekproef mensen die ongeveer gelijk
zijn aan je uiteindelijke doelgroep. Deze mensen kunnen daarna niet meer meedoen aan het
uiteindelijke onderzoek. Een pretest voer je uit om problemen met de vragenlijst te
identificeren. Bij een pretest kan een cognitive interview horen, dit is een interview met
respondenten om te begrijpen hoe ze bepaalde vragen en termen interpreteren. De
respondenten denken hardop terwijl ze de vragen beantwoorden. Om de problemen te
identificeren en te verbeteren, kunnen onderzoekers kijken naar soft data (meningen van
respondenten) of hard data, zoals frequency distributions, een representatie van de mogelijke
waarden van een variabele samen met het aantal observaties voor elke waarde die
geobserveerd is (vage uitleg dit, het is gewoon hoeveel respondenten hetzelfde antwoord
geven).
Ethical Concerns in Survey Research
12/03/2023, p. 224-227
Onderzoekers moeten respondenten geen schade aandoen op welke manier dan ook. Voor
vragenlijsten onderzoekers zijn er een aantal strategieën om zich hieraan te houden. Zo moeten
ze de confidentiality van de vragenlijst beschermen: hier voldoen ze aan wanneer de
identificerende informatie over respondenten alleen beschikbaar is voor het onderzoeksteam.
Het is niet realistisch om anonymity van de participanten te bewaren: anonimiteit is wanneer
identificerende informatie niet gelinkt kan worden aan respondenten en zelfs de onderzoeker
hen niet kan identificeren, op die manier kan de onderzoeker bijvoorbeeld ook geen follow-up
interview doen met participanten. Naast de confidentiality moeten onderzoekers elke
respondent behandelen met respect, weldadigheid, en rechtvaardigheid.
,Key terms HASR7 Betekenis
Acquiescence bias, p. 210 De neiging voor respondenten om “eens” te antwoorden bij
gesloten vragen over attituden.
Anonymity, p. 225 Wanneer identificerende informatie niet gelinkt kan worden
aan respondenten en zelfs de onderzoeker hen niet kan
identificeren.
Attrition, p. 193 Het verlies van steekproefpersonen met de tijd bij een
panel survey.
Audio computer-assisted self- Een interview waarbij de respondent een laptop of tablet
interview (ACASI), p. 201 gebruikt om te luisteren naar, en antwoorden op van
tevoren opgenomen vragen.
Closed-ended question, p. 191 Een interviewvraag waar respondenten alleen op kunnen
antwoorden met vooraf ingestelde antwoorden.
Codebook, p. 216 Een systeem dat informatie organiseert over een dataset,
inclusief de variabelen, mogelijke waarden,
coderingsschema’s, en regels voor beslissingen.
Cognitive interview, p. 221 Een interview met respondenten om te begrijpen hoe ze
bepaalde vragen en termen interpreteren. De
respondenten denken hardop terwijl ze de vragen
beantwoorden.
Composite measure, p. 212 Een waarde die meerdere items combineert om één waarde
te creëren die een veelzijdig concept dekt.
Computer-assisted personal Een face-to-face interview waarbij de onderzoeker een
interview (CAPI), p. 199 laptop of tablet gebruikt die voorgeprogrammeerd is met
alle vragen en antwoord categorieën.
Computer-assisted telephone Een telefooninterview waarbij de onderzoeker een laptop
interview (CATI), p. 202 of tablet gebruikt die voorgeprogrammeerd is met alle
vragen en antwoord categoriën.
Confidentiality, p. 224 Wanneer de identificerende informatie over respondenten
alleen beschikbaar is voor het onderzoeksteam.
Coverage error, p. 197 Een type fout die plaatsvindt wanneer het steekproefkader
niet de volledige doelpopulatie bevat.
Cross-sectional survey, p. 192 Een vragenlijst waarbij data maar op één moment in de tijd
worden afgenomen.
Dichotomous outcome, p. 209 Wanneer er maar twee antwoordopties zijn voor een vraag.
Double-barreled question, p. Een vraag die over twee of meer ideeën of concepten gaat.
215
Exhaustive, p. 209 De antwoord categorieën moeten alle respondenten
minstens één goed antwoord geven.
Forced choice, p. 210 Een vraag die de respondent forceert om te laten weten of
ze het meer eens of meer oneens zijn met het statement.
Frequency distribution, p. 221 Een representatie van de mogelijke waarden van een
variabele samen met het aantal observaties voor elke
, waarde die geobserveerd is.
Index, p. 212 Een composite measure die de antwoorden op vragenlijsten
optelt en daarmee de belangrijkste elementen van een
bepaald concept dat gemeten wordt vastlegt.
Interview schedule, p. 198 Een voorbereide lijst vragen en follow-up vragen die de
interviewer vraagt aan de respondent.
Interviewer effects, p. 198 De mogelijkheid dat de aanwezigheid van een interviewer
kunnen leiden tot antwoorden van de respondent die niet
volledig kloppen.
Key informant, p. 191 Iemand die vaak redelijk centraal of populair is in de
onderzoeksomgeving en die hun kennis met de
onderzoeker deelt.
Likert scale, p. 209 Een type rating scale die de mate van agreement met een
bepaalde statement meet.
Longitudinal survey, 192 Een vragenlijst waarbij data op meerdere momenten
worden verzameld.
Measurement error, p. 196 Een type fout die plaatsvindt wanneer de benadering die
gebruikt is om de variabele te meten, het antwoord
beïnvloedt.
Mode effects, p. 208 De manieren waarop de manier van afname de antwoorden
van de respondenten kunnen beïnvloeden.
Mode of administration, p. 191 De manier waarop een vragenlijst afgenomen wordt.
Mutually exclusive, p. 209 De antwoord categorieën moeten niet overlappen.
Open-ended question, p. 191 Een brede interviewvraag waarop respondenten mogen
antwoorden in hun eigen woorden.
Order effects, p. 219 Wanneer de volgorde van de vragen zorgen voor biases in
de antwoorden.
Panel survey, p. 192 Een soort longitudinale vragenlijst waarbij data verzameld
worden van dezelfde respondenten op verschillende
momenten.
Paper-and-pencil interview, p. Een vragenlijst waarbij de onderzoeker vragen stelt en de
198 antwoorden van de respondent opschrijft in een geprint
boekje.
Paradata, p. 198 Informatie over het proces waarmee de vragenlijstdata
verzameld zijn.
Poll, p. 194 Een hele korte vragenlijst over één onderwerp.
Primary data collection, p. 190 Wanneer sociale wetenschappers hun eigen datacollectie
ontwerpen en uitvoeren.
Priming effects, p. 220 Een type order effect waarbij blootstelling tot een bepaald
beeld, woord of gevoel vormt hoe respondenten daarna
denken en zich voelen.
Ranking items, p. 211 Een type gesloten vraag waarbij respondenten gevraagd
wordt hun prioriteiten of voorkeuren te rangschikken.
