MTO-D
Construction and analysis of
questionnaires
Academisch jaar: 2020-2021
Tentamens:
• SPSS-test (pass or fail)
• Regulier tentamen, bestaande uit 50 meerkeuze vragen (twee
antwoordalternatieven)
Toetsmatrix:
,Hoorcollege 1: Organisatie van het vak, introductie
vragenlijsten
Introductie vragenlijsten
Definitie van een vragenlijst
Vragenlijst = “A written set of questions that are given to people in order to collect facts or opinions about
something”.
Dat betekent dus dat een aantal items samen een vragenlijst vormen. Het gaat dus om typisch gedrag, vaak
vragen die zonder specifieke context te beantwoorden zijn (dus over het algemeen niet hoe gedrag en opinies
kunnen veranderen door een andere context, maar meer algemeen gedrag of mening van iemand).
Wat is een item?
Vragenlijst/test item = Niet alleen de stelling of de vraag, maar ook de antwoordalternatieven daarbij. Dus,
zowel de stelling als de antwoordalternatieven hieronder vormen tezamen een item.
Wat doet een vragenlijst (of een test) precies?
Een vragenlijst probeert niet een individu in al zijn facetten en complexiteit te ‘vangen’, maar probeert eerder
om één eigenschap te isoleren, en daarvan te zeggen in welke mate iemand die heeft (bijvoorbeeld IQ of
werknemerstevredenheid). Dit is niet een volledige beschrijving van de realiteit, maar dit is met opzet; dat
komt omdat je heel nauw moet definiëren wat je aan het onderzoeken bent (werknemer tevredenheid wat is
dat precies? Hoe meet je dat precies?). Een groot deel van je vragenlijst gaat dus ook over de
operationalisering van het construct (wat wil je meten en wat houdt het construct precies in?).
Vragenlijst => schalen
We meten dus niet alle facetten van iets, maar bepaalde aspecten van constructen die belangrijk zijn voor onze
onderzoeksvraag. Zo’n vragenlijst is vaak ingedeeld op basis van wat wij schalen noemen. Een vragenlijst
probeert dus een eigenschap te isoleren en daarvan te zeggen in welke mate iemand die heeft (bijv. IQ of
werknemerstevredenheid, kwaliteit van leven..).
Schaal = een aantal items dat samen een bepaald aspect van die eigenschap meet.
Bijvoorbeeld: vragenlijst om werknemers-tevredenheid te meten:
• Schaal 1: Tevredenheid met de sfeer op het werk; (item 1-10 v.d. vragenlijst)
• Schaal 2: Tevredenheid met de inhoudelijke taken (item 11-20 v.d. vragenlijst)
Het idee van een vragenlijst is dat je een groep individuen hebt en die individuen verschillen in de mate waarin
ze een bepaalde eigenschap hebben. Deze eigenschap is niet zomaar te observeren, maar daar is een
meetinstrument voor nodig. Dat meetinstrument lijdt vervolgens tot scores.
Wat hebben we aan vragenlijsten?
Uiteindelijk zijn wij in sociaal wetenschappelijk onderzoek geïnteresseerd in het beantwoorden van
onderzoeksvragen en het toetsen van hypotheses.
Voorbeeld: Onderzoeksvraag: “Zijn intelligentere mensen vaker depressief?”
Hoe meet je intelligentie en hoe meet je depressie? Beiden zijn niet direct observeerbaar. Constructen die wij
niet direct kunnen observeren moeten wij operationaliseren en meetbaar maken. Om constructen meetbaar
te maken kunnen we een vragenlijst gebruiken.
Construction and analysis of questionnaires (MTO-D) 2
,In het voorbeeld van hierboven kunnen we dit toetsen door te kijken naar het verband tussen intelligentie en
depressie. De predictie daarbij zou zijn: Hoe hoger iemands IQ is, des te meer depressiesymptomen hij of zij
heeft.
Het meten van intelligentie en depressie gebeurt dan vervolgens doormiddel van een test/vragenlijst. Hoe
meet je dit?
- Intelligentie: IQ
- Depressie: Aantal depressieve klachten volgens het DSM model
Meten in de sociale wetenschappen
Het meten van fysieke eigenschappen is gemakkelijk omdat deze eigenschappen direct observeerbaar zijn. Bij
de sociale wetenschappen is dat lastiger. De sociale wetenschappen zijn namelijk vooral geïnteresseerd in
eigenschappen die niet direct observeerbaar zijn. In de sociale wetenschappen is er over het algemeen geen
“echte” waarde, maar moeten we een benadering maken (wij weten niet hoe intelligent iemand echt is, of hoe
geschikt een potentiële werknemer echt is voordat hij/zij aan het werk is). Een vragenlijst is dus eigenlijk een
benadering van iets wat wij nooit 100% foutvrij meten. Desalniettemin worden vaak belangrijke beslissingen
gemaakt op basis van vragenlijsten. Daarom is het des te belangrijker dat deze van goede kwaliteit zijn:
- Betrouwbaar: Betrouwbaarheid gaat over de precisie waarmee wij meten.
o Is er veel meetfout?
o Meten wij consistent? Als iemand twee keer dezelfde test maakt, komt hij/zij dan op
eenzelfde score uit?
- Valide: Validiteit gaat over of we meten wat we willen meten.
o Zijn de verschillen in de vragenlijst of test ook echt gebaseerd op verschillen in het construct
waarin wij geïnteresseerd zijn?
o Meten we wat we willen meten? Als je iemands IQ goed en betrouwbaar meet dan is dit
alsnog niet valide als je onderzoek gaat over of iemand extravert of introvert is.
Kenmerken vragenlijsten
Inhoud van vragenlijsten:
• Gedrag: Wat doen mensen?
Voorbeeld: De vraag aan moeders met kinderen op de basisschool of ze werken.
• Overtuigingen: Wat is volgens de respondent juist of onjuist? Of inschatting over situaties?
Voorbeeld: Hoe groot is het percentage overwerkende moeders met een kind op school?
• Meningen/waarden/attitudes: Wat vindt iemand wenselijk?
• Demografische informatie: Kenmerken van respondent .
Voorbeeld: Leeftijd, inkomen, soort werk.
Afnemen van vragenlijsten:
• Met of zonder (self administered) interviewer.
• Gebruik van technologie: telefoon, computer, internet, paper-and-pencil.
• Een combinatie van bovenstaande methoden.
Type vragen:
• Open of gesloten.
Voor- en nadelen vragenlijsten:
✓ Hele snelle en efficiënte manier om data te verzamelen
✓ Goedkoop
✓ Kan voor grote steekproeven gebruikt worden
- Lage respons (dit geldt vooral voor vragenlijsten die via e-mail worden verstuurd of online worden
afgenomen)
- Antwoorden geven eventueel een vertekend beeld van de werkelijkheid (satisficing, social desirability)
Construction and analysis of questionnaires (MTO-D) 3
,Verschil vragenlijst (questionnaire) & enquête (survey)
Een enquête (=survey) is een techniek/onderzoeksmethode voor het verzamelen van informatie. Een survey
gaat echt over de onderzoeksvraag met de steekproef erbij etc. Een survey behelst dus alle aspecten van je
onderzoek. Een vragenlijst (=questionnaire) daarentegen is de manier van data verzamelen. Je gebruikt dus
een vragenlijst binnen je survey, maar het zijn dus niet twee verschillende begrippen voor hetzelfde.
Verschil test en vragenlijst
Een test gaat echt over de maximale vaardigheid van iemand waarbij er een goed en een fout antwoord is. Je
kan dus denken aan een prestatietest waarbij het doel is om iemands maximale vaardigheid vast te stellen
(denk bijvoorbeeld aan iemands IQ). Bij vragenlijsten heb je geen goed of fout antwoord, dit gaat namelijk vaak
over een gedrag of mening.
Voorbeeld van een tentamenvraag: “Een prestatietest kan een vragenlijst zijn?”. Onjuist. Een vragenlijst meet
iets subjectiefs (meningen/gedrag) en kent geen goed of fout. Een prestatietest kent wel goede en foute
antwoorden en hebben als doel om iemands maximale vaardigheid vast te stellen.
Deel 1 van de cursus: constructie van vragenlijsten en items
• Hoe operationaliseren we een construct? Hoe komen we dus van iets wat we willen meten wat niet
direct observeerbaar is (construct) tot iets wat wel meetbaar is?
• Dit is een herhaling van begrippen en methodes die belangrijk zijn voor de methodes die in de cursus
besproken worden.
Deel 2 van de cursus: Analyseren van vragenlijsten
• Hoe toetsen we de kwaliteit van een vragenlijst?
o Wat is een goede vragenlijst? Betrouwbaarheid en validiteit
o Hoe kunnen we de betrouwbaarheid en validiteit van een vragenlijst beoordelen?
o Analyse op niveau van de items (vragen) van een vragenlijst
• Hoe testen we de structuur van een vragenlijst?
o Onderzoeken/verkennen
o Testen
• Het grotere plaatje: Vragenlijsten om onderzoeksvragen te beantwoorden
Construction and analysis of questionnaires (MTO-D) 4
,Hoorcollege 2: Constructen meetbaar maken
Constructen in de sociale wetenschappen
Onderzoek in de sociale wetenschappen is vaak gebaseerd op de relatie tussen constructen. In de
wetenschappelijke literatuur noemen we de niet direct observeerbare concepten constructen. Deze zijn vaak
niet direct observeerbaar en daarom ook niet direct meetbaar (latent). Dit zijn dus een soort samenvatting van
karakteristieken, gedrag of attituden die we gemeenschappelijk hebben (intelligentie, sociaal kapitaal, etc.). De
uitdaging daarbij is dat we constructen vaak niet direct kunnen meten (in tegenoverstelling tot bijvoorbeeld
haarkleur, geslacht, lengte, BMI), maar ze zijn latent. Het gebruik van een vragenlijst is een oplossing daarvoor,
waardoor het construct indirect gemeten kan worden. Om dit te kunnen doen zal het construct eerst goed
moeten worden geoperationaliseerd. Operationaliseren is het definiëren van de constructen van je
onderzoeksvraag zodat je ze meetbaar kan maken.
Latent eigenschap = construct = niet direct observeerbaar concept.
Construct meetbaar maken
Een construct meetbaar maken doe je middels een heuristische benadering: van abstract tot concreet.
• Ontwikkelen van een eigen nominale definitie: Wat wordt er met het construct bedoeld? Dit kan je
bijvoorbeeld in oudere onderzoeken vinden, of encyclopedieën of op het internet.
• Wat zijn de verschillende aspecten (dimensies en sub dimensies) van het construct? Dit baseer je het
liefst op eerder onderzoek, als dat er is.
• Totdat je komt tot de operationele definitie: wanneer de constructen meetbaar zijn.
Er zijn twee verschillende opties om deze latente constructen te meten:
1. Al bestaande vragenlijst gebruiken. Dit is vaak de makkelijkere en betere optie.
2. Zelf een aantal vragen (items) bedenken die samen één of meerdere schalen vormen. Dit kan beter
passen bij de onderzoeksvraag, maar is erg moeilijk om echt goed te doen. Je hebt bijvoorbeeld een
pilot-test nodig om de betrouwbaarheid en validiteit te checken.
Risico met bestaande vragenlijst: Vaak worden vragenlijsten gemaakt om binnen een bepaalde steekproef af te
nemen. Dat wil zeggen dat als je een Amerikaanse vragenlijst in een Nederlandse context met Nederlandse
bedrijven wil toepassen, dat deze misschien niet 100% geschikt is voor je onderzoek. Het is dus belangrijk om
kritisch na te blijven denken.
ociaal kapitaal
imensies etwerken ormen
b dimensies roo e en pe ertro wen ederzijdsheid
capaciteit
b s b dimensies nformeel ormeel rgerzaken
b s b s b dimensies rienden ren
oe vaak ertro wen in
Aspecten van het et elkaar praten egale s steem
constr ct die wel meetbaar lkaar helpen erk
emeenschappelijke ac viteiten oli ci
zijn (e.g., d.m.v. items in een . oli e
vragenlijst
Construction and analysis of questionnaires (MTO-D) 5
, eetbaar maken van intelligen e
ntelligen e
eeteenheid A
chaal
tems taken
chaal een reeks items, die samen een latent eigenschap (constr ct meten.
tems re ecteren de e ecten van het constr ct
Construeren van een schaal
Schaal = Een blok items dat samen een bepaald aspect van een construct meten. Dus stel je hebt een
vragenlijst die werktevredenheid meet dan kan je een schaal hebben die de sfeer meet, een schaal die het
salaris meet en een schaal die tevredenheid van dagelijkse werkzaamheden meet. Alle schalen bij elkaar
vormen de volledige vragenlijst.
Je moet goed nadenken hoe je het construct meet en hoe je ervoor zorgt dat alle aspecten van het construct
terugkomen in de vragenlijst. Je kan dus niet zomaar items bedenken. Items bedenken gaat dus op een
systematische manier om zo ervoor te zorgen dat ze goed zijn. Dat betekent dat we bij het bedenken van de
items de betrouwbaarheid (consistent meten van construct) en validiteit (structuur van een construct) van
onze schaal waarborgen.
Op het moment dat er geen bestaande vragenlijst is die precies meet wat we willen meten dan moeten we zelf
items bedenken. Daarvoor zijn er verschillende methodes bedacht, daar zullen we vandaag doorheen gaan: wat
doet de methode en wat is de focus van de methode wat betreft de validiteit?
Schaalconstructie: Construct methode
De eerste methode om op een systematische manier items te bedenken om het construct te meten is de
construct methode. De construct methode gebruikt daarvoor een theoretisch framework, het is dus een
deductieve methode aangezien hij begint in de theorie. Hierbij is construct validity (in latere hoorcolleges
hierover meer) de belangrijkste eis die aan de vragenlijst wordt gesteld. De construct validity is hierbij
essentieel omdat de theoretische interpretatie van de meetresultaten centraal staat.
De relatie van het construct met andere constructen staat bij de construct methode centraal; het nomologisch
netwerk. Dit netwerk legt het begrip vast en maakt het mogelijk hypothesen op te stellen omtrent de relaties
tussen geobserveerde variabelen. Een nomologisch netwerk is het onderverdelen van je construct in
verschillende dimensies die daaraan vasthangen, daarnaast geeft het ook weer met welke andere constructen
je op basis van de theorie denkt dat je construct positief of negatief samenhangt. Dus, op een theoretisch level:
van welke constructen verwacht ik dat die positief/negatief correleren met het construct waarin ik
geïnteresseerd ben.
De constructmethode vereist dat de constructie van een test op basis van een theorie plaatsvindt (deductief).
Het nomologisch netwerk geeft, in termen van relaties tussen begrippen, een concretisering van de theorie. In
het ontwikkelen van het nomologisch netwerk moet expliciet aandacht gegeven worden aan de rol van
verwante en vertekenende begrippen. Bij de begripsanalyse zijn zowel de omschrijving als de afbakening van
de begrippen van belang. Als men vooraf geen aandacht besteedt aan de divergente en convergente
eigenschappen van dergelijke begrippen, zal validatie moeilijk zijn.
Construction and analysis of questionnaires (MTO-D) 6
