Hoorcollege 1 – 29 januari 2019 – Inleiding MTO-D
Introductie vragenlijsten
- Waarom zijn vragenlijsten belangrijk?
- Vragenlijst vs. enquête (survey)
- Constructie en analyse van vragenlijsten.
Vragenlijsten
Vragenlijsten zijn overal:
• De regering gebruikt vragenlijsten bijvoorbeeld om de gezondheid van de bevolking
te meten, de economische groei, of andere aspecten, om belangrijke beslissingen te
nemen betreffende haar beleid
• Organisaties of bedrijven gebruiken vragenlijsten om de tevredenheid van hun
klanten of werknemers te meten
• Vragenlijsten worden gebruikt om politieke voorkeuren en kiesgedrag te voorspellen
• Psychologen gebruiken vragenlijsten voor diagnose, om geschikte kandidaten voor
een baan te selecteren of om persoonlijkheid en/of gedrag te meten
• (Online) winkels gebruiken vragenlijsten voor marketingdoeleinden.
Wat is de definitie van vragenlijsten?
Vragenlijsten: “a written set of questions that are given to people in order to collect facts or
opinions about something” (typisch gedrag of mening)
- Dus: hoe denkt/ voelt/ handelt iemand in een bepaalde situatie? Het is daardoor een
momentopname. Hoe denkt iemand in het algemeen? Er wordt daardoor niet gedoeld
op een specifieke handeling/ gebeurtenis.
- Een van de meest gebruikte instrumenten voor het verzamelen van data in de
sociale wetenschappen.
o Personeelwetenschappen; gegevens verzamelen over groepen/ bedrijven.
Wat doet een vragenlijst (of test) precies?
Een vragenlijst probeert niet om de mens in al zijn facetten en complexiteit te ‘vangen’.
- De échte waardigheid/ exacte waarde kunnen we niet meten/ observeren. We
moeten het benaderen. Vergeleken met de exacte wetenschappen, maakt dit sociale
wetenschappen zo moeilijk. Ook moeten deze vragen begrepen worden. Daardoor
worden testen héél specifiek gemaakt. Wij focussen ons op precies één eigenschap/
facet van de mens.
- Let op! Een vragenlijst en test zijn twee verschillende dingen!
Een vragenlijst probeert eerder één eigenschap te isoleren, en daarvan te zeggen in welke
mate iemand die heeft (bijv. IQ of werknemerstevredenheid etc.)
- Een niet volledige beschrijving van de realiteit, maar dit met opzet!
- Het is dus eerder één eigenschap te isoleren, en daarvan te zeggen in welke mate
iemand die heeft.
Voorbeeld; scores – mensen hebben “in het echt” (als wij dit direct zouden
kunnen meten) een bepaalde ordening op een construct. Ik wil een test
maken met scores die op dezelfde manier geordend zijn.
Deze ordening kunnen wij benaderen door middel van een meetinstrument,
een vragenlijst!
- Het meetinstrument is een indirecte benadering van hetgeen wat wij
niet direct kunnen observeren/ meten. Het zorgt ervoor dat we het tóch meetbaar
kunnen maken!
1
,Wat hebben we eraan?
Uiteindelijk zijn wij in sociaal wetenschappelijk onderzoek geïnteresseerd in
het beantwoorden van onderzoeksvragen en toetsen van hypotheses.
Voorbeeld: “Intelligente mensen zijn vaker depressief”
(‘Ignorance is bliss’)
Om deze hypothese te testen moeten wij de constructen die wij niet zomaar
kunnen observeren (e.g., intelligentie, depressie) operationaliseren (meer
hierover in college 2) en meetbaar maken.
Dit kan door middel van een vragenlijst.
o We kunnen het niet zomaar meten, want we weten niet wat intelligentie is.
Constructen: intelligentie, depressie – we kunnen het niet direct observeren
en meten.
o We beginnen dit proces altijd met de operationalisatie van het construct. Dit
doe je bijv. door middel van een literatuuronderzoek – wat is het precies en
hoe kunnen we het meten? Op basis van deze uiteindelijke definitie, kunnen
we het opbreken naar kleinere onderdelen. Denk bij depressie bijvoorbeeld
aan verschillende symptomen. Deze kun je meetbaar maken!
Voorbeeld: vragenonderzoek.
Hypothese: Intelligente mensen zijn vaker depressief (‘Ignorance is
bliss’)
- Dit kunnen wij toetsen door te kijken naar het verband tussen
intelligentie en depressie, e.g. predictie:
“Hoe hoger iemands IQ is, des te meer depressie symptomen
heeft hij of zij”
- Hoe kunnen we deze hypothese toetsen, dus hoe kunnen we
intelligentie en depressie meten? – vragenlijst!
o Van cirkels naar vierkantjes – van niet meetbare constructen gaan we naar
concepten die wel meetbaar zijn, bijvoorbeeld door middel van een test. De
score die hieruit komt zegt iets over de intelligentie van de persoon.
▪ Kortom, we meten altijd indirect door middel van een test!
▪ We nemen bij dezelfde respondenten de vragenlijst af, de IQ test,
sturen ze naar de psycholoog en berekenen vervolgens de correlatie
hiertussen.
Niet zo moeilijk! Toch?
We gebruiken een vragenlijst om depressie te meten en een test om intelligentie te meten en
kunnen zo onze onderzoeksvraag beantwoorden.
- Makkelijk, toch?
Maar… Dan zijn we er nog niet!
Dit moet namelijk wel op een goede manier gebeuren!
- Vragenlijst moet van goede kwaliteit zijn.
o Betrouwbaar
o Valide
Betrouwbaarheid
Betrouwbaarheid: gaat over de precisie waarmee wij meten.
- Is er veel meetfout (= biases, we zitten ernaast (bijv. flitspalen – paar km te hard)?
- Meten wij consistent (= zelfde test, omstandigheden zijn hetzelfde en dezelfde
scores – op basis van dezelfde test, later tijdstip, dezelfde resultaten?)?
Voorbeeld: betrouwbaarheid – als klaar een hoog IQ heeft op basis van test A, dan
verwachten wij dat hij een net zo hoge (vergelijkbare) score haalt op een ander testmoment.
2
,Validiteit
Validiteit: meet de vragenlijst wat hij moet meten?
- Zijn de verschillen in de test ook echt gebaseerd op verschillen in intelligentie?
Voorbeeld: MTO-D tentamen – je hebt heel goed geleerd, maar er is veel lawaai. Je zult
daardoor zien dat degenen die beter tegen lawaai kunnen een hogere score behalen.
Daardoor meet je niet volledig hoe vaardig iemand is binnen het vak, maar óók meet je een
deel waar je niet in geïnteresseerd bent! Dit is hoe goed iemand tegen lawaai kan.
- Is intelligentie één dimensioneel of zijn er meerdere dimensies (bijvoorbeeld
wiskundige vaardigheid, leesvaardigheid) (structuur van het construct!)
o Dit is in principe niet erg, maar je moet het wel weten!
o Analytische methoden kun je gebruiken om te kijken of je construct wat je
meet één-dimensioneel is, of juist meerdere dimensies bevat?
Voorbeeld: meet het alléén rekenvaardigheid, of ook leesvaardigheid?
Dit beïnvloedt de validiteit, want je meet niet alléén wat je wil meten.
Een betrouwbare vragenlijst hoeft niet valide te zijn, een valide vragenlijst hoeft niet
betrouwbaar te zijn.
Voorbeelden van vragenlijsten:
• World Value Survey: “The WVS consists of nationally representative surveys
conducted in almost 100 countries which contain almost 90 percent of the world’s
population, using a common questionnaire. The WVS is the largest non-commercial,
cross-national, time series investigation of human beliefs and values”
• Hofstede’s multifocus mode: Cultuur en strategieën binnen een organisatie
• Vragenlijst van de Living Standards Measurement Survey (LSMS): wat hebben
mensen ter beschikking? Hoe ziet hun huishouden eruit – welzijn.
Verschillen: WVS wordt ingevuld door de interviewer/ onderzoeker en VSM door deelnemer.
Vragenlijsten – enkele kenmerken (zie bovenstaande voorbeelden)
Enkele kenmerken:
1. Inhoud van de vragenlisten:
o Gedrag, wat doen mensen in bepaalde situaties? (e.g., vraag aan moeders
met kinderen in de basisschool: Werkt u?)
o Overtuigingen, wat is volgens respondenten juist of onjuist? Of inschattingen
over situaties (e.g., hoe groot is het percentage overdag werkende moeders
met een kind op school?)
o Kennis over feiten
o Meningen/waarden/attitudes: Wat vindt iemand wenselijk?
o Demografische informatie: Kenmerken van de respondent (i.e., leeftijd,
inkomen, soort werk) (waarom – meeste respondenten haken af na verloop
van tijd. Het is belangrijk om te achterhalen of dit niet een bepaalde groep is.
Wanneer er een complete groep afhaakt, bijv. 20-jarigen, heb je een groot
gebrek in je data. Je mist namelijk een groep! Het is dus belangrijk om te
achterhalen of het structureel is of niet).
2. Afnemen van vragenlijsten
3
, o Met of zonder (“self administered”) interviewer
o Gebruik van technologie: Telefoon, computer, internet, paper-and-pencil
=> CAPI, PAPI, CATI, WAPI, CASI, SAPI, SASI (afkorting niet kennen).
o Een combinatie van bovenstaande methoden
3. Type van vragen: open of gesloten?
Vragenlijsten – voor- en nadelen
Vaak is hetgeen wat je wil weten subjectief. Daardoor is het heel voordehand liggend dat je
een vragenlijst gebruikt voor je onderzoek.
- Voordelen:
o Hele snelle en efficiënte manier om data te verzamelen
o Goedkoop
o Kan voor grote steekproeven gebruikt worden
- Nadelen:
o Lage respons (dit geldt vooral voor vragenlijsten die via e-mail worden
verstuurd of online worden afgenomen) (een groot deel zal niet antwoorden.
Het is heel moeilijk om te achterhalen waarom zij dit niet hebben gedaan).
o Antwoorden geven eventueel een vertekend beeld van de werkelijkheid (e.g.
satisficing, social desirability) (het is een subjectieve manier van onderzoek
doen – pragmatisch).
Voorbeeld: sociaal wenselijk gedrag – drugs en alcohol gebruik, satisficing – steeds ja
zeggen wanneer er een interviewer bij is. Je wil het onderzoek positief beïnvloeden
(daardoor kan observatiestudie soms beter zijn).
Enquête (survey)
Survey: techniek/onderzoeksmethode/ instrument voor het verzamelen van informatie
1. Gestructureerd en systematische dataset (variable × case data grid)
2. Proberen te achterhalen wat onderliggende oorzaak is voor een fenomeen
Informatie kan verzameld worden door middel van een vragenlijst maar ook bijvoorbeeld
door middel van een interview of een observatiestudie.
- Dus: enquête (survey) ≠ vragenlijst (questionnaire).
De survey/ test is een échte onderzoeksmethode. De vragenlijst is een manier om de
informatie te verzamelen.
- Kan een test ook de mening van een respondent meten? Nee! Je gebruikt het veel
objectiever. Over het algemeen is er geen goed zicht op de mening. Je kunt niet
zeggen: nee, dat is fout. Tegen een test kun je dit wel! Hierbij heb je écht een goed of
fout antwoord op een vraag.
Voorbeeld: intelligentietest – voorbeeld test. Er is slechts één antwoord goed.
Verschil test en vragenlijst
Test:
- Over het algemeen een vaardigheidstest (prestatietest/ achievement test)
- Vaak een aantal vragen die duidelijk “juist” of “onjuist” zijn
- Vaststellen van iemands maximale vaardigheid
≠ Vragenlijsten: typisch gedrag of mening
- Vaak gebasseerd op vragen (items) en taken, bijvoorbeeld WAIS (Wechsler Adult
Intelligence Scale)
Oerzicht van de inhoud van de cursus
4