Construction and Analysis of Questionnaires
Lecture 1
Questionnaire (typical performance) = a written set of questions that are given to people in order to collect facts or opinions
about something
Typical behavior, vragen die beantwoord worden zonder specifieke context (iemands algemene gedrag of mening). Een van de
belangrijkste data collection tools in de sociale wetenschappen.
Item = statement/question + response alternatives
1 measurement instrument (questionnaire or test)... probeert 1 kenmerk wel te isoleren en probeert te kwantificeren in
hoeverre iemand "dat heeft". Geeft een onvolledige beschrijving van de werkelijkheid on purpose... probeert een persoon niet
vast te leggen met al zijn / haar facetten en complexiteiten
Questionnaire multiple “scales” = group of items that measure the same aspect
• In the exact sciences = direct iets meten (bijv. hoeveelheid water in een bak meet)
• In the social sciences = geen "echte" waarde", niet waarneembaar (bijv. intelligentie of geschiktheid
• Questionnaire => Dus eigenlijk gewoon een benadering van iets dat we niet foutloos kunnen meten.
Reliability = the precision of the measurement (Is there a lot of measurement error? Are we measuring in a consistent way?)
Validity = Are the differences that evolve from the questionnaire really differences in the construct we are interested in?
Structure of the construct (meet je echt wat je wilt meten? welke items meten wat precies?)
Questionnaires
1. Asking about (content)
Behaviour, wat mensen doen
Beliefs, wat mensen geloven dat waar / onwaar is
Opinions/values/attitudes: Wat vinden mensen wenselijk?
Demographical information: Informatie over kenmerken van responden (leeftijd, inkomen, type baan)
2. Administration mode (de manier waarop)
• Interactional mode: With interviewer or self-administered
• Technological mode: Telephone, computer, internet, paper-and-pencil
• Mix of administration methods (bijv. Computer and pencil CAPI, PAPI, CATI, WAPI, CASI, SAPI, SASI
• Question type: Open versus closed format
Pros and cons
+ Snelle manier om gegevens te verkrijgen, goedkoop, kan worden gebruikt voor grote monsters
- Lage responspercentages (vooral voor e-mail- en internetenquêtes), antwoord op vraag kan afwijken van feitelijke feiten /
gedrag (bijv. tevredenheid, sociale wenselijkheid)
Survey = Technique/Research method voor het verzamelen van informatie;
1) gestructureerde of systematische set gegevens (variabele × case data grid)
2) het zoeken naar inzicht in wat een fenomeen kan veroorzaken
survey ≠ questionnaire (questionnaire = manier van data verzamelen)
Test = achievement test (de items hebben een goed en fout antwoord).
Test ≠ questionnaires ( Test gaat over maximal performance en Q gaat over typical performance)
, Lecture 2: How to make constructs measurable
Questionnaire construction = Make non-observable constructs measurable.
constructs = niet-waarneembare concepts, waardoor we ze niet direct kunnen meten. (social science)
Latent variables = niet direct waarneembaar/meetbaar; Bijv: Intelligence armoede, etc
Constructs in social science research
Constructs = mentale representaties en zijn meestal gebaseerd op ervaring; abstracte samenvattingen van een hele
reeks kenmerken, gedragingen, houdingen die we zien als iets gemeenschappelijks
Problem = De meeste constructies kunnen niet op een directe manier gemeten worden (in tegenstelling tot haarkleur,
geslacht, lengte, bmi, ...) maar zijn latent
Solution = Indirecte meting met behulp van een vragenlijst
Make something measurable that is not (directly) measurable: How??!
Heuristic approach: (“Descending the ladder of abstraction”)
Define what we mean by the concept:
Ontwikkel onze eigen nominal definition (bijv. na literatuuronderzoek, het controleren van encyclopedie, web)
Wat zijn de verschillende aspecten (afmetingen) van de constructie? (Afmetingen worden onderverdeeld in subdimensies, enz
... totdat we op het punt komen dat we iets meetbaars hebben = operational definition
How can we make a construct measurable?)
• Social capital = consists of networks of social relations which are characterised by norms of trust and reciprocity.
Combined, it is these elements which are argued to sustain civil society and which enable people to act for mutual benefit”
• Social capital = bestaat uit netwerken van sociale relaties die worden gekenmerkt door normen van vertrouwen en
wederkerigheid. Gecombineerd zijn het deze elementen die worden beargumenteerd om het maatschappelijk middenveld te
ondersteunen en die mensen in staat stellen om te handelen voor wederzijds voordeel”
Dimension = measurement instrument for (sub)constructs’
2 dimensions:
1 Structure of social relationships – networks
2 Quality of social relationships - norms
,Deductive in nature: Starts from a theoretical framework. Items are derived from a theoretical definition of the construct
1. Scale construction: Construct method (deductive)
1. Specification of the nomological network = Het construct wordt in detail bestudeerd, er wordt een precieze definitie
gegeven (inclusief subconstructies/dimensies), gerelateerde en niet-gerelateerde constructen worden gedefinieerd.
2. Homogeneous set of items die alle aspecten van de constructie bestrijken
3. Convergente en divergente validiteit = zijn gerelateerde items & dimensies inderdaad gerelateerd en zijn niet-
gerelateerde dimensies inderdaad niet gerelateerd?
2. Scale construction: Facet method (4 steps) (deductive)
1. Analysis of the behaviors essential for the construct
2. Facets = essentiële aspecten gespecificeerd (content of the item: situation/behaviour facets & answer alternatives of the item)
3. Structs = voor elk facet wordt een aantal facetelementen gedefinieerd
4. structuple = resulterend element. De facetten zijn volledig cross-classified
Mapping sentence = items combineren
NOTE: (Construct gaat vooral over de content/definitie van construct) - (Facet gaat vooral over het gedrag/scenario)
Bijv, Content related facets
Two situation facets:
- wanneer angstig (facetelementen: thuis, in de wachtkamer),
- welke angst (facetelementen: interactie met de tandarts, daadwerkelijke behandeling)
One behaviour facet:
- type angst (facetelementen: fysiek, emotioneel, cognitief)
• 2x2x3=12 elementen in facetdesign, for each an item has to be constructed
• Structuple (=the whole figure! Facets naast elkaar, met de structs):
• Mapping sentence!! = 3 items combineren (Item for a2, b3, c1 If I know that the dentist is going to pull a tooth, I
am already scared in the waiting room
3. Scale construction: Rational method (Deductive)
• Expert knowledge is used to define the construct and to assess the items (bijv. in klinische omgevingen, artsen, etc)
• High face validity = als er een hoge mate van overeenstemming is tussen beoordelaars. Als de meeste beoordelaars
zeggen dat de test/vragenlijst geschikt is voor het meten van een bepaalde constructie, dan is de test high face validity.
o Bijv. uitspraken als 'ik ben depressief', 'ik geniet veel van de dagelijkse taken van mijn werk', etc.
4. Scale construction: Internal (consistency) method (Inductive method, no content-analysis of the construct, atheoretic)
• Een zeer grote set items wordt gemaakt met behulp van elke methode en combinaties
• Constructie van schaal en selectie van items met behulp van methoden voor betrouwbaarheid en validiteit
Bijv. Vraag experts = rationele methode, stel veel bestaande schalen samen voor de constructie van belang)
- Big Five of Personality using NEO-PI-R (Costa + McCrae), Neuroticisme, Extraversie, Openheid, Bewustzijn, Aangenaamheid
- Questionnaire is ontwikkeld door verschillende bestaande benaderingen te combineren
5. Scale construction: Prototypical method (Inductive)
• Meest typical elementen van de constructie weer te geven
• Item production: Act-nomination door respondenten (vaak niet-experts)
• Selectie van items, schaalconstructie: Experts beoordelen de mate waarin een item "past" in de constructie
• Act-frequency approach (personality/disposition = samenvatting van de trend van iemands gedrag, gevoelens,
gedachten)
Prototypicality ratings: rechters beoordelen op een x-punts (bijv. 7-punts) schaal hoe goed de handeling de dispositie
vertegenwoordigt
6. Scale construction: External method (Inductive)
• Heterogeneous
• Maximizing “prediction” (e.g., job interview at google)
• Selection of items / scale construction: optimize relationship with an external criterion.
• This is maximizing the criterion oriented validity.
Example 1 - External method - Interview questions google for prospective employees:
- "Hoe zou je de grootste crisis van de mensheid kunnen oplossen met 1 miljard dollar en een ruimtevaartuig?"
- "Je hebt een boodschappenbezorgdienst die binnen 24 uur eten bezorgt. Schat in hoeveel vrachtwagens je nodig hebt "
- "Hoe zou je cloud computing uitleggen aan een 6-jarige?"
, Lecture 3: Correlations and covariances (partly repetition of Introduction to Statistics)
Measurement levels; Example: Swimming contest
1, Nominal: classification (gelijke of andere klasse) (welk rugnummer)
2, Ordinal: rank order (more/less, better/worse, longer/shorter, …)
3, Interval: rank order and ratio of differences ("de tijd dat Truus achterliep op Klaas is vier keer korter dan die van Sjaak")
• No fixed zero (nu is Klaas de referentiepoint…. maar volgende keer...)
4, Ratio: order, ratio of differences and ratio of the number themselves can be interpreted ("Sjaak is 1,5x langzamer dan Klaas")
• Clear definition of a zero: er is geen van de variabelen (bv. 0 seconden maar niet 0 graden °F of °C)
Note: Schaal met hoger meetniveau heeft ook eigenschappen van schalen op lager meetniveau
Likert items and Likert scales
Likert questionnaire item = respondenten specificeren hun mate van
overeenstemming of onenigheid op een symmetrische eens-oneens schaal
voor een reeks stellingen.
Likert scale = A number of Likert questionnaire items that form together a scale
Rule of thumb that we use in research practice:
Een Likert-schaal met items met > 4 antwoordopties -> interval level
Why is the measurement level important?
Covariantie en Pearson-correlatie zijn alleen geschikt voor data on interval- and ratio level.
Covariance = non-standardised measure of the strength of the linear relationship between two variables
Correlation = standardised measure of the strength of the linear relationship between two variables (not sensitive to
measurement unit)
Positive: Higher values on X go with higher values on Y
Bijv.: meer ooievaars in één regio gemiddeld meer kinderen per gezin in deze regio
Negative: Higher values on X go with lower values on Y
Bijv.: minder ooievaars in een regio gemiddeld meer kinderen per gezin in deze regio
