Constructie en analyse van vragenlijsten
College 1
- Eigenschappen vaak niet direct waarneembaar → meetinstrumenten nodig → vragenlijsten
- Operationaliseren: niet-direct observeerbare eigenschappen vertalen naar concrete vragen
- Dimensionaliteitsonderzoek: vragen kunnen groeperen tot betekenisvolle eenheden (schalen
- Betrouwbaarheidsanalyse en validiteitsonderzoek: kwaliteit van schaalscores
- Vragenlijst: a written set of questions that are given to people in order ro collect facts or opinion
- Het gaat om ‘typisch gedrag’ vaak vragen die zonder specifieke context te beantwoorden zijn. Dus over
algemeen niet hoe gedrag en opinies kunnen veranderen door een andere context, maar meer gedrag of
mening van iemand in het algemeen.
- Maximum performance, waarbij je onderzoekt wat iemand kent/kan → vragenlijst
- Test: meet kennis, kunde, vaardigheid, vaak vragen met antwoorden die juist of onjuist zijn, doel: vaststellen
van iemands maximale vaardigheid
- Vragenlijst: meet typisch gedrag (houdingen, meningen overtuigingen) er zijn geen goed-fout antwoorden
(hooguit minder sociaal wenselijke antwoorden.
Waarom 7 opties → zie je mensen die neiging hebben om extreem te antwoorden – positief of negatief formuleren?
- Item: stelling/vraag + antwoordalternatieven (vormen scoreschaal)
- Vragenlijst: We gebruiken vragenlijsten om eigenschappen te isoleren en daarvan te zeggen in welke mate
iemand die heeft (bijv. tevredenheid met werk, kwaliteit van leven, ...)
- Een samenhangende (vaste) set van items die een bepaalde eigenschap meet noemen we een “schaal”. Een
vragenlijst kan meerdere schalen omvatten.
- Uiteindelijk zijn wij in sociaal wetenschappelijk onderzoek geïnteresseerd in relaties tussen fenomenen en de
mogelijke verklaringen daarvoor (theorieën)
- Ignorance is bliss = zijn intelligentere mensen vaker depressief? → Constructen (eigenschappen) die wij niet direct kunnen observeren moeten
wij operationaliseren en meetbaar maken
- In de (exacte) wetenschappen kunnen we vaak iets direct testen (bv. kwaliteit van een
meetinstrument dat de hoeveelheid water in een bak meet waarbij wij weten wat de echte hoeveelheid is).
- In de sociale wetenschappen is er over het algemeen geen “echte” waarde, maar moeten we vaak een
benadering maken (bv. wij weten niet hoe intelligent iemand echt is,
of hoe geschikt een potentiele werknemer echt is voordat hij/zij nog niet aan het werk is).
➔ Vragenlijsten => Dus eigenlijk maar een benadering van iets wat wij nooit 100% foutvrij kunnen meten.
Alsnog worden vaak belangrijke beslissingen gemaakt op basis van vragenlijsten!! (e.g., promotie van
werknemers, voortzetten van therapie)
➔ Daarom is het des te belangrijker dat deze van goede kwaliteit zijn: Betrouwbaar + Valide
- Betrouwbaarheid: gaat over de herhaalbaarheid/precisie waarmee wij meten; d.w.z., vinden we dezelfde
resultaten zouden we de test/vragenlijst opnieuw afnemen onder dezelfde omstandigheden.
(herhaalbaarheid van metingen)
- We zullen nooit exact dezelfde resultaten krijgen => meetfouten! Hoe kleiner de meetfouten, hoe
nauwkeuriger (preciezer) onze meting.
- Betrouwbaarheid is een noodzakelijke maar niet voldoende voorwaarde voor validiteit: dus niet-
betrouwbaar = zeker niet valide; wel-betrouwbaar = misschien valide.
- Validiteit: Zijn de verschillen in de scores op de vragenlijst (of test) ook echt gebaseerd op verschillen in het
construct waarin wij geïnteresseerd zijn? (meet je wat je wil meten?)
Kenmerken vragenlijsten:
- Gedrag, wat doen mensen? (e.g., vraag aan moeders met kinderen in de basisschool: Werkt u?)
- Overtuigingen, wat is volgens respondenten juist of onjuist? Of inschattingen over situaties (e.g., hoe groot is het
percentage overdag werkende moeders met een kind op school?)
1
, - Meningen/waarden/attitudes: Wat vindt iemand wenselijk?
- Demografische informatie: Kenmerken van de respondent (i.e., leeftijd, inkomen, soort werk)
- Afname van vragenlijsten: Met of zonder (“self administered”) interviewer / Gebruik van technologie:
Telefoon, computer, internet, paper-and-pencil => CAPI, PAPI, CATI, WAPI, CASI, SAPI, SASI / Een combinatie
van bovenstaande methoden
- Type van vragen: Open of gesloten
Voor en nadelen vragenlijsten
- + Hele snelle en efficiënte manier om data te verzamelen
- + Goedkoop (zeker als afname digitaal gebeurt)
- + Geschikt voor onderzoek in grote steekproeven
- - Lage respons (vooral voor vragenlijsten die via e-mail worden verstuurd, of online)
- - Antwoorden geven eventueel een vertekend beeld van de werkelijkheid (sociaal-wenselijk)
- Enquête: Techniek/Onderzoeksmethode voor het verzamelen van informatie bij grote groepen mensen: 1)
gestructureerd en systematische dataset (variable × case data grid) 2) proberen te achterhalen wat de
onderliggende oorzaak is voor een fenomeen
- Informatie kan verzameld door middel van een vragenlijst, maar ook interviews/ observaties. Dus: Enquête
(survey) ≠ Vragenlijst (questionnaire)
College 2 : meetbaar maken van constructen
- Meten in sociale wetenschappen: vaak zijn we geïnteresseerd in het meten van een eigenschap of gedrag.
Bv, werksfeer, persoonlijkheid etc
➔ Niet direct observeerbaar en hierdoor ook niet direct meetbaar
➔ Moeilijk, snel onbetrouwbaar
- Niet direct observeerbare concepten = latente constructen (niet direct meetbaar)
- In de wetenschappelijke literatuur = latente variabelen
Constructen in sociale wetenschap
- Onderzoek is gericht op kennis over relaties tussen constructen en zoeken naar verklaringsmechanismen.
➔ Wanneer een nieuwe organisatiestrategie niet is afgestemd op de cultuur in de organisatie, dan zal deze
niet succesvol zijn
➔ Extraverte leiders zijn effectiever dan introverte leiders
➔ Toenemende burgerlijke ongehoorzaamheid wordt veroorzaakt door een minder sterk gevoeld sociaal
contract
- Constructen: abstracte beschrijvingen van karakteristieken, gedragingen, of attituden die iets
gemeenschappelijk hebben.
- Probleem: constructen kunnen wij vaak niet direct meten, maar zijn
latent (niet direct observeerbaar/meetbaar)
- Oplossing: indirect meten met behulp van een vragenlijst (typical
performance) of test (maximum performance). Eerst construct
operationaliseren.
Vragenlijst onderzoek:
- Optie 1: al bestaande vragenlijst gebruiken; vaak makkelijker en betere optie
- Optie 2: zelf vragen bedenken en die samen één of meerderdere schalen vormen
Niet direct meetbaar → meetbaar maken (van abstract naar concreet)
- Conceptualiseren: ontwikkelen van een eigen nominale definitie. Bv dmv literatuuronderzoek
2
, - Tot het punt dat de constructen meetbaar zijn: operationale definitie
- Verschil dimensies en indicatoren construct → dimensies heeft sub-dimensies
- Aspecten van het construct die wel meetbaar zijn
Construeren van een vragenlijst/schalen
- Constructmethode, rationele methode, prototypische methode, facetmethode, interne methode, externe
methode
- Betrouwbaarheid en validiteit belangrijkst bij evalueren van kwaliteit vragenlijst
- Betrouwbaarheid = consistent meten van een construct
- Validiteit = structuur van een construct, meet je ook echt wat je wil meten? Welke items meten wat?
1. Constructmethode
- Deductief van aard: start met een theoretisch kader, items worden hieruit afgeleid
- Specificatie van een nomologisch netwerk: het construct wordt uitgebreid bestudeerd, een precieze definitie
wordt geformuleerd ( met sub-constructen en sub-bdiemensies), gerelateerde en niet gerelateerde constructen worden
geïdentificeerd en/of gedefinieerd.
- Een homogene set van items die het begrip dekken: Veel aandacht voor convergente en divergente validiteit (komen we nog op
terug): kort gezegd: hangen de items samen schalen die theoretisch vergelijkbare constructen meten, en is er geen samenhang met
items/schalen die andere constructen beogen te meten [oftewel: past de schaal binnen het veronderstelde nomologisch netwerk].
2. Facetmethode
- Deductief van aard: begint met conceptuele analyse in 4 stappen:
1) Analyse van het gedrag essentieel voor het construct
2) Essentiele aspecten worden gespecificeerd (facetten)
➔ Facetten met betrekking tot de inhoud van een item: “situatie facet”, “gedrag facet”
➔ Facetten met betrekking tot de antwoordalternatieven van een item
3) Voor elk facet wordt een aantal facet-elementen gedefinieerd (Engels: “structs”)
4) Facetten worden met elkaar gecombineerd; elke combinatie is een structuple
- Structuples worden verbaal weergegeven door het gebruik van een mappinsentence (kateringszin).
3. Rationele methode
- Deductief van aard: kennis van experts wordt gebruikt om het construct te definiëren en items te
bedenken: zonder theoretisch kader. Item formulering &evaluatie op basis van beschrijvingen van experts.
Bv vaak gebruikt in klinische settings
- Constructie gericht op hoge face validiteit (indruksvaliditeits)
‘ik voel me vaak neerslachtig”→ hoge fave validiteits – ‘ik ga minder vaak naar feesten”→ lage face-validity, moeiliker te zeggen wat item
beoogd te meten
4. Prototypische methode
3
, - Inductief van aard; geen inhoudsanalyse van het construct
- Heuristisch de meest centrale/kenmerkende elementen van het construct
- Act nomination” voor item formulering – karakteristieken genoemd door respondenten (vaak (maar niet per
se) experts), beoordeling van deze items (hoe kenmerkend zijn deze voor het construct?) vervolgens door experts
- Inductieve methode: a-theoretisch van aard, analyseert niet de inhoud van een construct.
- Zowel de rationele als de prototypische methode maken gebruik van persoonlijke evaluaties.
- Staat ook bekend als de "handelingsfrequentiebenadering“; persoonlijkheid/dispositie constructies worden
gerepresenteerd door gedragsreeksen (handelingen genoemd); sommige handelingen worden beschouwd
als meer prototypisch voor het construct dan andere.
- De prototypische methode is systematischer en uitgebreider en maakt gebruik van gestandaardiseerde
evaluaties en een grote steekproef van beoordelaars. Hoofddoel is om de meest (proto)typische
handelingen van het construct weer te geven.
- Inductieve methode: a-theoretisch van aard, de methode analyseert niet de inhoud van een construct. Zowel
de rationele als de prototypische methode maken gebruik van persoonlijke evaluaties.
- Itemproductie: Act nominatie door respondenten Vaak niet-experts maar kunnen ook experts zijn): “Denk aan personen met
extreme standpunten over het te operationaliseren construct en schrijf gedragingen op die dit construct illustreren”.
- Selectie van items, schaalconstructie: experts beoordelen de mate waarin een item "past" bij het construct.
5. Interne methode
- Inductieve methode: a-theoretisch van aard, de methode analyseert niet de inhoud van een construct; sterk
empirisch gedreven
- Er wordt een zeer grote set items gemaakt met behulp van elke methode en combinaties van methoden:
bijvoorbeeld vraag experts -> rationele methode.
- Itemproductie: homogeen. De betekenis van een bepaalde schaal wordt afgeleid uit de inhoud van de
samenstellende items! Items die geen homogeniteit vertonen, worden meestal verwijderd.
- Schaalconstructie op basis van homogeniteitsanalyse.
- Itemselectie: betrouwbaarheids- en validiteitsbeoordelingsmethoden gebruiken!
- Ook wel interne consistentiemethode genoemd
6. Externe methode
- Inductieve methode: a-theoretisch van aard, de methode analyseert niet de inhoud van een construct;
selectie items op statistische gronden.
- Extern criterium: Meestal een variabele die theoretisch of praktisch relevant is en empirisch gerelateerd is
aan de vragenlijst (bv. gedragsmaatstaf, klinische status, …).
- Itemconstructie: heterogeen. De items raken doorgaans verschillende aspecten van het construct.
- Maximaliseren van "voorspelling" (bijv. sollicitatiegesprek bij Google) | om die reden probeer je juist
verschillende aspecten in kaart te brengen, die elk unieke bijdragen aan de voorspelling.
- Selectie van items/schaalconstructie: optimaliseer de relatie met een extern criterium, d.w.z. item-
criteriumrelatie. Dit is het maximaliseren van de criteriumgerichte validiteit!
- Selectie- geschiktheidstests: bijv. interviewvragen van google selectie-instrumenten voor selectie politieagenten
- Screening en diagnose: Screenen mensen met verhoogd risico op burn-out (BAT); inschatten recidive bij delinquenten (RISC); diagnose
van psychopathologie, persoonlijkheidsstoornissen (MMPI)., gedragsproblemen.
4
, Collegecollege 3: covarianti3s en correlaties
- Meetniveaus: nominaal, ordinaal, interval, ratio
- Beschrijvende grootheden & statistische samenhang
- De analysemethodes voor het vaststellen van betrouwbaarheid en validiteit van een vragenlijst zijn
gebaseerd op de samenhang tussen variabelen
➔ SterkesSterke samenhang tussen de scores voor de twee meetmomenten is een bewijs dat we
betrouwbaar meten.
➔ Als die samenhang er niet (of te zwak is) dan kun je twijfelen aan de betrouwbaarheid.
- Meetniveau van de items in een vragenlijst? → afhankelijk van het item → vaak worden likert items gebruikt
→ hoe hoger hoe positiever
- Bij Likert items geven respondenten op een symmetrische eens-oneens schaal aan in hoeverre ze het eens
of oneens zijn voor een reeks van stellingen:
- Scores op de Likert items hoogstens ordinaal meetniveau hebben
➔ Als Likert-items ordinaal zijn, dan geldt dat ook voor de totaalscores op een Likert schaal. Als je je hier dan
ook strikt aan vasthoudt, dan statistische maten als gemiddeldes, varianties, correlaties niet op deze data van toepassing zijn.
- Maar dan analysemogelijke wel erg beperkt! In de praktijk werken we met de scores alsof het scores op
intervalniveau zijn: dit is een pragmatische keuze.
- Statistische samenhang
- Covariantie: (niet-gestandaardiseerde) maat voor lineaire samenhang
- Correlatie: samenhangmaat gebaseerd op het concept van covariantie
- Beide maten beschrijven de mate van lineaire samenhang tussen twee variabelen
➔ Positieve samenhang: Hogere waardes op X hangen samen met hogere waardes op Y (and vice versa)
5
