Lecture 1: Valid answers? Proper questions!
Introductie:
Marcel onderzoekt individuele gevolgen van communicatie, werkt veel met survey maar ook met
andere methodes, hij gaat het veel over dingen hebben die fout kunnen gaan want hij is een
pessimist en hij vindt dat je moet weten wat er fout kan gaan waardoor je beter kan oordelen over
de validiteit
Surveys:
Word gekeken naar errors in surveys en worden veel verschillende fouten onderzocht en met deze
kennis kan de validiteit verbeterd worden en dus een beter onderzoek gedaan worden. De beste
manier om te leren is door veel fouten te maken, en goed te kijken waar het fout ging en het dan te
verbeteren. Het grootste gedeelte van surveys is het schrijven en bevragen van vragen.
Errors in surveys:
Wanneer we surveys doen vragen we veel individuele vragen maar die individuele vragen en
antwoorden maken ons niks uit maar we willen informatie over de populatie verkrijgen. Er kan
sprake zijn van positieve (overschat de uitkomst) of negatieve bias (onderschat de uitkomst), toch is
er een goed ding aan en dat is dat je tenminste weet wat er gebeurt. Het goede aan random
error/bias is dat je over het algemeen een goede verwachting kan maken.
Soorten errors:
Random error = perongeluk komt er geen representatieve sample, bijvoorbeeld wie heeft er een
spotify account en hoeveel liedjes heb je hierop geluisterd? Veel mensen zullen hierop verkeerde
antwoorden geven omdat ze een gokje moeten doen maar het gemiddelde antwoord kan nog wel
correct zijn omdat de te hoge en te lage inschattingen elkaar afvlakken, dit is niet erg want je wilt
uitspraken doen over de validatie en niet over individuelen.
Biased/systematic error = er wordt een systematische fout gemaakt, er is sprake van question bias,
‘heb je de literatuur van vandaag gelezen’, hier wordt waarschijnlijk geen eerlijk antwoord op
gegeven maar als je het een individu zal vragen zal het antwoord ook eerlijker zijn
- Sample frame
- Proces selectie
- Niet kunnen beantwoorden van vragen
Asking questions:
Wrong questions = leidende/sturende vraag (biased questions), double barreled questions (twee
vragen in een, te herkennen aan het woord and),
Grootste gemaakte fouten in surveys:
- Verkeerd geschreven vraag
, - De manier waarop de vraag wordt gevraagd
- De respondent snapt de vraag niet
- Herinneringsproblemen bij de interviewer (opschrijven, opnemen)
- De manier waarop de informatie wordt gerecorded
- De manier waarop de informatie wordt verwerkt
A simple question:
Hebben de respondenten de juiste kennis om te kunnen antwoorden (vb: is your sytolic pressure
normal at this moment?; wat betekent sytolic? Wat is normal? Je krijgt nu een ja/nee antwoord
maar wil je dit wel?) maak vragen niet moeilijker dan nodig, wees niet te afhankelijk van
respondenten hun geheugen, bedenk of je ‘weet ik niet’ opneemt in de antwoordopties
A don’t know option:
Als je de optie ik weet het niet opneemt zullen veel meer mensen hier gebruik van maken in
vergelijking met wanneer je dit niet toevoegd, je kunt niet maar aannemen dat mensen die
‘weet ik niet’ aangeven random verdeeld zijn over de andere opties; dit kan liggen aan de
cultuur of aan het level of education
Midpoints at a likert-scale/middle option:
Als je het middelste punt weglaat gaat de no opinion optie omhoog maar de andere opties gaan
ook omhoog omdat mensen toch wel een mening blijken te hebben. Als je een midpoint
gebruikt zullen meer mensen het ook gebruiken maar als je mensen wilt forceren om een keuze
te maken moet je de DK/middle point weglaten (kan irritatie bij personen oproepen) en als je
mensen een keuze wilt laten maken alleen als ze die kunnen maken laat de DK/middle point
erin. Met DK/middle point zullen mensen minder nadenken over andere opties.
Answer options:
Meetlevel (nominaal, ordinaal, interval, ratio) van ordinaal kan je interval maken door alle
vragen dezelfde schaal te gebruiken, als het niet nodig is vraag dan niet te gedetailleerd want
mensen gaan afronden maar als je het erg precies wilt weten moet je de vraag erg duidelijk en
precies stellen. Het is niet altijd een probleem om dingen erg precies te vragen maar dit moet
dan wel heel strikt gedaan worden (how many sexual partners)
Sociale wenselijkheid:
Je antwoord in overeenstemming met wat je denkt wat je omgeving accepteert, vaak gaat dit
met gevoelige onderwerpen overeen. Als je dit wilt tegengaan kun je de dreiging wegnemen
door het antwoord anders te verwoorden (Everybody hits their partner, what about you? Do you
hit your partner?). Sociale wenselijkheid verschilt per groep (vb; how often do you get
completely drunk, studenten denken hier anders over dan volwassenen).
Balanced questions:
- Balancing pros and cons, beide kanten goed uitwerken waardoor mensen de voor- en
nadelen goed kunnen zien.
- Structuur in je vraag (eerst het positieve of eerst het negatieve)
- Presentation of answers
Primacy = first answer category wordt meer gebruikt (visual – online)
Recency = last answer category wordt meer gebruikt omdat je die als laatste hoort
Dit valt op te lossen door geen antwoordopties te geven maar dit kan ook weer irritatie
opwekken bij de respondent, ook kan je ze roteren waardoor er bias op individueel level
is maar niet op populatie level