Samenvatting
Bij kwalitatief onderzoek:
zaterdag 19 januari 2013 17:32
Interne Validiteit (onderzoeken wat je wil onderzoeken)
• Systematische werkwijze (goed voor validiteit want dan zie je geen dingen over het hoofd / raak je niet in een
tunnelvisie) Grounded theory = systematische werkwijze.
Verschil in kwaliteit bij kwantitatief / kwalitatief onderzoek qua validiteit en betrouwbaarheid. • Memo’s (onderzoeker maakt aantekeningen)
Kwaliteit bij kwalitatief onderzoek: (participerend onderzoek, case study, focusgroep, kwalitatief interview):
• Triangulatie via topiclijst (via verschillende onderwerpen hetzelfde begrip proberen te belichten)
Interne validiteit = verschijnsel goed beschrijven. (member check, peer review, systematische werkwijze (grounded theory /
interviewertraining), reflectie (door memo's), triangulatie topiclijst, citaten en dan wil je minimale variatie.) • Member check (verslag voorleggen aan ondervraagden)
Externe validiteit = generaliseerbaarheid naar verschijnsel; analytische generaliseerbaarheid (door maximale variatie van steekproef) • Peer review (verslag voorleggen aan andere onderzoekers)
Betrouwbaarheid = navolgbaarheid (door systematische werkwijze, memo's, audio opname's, triangulatie) • Interviewtraining
Kwaliteit bij kwantitatief onderzoek: (survey, multiniveau onderzoek, netwerkanalyse): • Citeren
Interne validiteit = komen resultaten overeen met andere onderzoeken? (construct, soortgenoot, predictief)
Externe validiteit = generaliseerbaarheid naar de populatie / andere populaties (grote random; representatieve steekproef) Betrouwbaarheid (navolgbaarheid)
Betrouwbaarheid = zelfde resultaten na replicatie (interne consistentie, triangulatie, retest) • Systematische werkwijze
• Memo’s
Bij experiment:
Interne validiteit = constanthouding van groep en ervaring van experiment: • Triangulatie (meerdere keren onderzoek uitvoeren, met zelfde resultaten)
door randomisering (uitsluiting van correlaten) en uitsluiting van storende factoren. (zuiver experiment)
Externe validiteit = realiteitsgehalte, is vooral het geval bij quasi-experimentele designs Voor bijna alle kwaliteitscriteria helpt triangulatie. :P
Betrouwbaarheid = zelfde resultaten na replicatie (triangulatie) Voor validiteit kan Member/manipulatie check vaak ook geen kwaad. (behalve bij kwantitatief survey)
En aan experts vragen wat ze ervan vinden is ook altijd goed voor validiteit.
Bij 'hoe zijn onderzoekseenheden geselecteerd' moet je niet alleen methode (sneeuwbal etc)
Maar ook de kenmerken die ze moeten hebben.
Bij design beschrijven zeg je niet alleen wat voor soort onderzoek, maar ook hoe het is uitgevoerd. WANNEER WELKE METHODE:
Kijk eerst: word context / achtergrond rekening gehouden?
Nadeel van bijna elke methode = testeffecten (mensen gedragen anders omdat ze getest worden) Zo nee: kwantitatief onderzoek:
Word er om een causaal verband gevraagd? (leid dit tot dat) Experiment.
Kwantitatief onderzoek Worden er meerdere niveau's bekeken? Multiniveau onderzoek.
Survey (cross sectioneel kenmerken van groep/samenleving beschrijven) Word de relatiestructuur / verspreiding van iets gemeten? Netwerkanalyse.
Het beste is om al gebruikte methoden/vragen opnieuw te gebruiken: die zijn al getest op betrouwbaarheid en validiteit. Anders: Survey bij cross sectionele vraag, panel onderzoek bij longitudinale/trend vraag over een groep,
Interne validiteit krijg je door jou vragen/resultaten met andere tests te vergelijken, door te kijken of resultaten met een theorie tijdsreeksonderzoek bij longitudinale/trend vraag over gebeurtenissen in samenleving.
overeenkomen (constructvaliditeit), door aan experts te vragen (inhoudsvaliditeit), Word de context wel in de gaten gehouden, dan kwalitatief onderzoek:
en door interne consistentie (op meerdere manieren hetzelfde vragen), triangulatie en standaardisatie. Wil je weten wat een kleine groep mensen doen in een klein veld? Etnografisch veldonderzoek.
Externe validiteit krijg je door representatieve grote random onderzoeksgroep te hebben. Wil je onderzoeken waarom mensen iets doen en dat verschijnsel generaliseren? Kwalitatief interview.
Betrouwbaarheid krijg je door op meerdere manieren hetzelfde te meten, bijvoorbeeld door interne consistentie (op meerdere manieren Wil je een probleem oplossen bij een kleine groep? Case study
hetzelfde vragen; voer je als het ware steeds opnieuw de test uit) Wil je zien hoe een bepaalde groep denkt / mening vormt? Focus Groep.
De waarnemingsmethode van een survey =
- 1. Gestandaardiseerde afname van meetinstrument vereist een Interview, telefoon, papier, internet etc.
goede operationalisering (interne consistentie en interne validiteit)
De aselecte steekproef kan zijn: Niet-kanssteekproef kan zijn (= minder
- 2. Generalisering vereist representatieve onderzoeksgroep (externe validiteit) - Enkelvoudig (puur random) geschikt voor survey)
- Systematisch (elke 10e van de lijst) - Convenience sample (mensen moeten zich zelf
- Gestratificeerd (random op basis van melden
Voor een survey is een aselecte steekproef het beste (representatief) - Sneeuwbalsteekproef (vrienden van vrienden
De aselecte steekproef kan zijn: strata; kenmerken)
- Getrapt (multistage; random die elkaar aanmelden)
- Enkelvoudig (puur random) - Quota-steekproef (lijkt op gestratificeerde
- Systematisch (elke 10e van de lijst) universiteit -> random opleidingen
daarvan, en daarvan random steekproef; op basis van kenmerken, maar
- Gestratificeerd (random op basis van strata; kenmerken) mensen daarvan niet random gekozen,
- Getrapt (multistage; random universiteit -> random opleidingen daarvan, en daarvan random studenten.) studenten.)
- Clustersteekproef (een hele groep, uit bijvoorbeeld via sneeuwbalsteekproef mensen
- Clustersteekproef (een hele groep, uit multistage sampling; random universiteit -> random opleidingen daarvan, maar daarvan álle met bepaalde strata gezocht.)
studenten) multistage sampling; random
universiteit -> random opleidingen
Niet-kanssteekproef kan zijn (= minder geschikt voor survey) daarvan, maar daarvan álle studenten)
- Convenience sample (mensen moeten zich zelf melden
- Sneeuwbalsteekproef (vrienden van vrienden die elkaar aanmelden)
- Quota-steekproef (lijkt op gestratificeerde steekproef; op basis van kenmerken, maar mensen daarvan niet random gekozen,
bijvoorbeeld via sneeuwbalsteekproef mensen met bepaalde strata gezocht.)
Netwerkanalyse (verspreiding of relatiestructuur onderzoeken)
Hoe vul je de connectednessmatrix in? Extra matrices
Voor netwerkanalyse haal je via via je respondenten binnen, dus met een
Kijk zo; is er verbinding tussen 2 punten?
- Getrapte steekproef
Als er verbinding is heb je minstens een 1,
- Clustersteekproef
Als er dan ook nog een pad loopt van de een
- Snowball-sampling (hierbij mag je niet generaliseren, consequenties voor externe validiteit)
naar de ander heb je 2,
Als er een pad van de een naar de ander, én een
Grote voordeel netwerkanalyse: Je ziet niet alleen of iets verspreid, maar ook via wie.
pad van de ander naar de een loopt heb je 3.
Om de relaties duidelijk te maken kun je de sterktes van relaties in een matrice uitzetten of bepaalde waarden in kerngetallen
uitdrukken (indices; densiteit, cohesie etc), maar het overzichtelijkst is natuurlijk om een sociogram of graph uit te tekenen:
Je tekent meestal een graph uit om het overzichtelijk te maken
Graph: weergave van relaties tussen subjecten in een sociaal systeem
Soorten graphs:
- Gerichte graph: max. één pijl tussen twee punten. (meestal)
- Multi-graph: meer pijlen mogelijk tussen twee punten.
- Ongerichte graph (sociogram): alleen lijnen tussen punten. De onderzoeker is enkel geïnteresseerd in het feit of twee actoren in
een communicatieve relatie ten opzichte van elkaar staan, ongeacht de richting daarvan.
Incident, adjacent, antecedent:
A B C
- Adjacent: indien punt A het beginpunt is van de pijl tussen A en B,
dan is punt A adjacent met punt B aangrenzend/aanliggend, wel rechtstreeks.
- Incident: punt A en B zijn beide incident (verbonden) met de pijl AB.
- Antecedent: indien punt A het beginpunt is van het pad tussen A en C dan is punt A antecedent met punt C verbonden via een
pad, niet rechtstreeks.
De validiteit van netwerkanalyse is hoog (je meet precies hoe iets verloopt),
de betrouwbaarheid en externe validiteit is laag (het is niet herhaalbaar/generaliseerbaar, bij andere groep krijg je
andere resultaten)
Multiniveau (cross sectioneel invloeden van meerdere niveau's onderzoeken)
Multiniveau is een uitbreiding van het survey, dezelfde regels gelden voor validiteit / betrouwbaarheid.
Dit keer houd de survey rekening met invloed van meerdere niveau's (met de context). LET BIJ HYPOTHESEN GOED OP
Multiniveau onderzoek is vooral geschikt voor comparatieve vraagstellingen: OF ER EEN LEVEL 2 VARIABELE
Zijn er verschillen tussen scholen met betrekking tot de prestaties van de leerlingen, (wijk/inwoners) MET EEN
Zijn er verschillen tussen wijken in de stad in de mate dat bewoners kampen met angst. INDIVIDUELE VARIABELE (kijktijd
/ score) WORD VERGELEKEN!
Dan heb je multiniveau.
T = moderator, dan heb je interactie effect.
T kan effect hebben op Y (context effect) of op de relatie tussen X en Y. (interactie effect)
Er kan gekeken of een macro variabele (wijk) invloed heeft op een micro variabele (angst bewoners),
tegelijkertijd kan er ook gekeken worden of een andere micro variabele ook invloed heeft (tv kijken). Dan bekijk je context effect.
Er kan ook gekeken worden in hoeverre het macrokenmerk (wijk) invloed heeft op de relatie tussen micro kenmerken (tv kijken -> angst);
dan heb je een interactie model (crosslevel interactie)
Voorbeeld cross level interactie:
In hoeverre bepaald het tentamencijfer de inzet van de leerlingen, rekening houdend met de prestatie van de hele klas?
I -----> I
^
|
O
Of:
De soort school heeft weinig effect op schoolprestaties bij kinderen uit laag milieu, de soort school heeft een groot effect op kinderen uit
hoog milieu)
O ------> I
^
|
O
Meestal zie je aan de vraagstelling of het interactie is. Check dit: globaal kenmerk aggregeren = analytisch kenmerk.
Relationeel kenmerk aggregeren = structureel kenmerk.
Typen variabelen: Contextueel kenmerk = na disaggregatie van hoger niveau.
- Absoluut of globaal kenmerk: geconstrueerd zonder informatie van anderen in de groep of andere niveaus variabele die je
direct kunt meten, bijv. leeftijd en geslacht.
- Relationeel kenmerk: relatie van een eenheid met andere eenheden op hetzelfde niveau. Bijv. de mate waarin een individu met
bepaalde andere individuen contact heeft door middel van chatten of mailen.
- Analytisch (groeps)kenmerk: verkregen door gegevens van een lager niveau te aggregeren, bijv. de gemiddelde leeftijd van een
groep.
- Structureel (groeps)kenmerk: verkregen na analyse van relationele gegevens van eenheden van een lager niveau, bijv. het
aantal contacten tussen inwoners van een wijk.
- Contextueel kenmerk: verkregen door disaggregatie van gegevens van een hoger niveau. Bijv. alle individuen uit eenzelfde land
krijgen dezelfde score op een contextuele variabele, bijv. je komt uit een land met een hoge toestroom van migranten.
Na agreggeren kom je uit op een gemiddelde score van een groep (niveau 2) binnen een context (wijk/bedrijf), in plaats van de score
van een individu (niveau 1). Voorbeeld:
Colleges Page 1
, van een individu (niveau 1). Voorbeeld:
Met wie heb je contact ----agre----> gemiddeld aantal contacten in de wijk (relationeel --> structureel kenmerk)
OF gemiddelde kijktijd van individu -----agre----> gemiddelde kijktijd in een land (globaal --> analytisch kenmerk)
Disaggregeren geeft het tegenovergestelde;
Na disaggregeren kom je vaak op de score van een lager niveau (vaak individu).
(gemiddelde landen van herkomst in NL ----dis---> land van herkomst van individu) (hoger niveau --> contextueel kenmerk)
* ecologische fout: een samenhang die je vaststelt op level 2, zegt niets over level 1.
Gevaar bij multiniveau analyse Dat er veel analfabeten en negers op een plek voorkomen betekent niet dat het door de negers
Ecologische fout: komt.
Op basis van gegevens over collectiviteiten komt men tot uitspraken over eenheden op
een lager niveau (bijvoorbeeld individuen) * atomistische fout: samenhang op level 1 zegt niets over level 2.
Dat er veel negers analfabetisch zijn betekent niet dat daarom het hele dorp analfabetisch is.
Voorbeeld Wanneer je in een multiniveauonderzoek met 2 levels aggregeert, creeer je variabelen op level 2.
Gebied % allochtonen % analfabetisme Als je die aan elkaar relateert is dat prima, zolang je je conclusies op level 2 houdt. De neiging is
1 30 20 echter groot om toch op level 1 te concluderen, in dat geval maakt je een ecologische fout.
2 50 40 Wanneer je in een multiniveauonderzoek met 2 levels disaggregeert, creeer je variabelen op level 1.
Als je die aan elkaar relateert is dat prima, zolang je je conclusies op level 1 houdt. De neiging is
3 70 60
echter groot om toch op level 2 te concluderen, in dat geval maakt je een atomistische fout.
Je mag geen uitspraken doen over eenheden op een lager niveau, je mag niet zomaar zeggen: het zullen wel de allochtonen zijn
die niet kunnen lezen of schrijven.
Panel- tijdsreeks en cohort onderzoek. (Bij TRENDVRAGEN)
Dataverzamelingsmethoden zijn gevarieerd; survey, inhoudsanalyse, apparatuur (bv. Kijkmeter), secundaire data (CBS, validiteit daarvan
moet wel goed zijn), archief (gemeente, bedrijven). Het gaat er vooral om dat het onderzoek op meerdere tijdstippen word uitgevoerd.
Validiteit en betrouwbaarheid bij survey ken je al, dat blijft hetzelfde bij tijdreeks survey. Als er gebruik word gemaakt van
archief/secundaire data is de validiteit daarvan belangrijk; moet gecheckt worden voordat je het gebruikt.
Verschil met survey: Het is gericht op veranderingen/ontwikkelingen en bruikbaar om uitspraken te doen over causaliteit. (met een cross
sectionele survey kun je geen causaliteit vaststellen; je weet niet wat eerst kwam.)
- Panel onderzoek = om individuele veranderingen/trends te bestuderen.
- Longitudinale survey (= herhaalde cross-sectie) doe je met op elk tijdstip verschillende mensen om veranderingen/trends in de
samenleving te bestuderen. (Men aggregeert dan vaak van individueel niveau resultaten naar hoger niveau uitspraken)
- Cohort-data: je volgt een specifiek cohort door de tijd heen om veranderingen binnen/tussen cohorten te bestuderen.
Panel onderzoek
Met een splitpanel/roterend panel zie je eventuele slijtage van het panel/het meetinstrument en paneleffecten.
Door paneleffecten (gevolgen van herhaald hetzelfde vragen) en slijtage (van panel = steeds kleinere groep, van methode = vraag klopt niet - Impactpanel: wanneer panels gebruikt worden
meer) komen validiteit en betrouwbaarheid in beding. om bepaalde effecten te meten van reclame, tv-
programma’s of welke stimuli dan ook. Een
Grotere intervallen: impactpanel is ook wel een groots opgezet quasi-
Voordelen: paneleffecten kunnen zo vermeden of afgezwakt worden. Een respondent zal minder snel door de herhaling van de experiment (zonder controlegroepen):
vraag geïrriteerd raken en zich minder gemakkelijk het antwoord van de vorige keer herinneren. t1 X t2
stimulus/ingreep
Nadelen: toename van uitval, een grotere noodzaak tot het aanpassen van vragenlijsten en bij impactpanels een grotere kans dat
tussentijdse gebeurtenissen mede een verandering in de afhankelijke variabele teweegbrengen.
Analyse van panel/tijdsreeks/cohort data Turnover tabel 2
Verschil tussen turnover en shift.
Stel je wilt onderzoeken of de stemvoorkeur verschilt van links naar rechts.
Stemintentie
En je onderzoekt dat over de tijd.
in oktober
Dan kun je in de tabel naar turnover kijken of de voorkeur per individu gelijk is gebleven of is geswitcht.
Of naar shift of de totale aanhang per partij gelijk is gebleven of geshift. Stemintentie Republikeins Democra Niet
in november ten stemmen Totaal
Republikeine 215 ( 94%) 7 6 ( 9%) 228
Januari n ( 4%) ( 50%)
Links rechts totaal Democraten 4 ( 2%) 144 0 148
( 86%) ( 0%) ( 32%)
links 120stabiel 50switch 170
Niet stemmen 10 ( 4%) 16 59 85
februari rechts 30switch 100stabiel 130
( 10%) ( 91%) ( 18%)
totaal 150 150 300
Totaal 229 (100%) 167 65 461
( 50%) (100%) (100%) (100%)
Turnover: % verandering op individueel niveau:
Hoeveel % van de mensen is geswitcht. ( 36%) ( 14%) (100%)
80 mensen zijn geswitcht: 80/300 x100 = 26% turnover.
Shift: % verandering op partijniveau: is aanhang geslonken of gegroeid? - Shift (trend): de mate waarin netto-veranderingen optreden
Dat zie je aan de randen van de tabel: (veranderingen in de marginalen van de tabel)
Aanhang linkse partijen in januari = 150, aanhang rechtse partijen in januari = 150
Aanhang linkse partijen in februari = 170, aanhang rechtse partijen in februari = 130 ( |228 – 229| + |148 – 167| + |85 – 65| / 2) / 461 = 0,04 = 4%
Dus links +20, rechts -20.. Verandering is bij beide 20. 20/300 = 6% shift; de aanhang van de partijen veranderd met 6% het aantal niet-stemmers is toegenomen met 4%.
Conclusie op partij-niveau
3 belangrijke invloeden die mensen kunnen ondergaan en die inzicht kunnen geven in
veranderingen (veranderingen interpreteren): - Turnover: de mate waarin zich er bruto-veranderingen
1. Leeftijdseffect De effecten ervan zijn moeilijk afzonderlijk vaststelbaar voordoen (individuele veranderingen; veranderingen in de
2. Periode-effect daarom longitudinaal onderzoek cellen)
3. Cohorteffect (meerdere meetmomenten). De mensen boven en onder de diagonaal zijn de mensen die
veranderd zijn.
Leeftijdseffect:
Effect dat met het ouder worden gepaard gaat als gevolg van fysieke, psychische of sociale (7 + 6 + 4 + 0 + 10 + 16) / 461 = 0,093 = 9,3%
veranderingen die zich fasegewijs afwikkelen in het proces van ouder worden. stemgedrag is veranderlijker dan de marginalen je doen
geloven: netto < bruto
Periode-effect:
Effecten die met alle mogelijke gebeurtenissen in de periode tijdens en direct voor de
meting te maken hebben en ieders score op de afhankelijke variabele beïnvloeden
Cohorteffect:
Effecten waarbij gebeurtenissen in de tijd cohortspecifiek werken (dus op het ene cohort
een ander invloed hebben dan op het ander cohort). Cohort: een verzameling mensen die in
eenzelfde tijd een belangrijke gebeurtenis meemaken.
Experiment (Bij CAUSALE/INVLOED VRAGEN) Nadeel experiment: je weet niet of de effecten op lange termijn ook gelden. (en zoals bij veel methoden
Als je een causale relatie onderzoekt (= vaak bij verklarend onderzoek) door te manipulateren, en kunnen er kunnen testeffecten optreden: dat mensen zich anders gaan gedragen omdat ze weten dat ze
vervolgens verandering te bekijken, Dan doe je een experiment. aan een test meedoen)
Bij een survey heb je geen voormeting, bij een tijdsreeksonderzoek kunnen externe gebeurtenissen (tijdsreeksonderzoek kun je beter
ook invloed op houding hebben. uitspraken over trend in
Een experiment is dus de meest sterke methode om causale relaties te onderzoeken. samenleving mee doen.)
Experiment = Onderzoeksstrategie waarbij de waarden van één of meer onafhankelijke
variabelen worden gemanipuleerd met het doel het causale of oorzakelijke effect daarvan vast te Kijk je naar causaliteit? Wat is van invloed op wat:
stellen op één of meer afhankelijke variabelen. Experiment.
Causaliteit:
- Vaak bij verklarende vraagstelling; die bevatten altijd een oorzaak en een gevolg. Men spreekt van een causaal verband tussen een afhankelijke variabele (Y) en een
Voorbeeld: in hoeverre is het zien van geweld in films op TV van invloed op het agressieve onafhankelijke variabele (X) indien:
gedrag van individuen? - Er een verandering in Y is opgetreden na de werking van X
- Praktijkgericht onderzoek: evalueren van een interventie. - X in de tijd vooraf gaat aan Y
- De onafhankelijke variabele wordt niet door meting vastgesteld, maar gemanipuleerd. - Er een (statistische) samenhang is tussen X en Y
- Alternatieve verklaringen voor verandering in Y zijn uitgesloten
Design (1)
Zuiver experiment (laboratorium experiment): Randomiseren doe je om correlaten te voorkomen (achtergrondkenmerken die meespelen op Y)
Groepen (controle groep en experimentele groep) worden samengesteld door matching (groepen op Je hoeft niet de hele groep random in te delen, kunt ook per subgroep mensen op basis van toeval
bepaalde kenmerken aan elkaar gelijk maken), randomisering (toevallige toewijzing) en homogenisering verdelen = matching
(alleen jongeren). De omgevingsfactoren worden uitgesloten.
Voordeel = erg hoge interne validiteit; je meet precies wat je wil meten (causaliteit)
Nadeel = erg lage externe validiteit; je kunt geen uitspraken doen over sociale werkelijkheid als je alle
omgevingsfactoren uitsluit/constant houd.
Quasi-experimenteel design:
Er is minder controle over de samenstelling van de groepen en/of omstandigheden mogelijk tijdens het
onderzoek dan bij een zuiver experiment en je hebt een grotere groep.
Afhankelijk van de mate van controle onderscheid tussen:
- Veldexperiment
▪ Minder controle samenstelling vergelijkingsgroepen
▪ Wel controle gang van zaken: wie krijgt de ingreep, wie niet
- Natuurlijk experiment (geen actief ingrijpen, hoe de samenleving echt is)
▪ Geen controle samenstelling vergelijkingsgroepen
▪ Weinig /geen controle gang van zaken: wie krijgt de ingreep, wie niet
Design (2):
Pretest-posttest controlegroep design (spreekt voor zich): er wordt rekening gehouden met de
mogelijkheid dat verschillen op de afhankelijke variabele niet het gevolg zijn van de manipulatie van de
onafhankelijke variabele, maar van verschillen tussen de vergelijkingsgroepen voorafgaand aan het
experiment.
▪ Voordeel: aanvankelijke verschillen tussen EG en CG kunnen onderzocht worden.
▪ Nadeel: eventuele testeffecten kunnen optreden.
Voordelen van quasi-experimentele designs t.o.v. zuiver experiment:
- Hogere externe geldigheid (minder kunstmatig en grotere aantallen onderzoekseenheden; je
kunt uitspraken doen over sociale werkelijkheid / generaliseren.)
- Lagere kosten Grote verschillen tussen Quasi en zuiver/interactie;
- de R ontbreekt; in een quasi experiment word niet gerandomiseerd.
Nadeel van quasi-experimentele designs t.o.v. zuiver experiment: - Er is een voormeting; voor en na manipulatie word een meting verricht.
- Lagere interne geldigheid (minder controle over alternatieve verklaringen; je meet Nadeel hiervan is dat mensen dus meerdere keren worden gemeten
misschien niet precies dat wat je wil meten) (kunnen leren etc)
Interne validiteit: geen storende variabelen. (bij zuiver experiment)
Externe validiteit: generaliseerbaarheid: representatieve grote groep nodig. (bij quasi experiment)
Colleges Page 2