Resume
MOB - Samenvatting OLP
- Cours
- Meten en Observeren
- Établissement
- Universiteit Antwerpen (UA)
Samenvatting van het OLP, versie .
[Montrer plus]
Aperçu du contenu
UA FSW OOW MOB | 2020-2021Hoofdstuk 1: Operationaliseren
Vat krijgen op realiteit door theorieën te ontwikkelen en te testen:
• Concept: algemeen aanvaarde collectie van betekenissen of karakteristieken van
gebeurtenissen, objecten, situaties en gedrag.
o Groepering van gebeurtenissen, objecten, situaties en gedrag leidt tot
conceptvorming, bv. “lerende”: al wie actief nieuwe informatie verwerkt of nieuwe
vaardigheden inoefent
• Construct: meer abstracte, minder tastbare concepten.
o Bestaat enkel in verbeelding, bv. “intelligentie”, “leiderschap”, “opvattingen”, enz.
Belang in de sociale wetenschappen:
• Omschrijven wat het concept of construct juist inhoudt in conceptuele definities
o Afbakenen: maakt positie t.a.v. gelijkaardig onderzoek duidelijk
o Theoretische bril → concept (conceptueel/theoretisch kader)
Wat is operationaliseren?
• Operationele definitie: vastleggen hoe je een bepaald concept/construct meetbaar maakt
• Operationaliseren: vertalen van een (abstract) concept in metingen; meetbaar maken
Groepering van gebeurtenissen, objecten, situaties, gedrag.
CONCEPT V1: Gender
V2: Expertise
Afbakening, omschrijving van het concept.
CONCEPTUELE DEFINITIE V1: mannen XX-chromosomen, vrouwen XY-chromosomen (biologisch)
V2: mate waarin een persoon systematisch goed presteert
Hoe meten?
OPERATIONELE DEFINITIE V1: bevraging, geslachtstest, op zicht
V2: aantal gescoorde strafschoppen (op 25)
Concepten operationaliseren
geslacht 1 component (item) generatie
Concreet waarneembaar Abstract (theorie-gebonden)
vooropleiding Meer componenten Persoonlijkheid, onderpresteren
Bv. onderpresteren van leerkrachten: abstract + meervoudig (kan je het met 1 item meten of niet)?
1
,UA FSW OOW MOB | 2020-2021
Stappenplan operationaliseren
1. Deelaspecten bepalen (persoonlijkheid: TREK-benadering)
a. Bv. altruïsme, extraversie, openheid, nauwgezetheid, neuroticisme.
2. Omschrijven van deelaspecten
a. Bv. altruïsme: vertrouwen, oprechtheid, zorgzaamheid, enz.
b. Bv. extraversie: hartelijkheid, sociabiliteit, dominantie, enz.
c. Bv. openheid: fantasie, esthetiek, gevoelens, enz.
d. Bv. nauwgezetheid: doelmatigheid, ordelijkheid, betrouwbaarheid, enz.
e. Bv. neuroticisme: angst, ergernis, depressie, enz.
3. Keuze van de relevante subdimensies
a. Sterk afhankelijk van de onderzoeksvraag
4. Subdimensies vertalen in observeerbare indicatoren
a. Bv. zorgzaamheid: hoe uit zorgzaamheid zich in het dagelijks leven?
5. Indicatoren omzetten in richtlijnen ter registratie
a. Bv. indicatoren met 5 stellingen die allen peilen naar de mate van zorgzaamheid van
een leerkracht
Meten
Wat is meten?
• Meten: vanuit een vaststelling naar een (conceptuele en/of cijfermatige) waarde gaan
o Resulteert in (zowel categorische als numerieke) variabelen
Het is cruciaal goed te meten. Maar, wat is “goed”? Onderzoekers moeten helderheid brengen over...
• ...de wijze waarop gemeten werd
• ...waarom dit een goede meetwijze is
Validiteit
Grondleggers: Cronbach en Meehl (1955), Messick (1988), Kane (2013)
Kane (2013): argument-gebaseerde benadering: argumenteren waarom beslissingen of conclusies
valide (terecht) zijn, gegeven het instrumentarium. Uitgangspunt OLP sluit hier op aan:
Meting/observatie Conclusie/gebruik
Zijn ↔ doen: Niet de instrumenten zijn valide, maar wel de interpretatie van de resultaten en de
conclusies die we o.b.v. een instrument trekken.
Bijgevolg moeten onderzoekers evidentie verzamelen voor gebruik van het instrumentarium: de link
tussen meting en conclusie/gebruik moet steek houden. Evidentie kan empirisch zijn (feiten,
vaststellingen), logisch zijn en/of komen uit eerder onderzoek. Sterke onderbouwing is cruciaal.
2
,UA FSW OOW MOB | 2020-2021
Betrouwbaarheid
Repliceerbaarheid: vaststellingen, observaties of scores zijn betrouwbaar als je kan aantonen dat je
onder gelijkaardige omstandigheden tot zeer vergelijkbare scores zou komen.
Verschillende aspecten: betrouwbaarheid overheen tijd, overheen beoordelaars, overheen taken.
Zowel instrument als procedure moet betrouwbaar zijn.
In de opleidings- en onderwijswetenschappen zijn observatie, vragenlijsten en toetsen vaak gebruikte
methoden. Daarnaast kunnen ook (gestructureerde) logboeken, eye-tracking, fysiologische metingen
(bv. hartslag, zweetreactie, enz.), sociometrische badges (netwerking), enz. worden ingezet. Elk heeft
zijn eigen bekommernissen inzake validiteit en betrouwbaarheid.
• Triangulatie houdt een combineren van meetmethoden in.
o Verrijking van data
o Sterkte meetmethode 1 kan zwakte meetmethode 2 opvangen
o Indien mogelijk: aangewezen
Hoofdstuk 2: Observeren
Observeren is een directe manier van data verzamelen in live situaties. Indirecte verzameling van data
(interviews, vragenlijsten, enz.) kunnen vertekend (≠ valide) zijn door:
• Interpretatieproblemen
• Onvolledigheidsproblemen (vergeten vermelden in antwoord)
• Geheugenproblemen (foute herinneringen van eigen gedrag)
• Sociaal wenselijk antwoordgedrag
• Vraagstellingseffecten (wijze van vraagstelling is beïnvloedend)
• Interviewer-effecten
• Inconsistentie tussen verklaard en vertoond gedrag (waarschijnlijk gedrag ↔ reëel gedrag)
Soorten observatiestudies naargelang onderzoekstraditie. Opgelet: de opdeling helpt om naar type
onderzoeksdoel en/of -vraag snel een meest geschikte methode te kiezen. Echter, de werkelijkheid is
complexer dan dit.
Etnografische traditie Positivistische traditie
Uit IMT: Anti-positivisten gaan uit van de veronderstelling dat Uit IMT: Positivisten gaan uit van de veronderstelling dat kennis
kennis persoonlijk, subjectief en uniek is. Deze kijk legt een moeilijk, objectief en tastbaar is. Het vraagt van de onderzoeker
betrokkenheid van de onderzoeker bij de onderwerpen van een observerende rol in te nemen en de wetten van de
onderzoek en een afwijzing van de natuurwetenschappen op natuurwetenschappen te respecteren (nomothetisch onderzoek,
(idiografisch onderzoek, subjectivisme). objectivisme).
Open observeren Gestructureerd observeren
Participerende observatie Niet-participerende observatie
Natuurlijke observatie Gecontroleerde observatie
Beschrijven, exploreren, hypothesevorming Meten, verklaren, hypothesen toetsen
3
,UA FSW OOW MOB | 2020-2021
Vormen van observeren?
Observatiestudies zijn onder verschillende categorieën te plaatsen:
Ongestructureerd Gestructureerd/systematisch
• Geen observatieschema • Observatieschema
o Alle gedrag in detail observeren o Regels: hoe/wat observeren
o Fenomenen beschrijven en o Gedrag operationaliseren
verkennen • Kwantitatief
• Kwalitatief
Participerend Niet participerend
• Infiltreren: (al dan niet incognito) • Observatieschema mogelijk
deelnemen aan sociaal systeem o Onderzoeker neemt slechts rol
• Geen observatieschema van observator aan, dus kan
o Gedrag → fenomenen systematisch observeren
beschrijven
• Logboek/veldnotities
Natuurlijk Gecontroleerd/gemanipuleerd
• Authentieke context • Gedrag uitlokken door situatie te
• Niet in situatie ingrijpen → geen creëren
invloed op gedrag van participanten
Gestructureerde observatie
OBSERVEREN
DOEL EN OPZET FOCUS STEEKPROEF
Incidenten Molecular (smalle focus) Wie
Vastgezette periodes Molar (brede focus) toevalssteekproef | systematische
variatie | focus van eenheden
Lange periodes
Wanneer
longitudinaal
variatie in dagen | tijdstippen
Welk gedrag
ad libitum | focal sampling | scan
sampling | behavioural sampling
→ keuze sterk afhankelijk van de onderzoekvraag!
4
,UA FSW OOW MOB | 2020-2021
Aandachtspunten bij het ontwikkelen van observatieschema’s:
• Focus: observatoren moeten een duidelijke focus hebben tijdens het observeren
o Wie, wat en wanneer
Specificatie van observatie:
• Molecular
o Kleine eenheden van gedrag
o Gebaren, non-verbaal, korte acties
o Atomisch perspectief (zeer concreet)
o Risico: context verliezen
• Molar
o Grote eenheden van gedrag
o Sequenties
o Patronen
o Risico: gedrag te weinig opdelen
• Categorieën en/of schalen:
o Mutually exclusive: gedrag moet eenduidig in slechts 1 van de verschillende opties
kunnen worden ondergebracht (categorieën/schalen moeten elkaar uitsluiten)
• Werkbaarheid met het schema moet eenvoudig zijn
o Geen moeilijke/vage termen
o Geen lange teksten
→ Pilootonderzoek brengt de onderzoekers in de mogelijkheid om het observatieschema aan
bovenvermelde aandachtspunten te onderwerpen. Het pilootonderzoek hoort voldoende tijd en
energie te krijgen. Resultaten zijn immers hoogst afhankelijk van een goed observatieschema.
De observatiestudie opzetten
Belangrijk het middel (methode) op het doel af te stemmen
Doel en opzet
Incidenten observeren
• Wachten tot een situatie (incident) zich voordoet en pas dan observeren en vastleggen
• Gelijkaardig aan “verborgen camera”
Vastgezette periodes observeren
• Welk gedrag stelt zich en hoe vaak binnen het vastgezette moment, los van de opvolging?
• ≠ procesmatige aspecten van gedrag
• = procesmatige aspecten van gedrag (als je kijkt naar de volgorde van gedragingen)
Lange periodes observeren
• Welk gedrag stelt zich op welk tijdstip en hoe houdt dit verband met de situatie?
• = procesmatige aspecten van gedrag
Longitudinaal observeren
• Observatie op meerdere in de tijd van elkaar gescheiden tijdstippen
• Steekproeven van meetmomenten om gedrag te capteren
5
,UA FSW OOW MOB | 2020-2021
A. Steekproeven
Voornaamste keuzes:
• Welke participanten?
o Steekproef van participanten: wie ga je observeren?
Toevalssteekproef uit gehele populatie van potentiële participanten
(gelijkaardig aan andere statistische onderzoeksdesigns).
Systematische variatie
Focus van eenheden (altijd eentje, groepjes, ...)
o Individuen in groepen: vaste strategie (bv. 5’ leerling 1, 5’ leerling 2, enz.)
• Wanneer observeren?
o Variatie in dagen én tijdsstippen, enz.
o Spreiding wenselijk, maar pragmatisch moeilijk tot vaak onhaalbaar
• Welk gedrag (wat) observeren?
o Ontwerpvragen kunnen worden gerelateerd aan het individu, de groep of de relatie
tussen beiden. Ook kan een klemtoon op al het gestelde gedrag liggen, of kan de vraag
een doorgedreven randomisatie binnen het observatiemoment verwachten. Martin
en Bateson (1986) onderscheiden verschillende strategieën:
Ad libitum sampling: observatie/codering van al het gedrag in de flow van het
observeren
Focal sampling: individuen (al dan niet willekeurig) / tijdsslot,
observatie/codering a.d.h.v. observatieschema (bv. hoe gedraagt 1 iemand
zich in de groep)
Scan sampling: groep “scannen” (foto maken) op vastgelegde tijdsstippen en
per individu bepalen of het te observeren gedrag zich voordoet
• Vraagt grote opmerkzaamheid van de observator
• Uiterst afgebakend en beperkte set observeerbaar gedrag
Behavioral sampling: hele groep observeren en enkel coderen als bepaald
gedrag zich voordoet: bij wie komt het gedrag voor en wanneer?
B. Procedurele keuzes en ethische reflectie
Richtvragen:
• Moet je mensen op de hoogte stellen van uw onderzoek?
o Doorgaans verplicht
o Informed consent
Informatie over doel, opzet en data van onderzoek
Per uitzondering niet nodig
• Verantwoording waarom niet en/of andere opties niet passen (bv.
natuurlijke observatiestudies: hoeveelheid actoren)
• Heb je toestemming nodig om uw onderzoek uit te voeren?
o Bv. bij de leidinggevenden van de respondenten, bij openbare diensten, ouders van
minderjarigen, enz.
• Hebben participanten een vrije keuze om deel te nemen aan onderzoek?
o Vrije keuze garanderen (bv. via leidinggevenden vragen dat werknemers deelnemen
aan onderzoek creëert druk)
6
,UA FSW OOW MOB | 2020-2021
• Welke impact gaat het onderzoek hebben op de participanten?
o Anonimiteit garanderen (bv. hoe cruciale info beschermen in hun positie)
• Wil je gebruik maken van opnamemateriaal en is dit opportuun?
o Vaak met het doel betrouwbaar en valide te coderen
o Anonimiteit garanderen + doel opname verduidelijken
• Wat doe je als je zaken observeert die zorgwekkend zijn?
o Wettelijke kaders duiden op rechten en plichten inzake zorgwekkend gedrag (bv.
burgerplicht, schuldig verzuim)
• Kan er gevaar ontstaan door het observeren? Kom je als observator in potentieel gevaarlijke
situaties?
o Hoe verlaag ik het risico?
Betrouwbaarheid bij observatiestudies
Observatoren horen zo goed en objectief mogelijk te observeren. “Goed” staat voor een juiste
interpretatie en registratie van gedrag a.d.h.v. het observatieschema.
Beoordelingseffecten
Observaties houden risico’s in dat de interpretatie en het bijhorende oordeel van de observator wordt
beïnvloed door andere factoren.
• Central tendency effect: neiging om extreme (schaal)scores te vermijden (Likert)
• Recency effect: neiging zich meer te laten leiden door recente gebeurtenissen
o Bv. persoon A wordt anders gepercipieerd afhankelijk van de persoon die aan hem
voorafging (die uiterst vriendelijk of onvriendelijk was)
Inter- en intrabeoordelaarsbetrouwbaarheid
Betrouwbaarheid = repliceerbaarheid
• Algemeen: als eenzelfde procedure op een identieke wijze wordt doorlopen, hoe vergelijkbaar
zijn dan de resulterende scores?
• Observatiestudies: herhaalbaarheid overheen verschillende observatoren of binnen dezelfde
observatoren overheen de tijd?
o Interbeoordelaarsbetrouwbaarheid: in welke mate komen verschillende beoordelaars
tot eenzelfde score (of scores) voor identiek te observeren gedrag en gebruikmakend
van identieke procedures?
o Intrabeoordelaarsbetrouwbaarheid: in welke mate komt eenzelfde beoordelaar op
een ander tijdstip tot eenzelfde score (of scores) voor identiek te observeren gedrag
en gebruikmakend van identieke procedures?
7
,UA FSW OOW MOB | 2020-2021
Interbeoordelaarsbetrouwbaarheid (IBB) nagaan
Betrouwbaarheid van het onderzoek verhogen: meerdere onderzoekers observeren hetzelfde gedrag,
product, situatie met hetzelfde observatieschema.
Waarde IBB Laag Hoog
Meetfouten t.g.v. persoonlijke kenmerken van beoordelaars Veel Weinig
Scores/resultaten Zwak Sterk
Vragen bij keuze voor de manier waarop je de interbeoordelaarsbetrouwbaarheidsstudie uitvoert:
• Hoeveel observatoren laat je eenzelfde gedrag beoordelen (twee, of meer)?
• Laat je alle observatoren allemaal dezelfde gedragingen beoordelen? Of, laat je een deel van
het gedrag telkens door twee of meer andere observatoren beoordelen?
Uit statistiek A Kwalitatief, categorisch Kwantitatief, numeriek
Meetniveau Nominaal Ordinaal Interval Ratio
Totale orde 🗸🗸 🗸🗸 🗸🗸
Meeteenheid 🗸🗸 🗸🗸
Absoluut nulpunt 🗸🗸
IBB kwantificeren?
• Hoe is de studie opgezet?
o 2 of meer beoordelaars?
o Wie beoordeelt wat?
• Wat is het meetniveau van de variabelen die afgeleid worden uit het observatieschema?
o Categorische of numerieke variabelen?
Categorische variabele Numerieke variabele
Nominaal | Ordinaal Interval | Ratio
Twee beoordelaars Cohen’s Kappa ICC
Meer dan twee beoordelaars Fleiss Kappa ICC
8
,UA FSW OOW MOB | 2020-2021
Cohen’s Kappa
Stap 1: berekening werkelijke overeenkomst (WO)
WO − RO
𝐾𝐾 = 𝑛𝑛 keer eens
1 − RO 𝑊𝑊𝑊𝑊 =
𝑛𝑛 totaal aantal observaties
Stap 2: berekening relatieve overeenkomst (toeval) (RO)
Stap 3: Cohen’s Kappa berekenen (waarde gelijk aan 1 of lager)
Stap 4: Uitkomst interpreteren
• Ruwe vuistregel: waarde > 0.70 = voldoende betrouwbaar
K Interpretatie
K < 0.20 Weinig tot geen overeenkomst tussen beoordelaars
0.20 < K < 0.40 Beperkte mate van overeenkomst tussen beoordelaars
0.40 < K < 0.60 Matige overeenkomst tussen beoordelaars
0.60 < K < 0.80 Sterke overeenkomst tussen beoordelaars
K > 0.80 Zeer sterke tot volledige overeenkomst tussen beoordelaars
Cohen’s Kappa in
Input | Output | Error
OnderzoekerA <- c("A", "A", "A", "A", "B", "B", "A", "A", "B", "B")
OnderzoekerB <- c("B", "A", "A", "A", "B", "A", "B", "A", "B", "B")
Data1 <- data.frame(OnderzoekerA, OnderzoekerB)
Data1
kappa2(Data1)
Cohen's Kappa for 2 Raters (Weights: unweighted)
Subjects = 10 # n situaties
Raters = 2 # n beoordelaars
Kappa = 0.4 # Cohen’s Kappa (IBB)
z = 1.29
p-value = 0.197
In het geval er extra informatie in het object staat opgenomen: nieuw object aanmaken met enkel de
informatie van de onderzoekers.
Lessituatie <- c(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
OnderzoekerA <- c("A", "A", "A", "A", "B", "B", "A", "A", "B", "B")
OnderzoekerB <- c("B", "A", "A", "A", "B", "A", "B", "A", "B", "B")
9
, UA FSW OOW MOB | 2020-2021
Data2 <- data.frame(Lessituatie, OnderzoekerA, OnderzoekerB)
Data2
kappa2(Data2)
Error in kappa2(Data2) :
Number of raters exeeds 2. Try kappam.fleiss or kappam.light.
DataX <- data.frame(Data2$OnderzoekerA, Data2$OnderzoekerB)
kappa2(DataX)
Cohen's Kappa for 2 Raters (Weights: unweighted)
Subjects = 10 # n situaties
Raters = 2 # n beoordelaars
Kappa = 0.4 # Cohen’s Kappa (IBB)
z = 1.29
p-value = 0.197
Fleiss’ Kappa
Uitbreiding Cohen’s Kappa: categorische variabelen, meer dan 2 beoordelaars.
Waarde < 0.40: te weinig evidentie om de scores als onafhankelijk van de beoordelaar in te schatten
Input | Output | Error
BeoordelaarA <- c(3, 2, 1, 2, 2, 1, 2, 3, 2, 1)
BeoordelaarB <- c(3, 2, 3, 2, 3, 2, 3, 1, 1, 2)
BeoordelaarC <- c(3, 3, 3, 3, 2, 3, 2, 3, 1, 1)
BeoordelaarD <- c(3, 3, 3, 3, 3, 3, 2, 2, 1, 1)
Data3 <- data.frame(BeoordelaarA, BeoordelaarB, BeoordelaarC, BeoordelaarD)
Data3
kappam.fleiss(Data3)
Fleiss' Kappa for m Raters
Subjects = 10 # n situaties
Raters = 4 # n beoordelaars
Kappa = 0.116 # Fleiss’ Kappa (IBB)
z = 1.25
p-value = 0.211
Kappa-waarden opvragen per coderingscategorie: voeg detail = TRUE toe
kappam.fleiss(Data3, detail = TRUE)
10
Les avantages d'acheter des résumés chez Stuvia:
Qualité garantie par les avis des clients
Les clients de Stuvia ont évalués plus de 700 000 résumés. C'est comme ça que vous savez que vous achetez les meilleurs documents.
L’achat facile et rapide
Vous pouvez payer rapidement avec iDeal, carte de crédit ou Stuvia-crédit pour les résumés. Il n'y a pas d'adhésion nécessaire.
Focus sur l’essentiel
Vos camarades écrivent eux-mêmes les notes d’étude, c’est pourquoi les documents sont toujours fiables et à jour. Cela garantit que vous arrivez rapidement au coeur du matériel.
Foire aux questions
Qu'est-ce que j'obtiens en achetant ce document ?
Vous obtenez un PDF, disponible immédiatement après votre achat. Le document acheté est accessible à tout moment, n'importe où et indéfiniment via votre profil.
Garantie de remboursement : comment ça marche ?
Notre garantie de satisfaction garantit que vous trouverez toujours un document d'étude qui vous convient. Vous remplissez un formulaire et notre équipe du service client s'occupe du reste.
Auprès de qui est-ce que j'achète ce résumé ?
Stuvia est une place de marché. Alors, vous n'achetez donc pas ce document chez nous, mais auprès du vendeur d83. Stuvia facilite les paiements au vendeur.
Est-ce que j'aurai un abonnement?
Non, vous n'achetez ce résumé que pour €6,99. Vous n'êtes lié à rien après votre achat.
Peut-on faire confiance à Stuvia ?
4.6 étoiles sur Google & Trustpilot (+1000 avis)
53068 résumés ont été vendus ces 30 derniers jours
Fondée en 2010, la référence pour acheter des résumés depuis déjà 14 ans