Summary
Uitgebreide samenvatting meten en observeren (UA schakelprogramma)
- Course
- Institution
Met behulp van deze samenvatting behaalde ik 17/20
[Show more]
Seller
Follow
StudentUantwerpenOOW
Reviews received
Content preview
METEN EN OBSERVERENInhoudsopgave
1 operationaliseren.............................................................................................................................................................2
1.1 Concept → conceptuele definitie → operationele definitie........................................................................................2
1.2 Meten Van concept naar meten…..............................................................................................................................4
1.3 Wanneer meten we goed?.........................................................................................................................................4
1.4 Welke tools tot meten hebben we?...........................................................................................................................5
2 observeren.......................................................................................................................................................................6
2.1 Waarom observeren?................................................................................................................................................6
2.2 Vormen van observeren............................................................................................................................................6
2.3 Gestructureerde observatie: van observatie naar scores............................................................................................7
2.4 Betrouwbaarheid bij observatiestudies...................................................................................................................11
2.5 Validiteit..................................................................................................................................................................12
2.6 Interbeoordelaarsbetrouwbaarheid nagaan............................................................................................................13
2.7 Voorbeelden uit les..................................................................................................................................................21
3 Toetsen..........................................................................................................................................................................22
3.1 Taxonomie van toetsen...........................................................................................................................................22
3.2 Gesloten toetsen.....................................................................................................................................................23
3.3 Parallelle toetsen.....................................................................................................................................................23
3.4 Testtheorie..............................................................................................................................................................24
3.5 Klassieke testtheorie (KTT).......................................................................................................................................25
3.6 Item Respons Theorie (IRT)......................................................................................................................................33
3.7 En wat met open vragen….......................................................................................................................................45
3.8 Extra….....................................................................................................................................................................46
4 Vragenlijsten..................................................................................................................................................................47
4.1 Van concepten naar items.......................................................................................................................................47
4.2 Vragenlijstontwikkeling: inductief versus deductief.................................................................................................50
4.3 Factoranalyse..........................................................................................................................................................51
4.4 Betrouwbaarheidsanalyse.......................................................................................................................................64
4.5 Het cognitief proces achter het invullen van ene vragenlijst....................................................................................69
5 Validiteit in een breder plaatje.......................................................................................................................................72
5.1 Validiteit van meetinstrumenten.............................................................................................................................72
5.2 Geschiedenis van validiteit......................................................................................................................................72
5.3 Hedendaagse kijk op validiteit: argument-gebaseerde benadering..........................................................................74
5.4 Vijf validatie-stappen ~ interpretatie gebruiksargument..........................................................................................76
5.5 Van interpretatie-gebruiksargument naar validiteitsargument................................................................................77
5.6 Definities.................................................................................................................................................................80
6 voorbeeldvragen............................................................................................................................................................81
1
,1 OPERATIONALISEREN
1.1 Concept → conceptuele definitie → operationele
definitie
Concepten
Concept = algemeen aanvaarde collectie van betekenissen of karakteristieken van gebeurtenissen, objecten,
situaties en gedrag
Conceptualiseren = beschrijven van concept a.d.h.v. karakteristieken/betekenissen (eventueel obv theorie)
Gebruik concepten: om kennis te ontwikkelen en om info te communiceren;
nood aan gemeenschappelijke basis om op terug te vallen
Ontstaan => als we gebeurtenissen, objecten, situaties en gedrag kunnen groeperen ontstaat een concept
Gebruik: we hanteren van woorden om concepten te identificeren
tastbaar
bv: concept ‘tafel’. Tafels zijn er in allerlei vormen en kleuren, maar ze delen ook gemeenschappelijke kenmerken waardoor we erover
eens zijn dat het ‘tafels’ zijn (bv: oppervlak dat ondersteunt wordt)
bv: concept ‘lerende’. We zouden het erover eens kunnen zijn dat we alle mensen die actief nieuwe informatie verwerken of
nieuwevaardigheden inoefenen als een ‘lerende’ beschouwen
Constructen
constructen = abstracte concepten (concepten kunnen variëren in abstractieniveau)
ze zijn immers abstract = concepten die we als onderzoeksgemeenschap construeren, maar die niet tastbaar zijn
; bestaan enkel in onze “verbeelding”
bv abstractere concepten: motivatie, intelligentie, leiderschap of leeropvattingen => constructen
bv ‘motivatie’ niet letterlijk vastpakken (wel een construct), een tafel/mens/trein of zelfs een lerende wel (geen construct)
belang → onderzoekers moeten goed omschrijven/afbakenen wat ze precies wel/niet verstaan in hun onderzoek
onder een bepaald construct/concept (ernstige taak = helderheid scheppen!)
=> duidelijk maken hoe onderzoek al dan niet aansluit bij bestaand onderzoek (zodat men jouw werk
eventueel kan relateren aan voorhanden kennisbasis)
→ voor eenzelfde construct/concept kan een onderzoeker en verschillende conceptuele definities gebruiken
→ in wetenschappelijk werk vind je de conceptuele definities tegen in ‘conceptueel kader’ of ‘theoretisch kader’
bv twee verschillende conceptuele definities voor het concept ‘lerende’: Wat de ene onderzoeker als ‘lerende’ ziet, hoeft niet overeen te
stemmen met het beeld daarover van een andere onderzoeker. Voor de ene onderzoeker vallen daar misschien enkel en alleen mensen onder die
een formeel leertraject volgen, al dan niet in het leerplichtonderwijs of al dan niet op de werkplek. Een andere onderzoeker bekijkt het misschien
wat ruimer en vat onder het concept ‘lerende’ elke mens die op een bepaald moment (hoe kort of occasioneel het ook is) nieuwe informatie aan
het verwerven is en/of die een nieuwe vaardigheid inoefent.
Conceptuele definities vormen een eerste afbakening…
… daarmee nog niet duidelijk hoe je deze concepten of constructen in je onderzoek gaat meten
… ook operationele definitie nodig
operationele definitie = hierin leg je vast hoe je een bepaald concept/construct meetbaar maakt
operationaliseren = meetbaar maken van concept = vertalen van (abstract) concept in wijze waarop je het wenst te meten;
activiteit waarbij je een conceptuele definitie vertaalt naar bijvoorbeeld items op een vragenlijst
Bepaling soort concept: concreet versus abstract + enkelvoudig (unidimensioneel) versus meervoudig (meerdere dimensies)
2
,Opmerking: abstracte zaken met meerdere componenten zijn vaak moeilijkst te operationaliseren…
Vb: “onderpresteren van leerkrachten”
Abstract: je kan heel veel verschillende antwoorden hierop krijgen (tafel is vb van concreet)
Meervoudig: heeft meerdere subdimensies (bv geen lesvoorbereidingen, …) en is dus niet unidimensioneel
bv Gender:
1. Een conceptuele afbakening erin kan bestaan dat we in ons onderzoek enkel interesse hebben in de biologische betekenis van het
concept ‘gender’: mannen hebben een XY-chromosoom en vrouwen een XX-chromosoom
2. Vervolgens stelt zich de vraag hoe we dit gaan meten in ons onderzoek. Bevragen we de deelnemers aan de studie naar hun geslacht?
Doen we een geslachtstest voor elk van de deelnemers aan de hand van een DNA-onderzoek? Of, vertrouwen we blindelings op onze
eigen observatie en bepalen we zelf welk geslacht een deelnemer heeft? Dit zijn vragen naar hoe we het concept operationeel gaan
definiëren in het onderzoek
Concept = gender
Conceptuele definitie = biologische betekenis, mannen hebben een XY-chromosoom en vrouwen een XX-chromosoom
Operationele definitie = DNA/vragenlijst/observatie
bv Expertise: veel onderzoek dat zich toelegt op hoe expertise zich ontwikkelt. Een van belangrijkste is Ericcson: definieert expertise als de mate
waarin een persoon systematisch goed/uitzonderlijk presteert in verschillende vergelijkbare situaties. Deze conceptuele definitie zet de bakens uit
om effectief over te gaan naar het meten van expertise. Door het opnemen van de zinssnede ‘de mate van’ geeft Ericcson aan dat expertise in
verschillende maten voor kan komen, gaande van een zeer beperkte mate tot hoge mate van expertise. Om expertise te meten is het bovendien
ook noodzakelijk om grip te krijgen op hoe systematisch iemand uitzonderlijk presteert
bv studiesucces:
Concept = GPA, studierendement (aantal behaalde studiepunten na semester 1), drop-out
Conceptuele definite = aantal behaalde studiepunten na eerste semester
Operationele definitie = percentage, vragenlijst, zelfinschatting, studentennummers, cijfers
vragen aan faculteit
voorbeeld helpt om verder te duiden hoe we vanuit conceptuele definitie naar operationele definitie gaan…
Stel dat je wil meten of profvoetballers in meerdere of mindere mate expert zijn in strafschoppen nemen.
In feite wil je dan nagaan of een profvoetballer systematisch uitzonderlijk presteert in het nemen van
strafschoppen.
→ “expertise” drukt uit dat je ervan uitgaat dat een expert strafschopnemer zeer vaak succesvol een strafschop zal nemen.
→ Dit is nog geen operationele definitie => dienen dit nog verder te denken naar keuze in hoe we dit uiteindelijk gaan meten.
o We kunnen 25 keer naar een leeg doel laten schieten en tellen hoe vaak hij de bal in het doel trapt, je kan historische data
ontginnen en in allerlei archieven uitpluizen hoeveel van de strafschoppen die een
voetballer nam effectief binnen werden getrapt, tellen hoe vaak voetballer erin
slaagt een strafschop te scoren met een zeer goede doelman in het doel, ….
o Al deze keuzes leiden telkens tot een andere operationele definitie van het concept
‘expertise in strafschoppen nemen’
Concept = expertise, bv. strafschoppen nemen
Conceptuele definitie = de mate waarin een persoon systematisch goed (of zelfs uitzonderlijk)
presteert in verschillende vergelijkbare situaties
Operationele definitie = 25 keer naar een leeg doel schieten en tellen / historische data van
aantal strafschoppen in carrière tellen en dan kijken hoeveel er effectief binnen zijn /
Stappenplan operationaliseren complexere concepten
Stap 1: Conceptuele definitie
Stap 2: Omschrijven van deelaspecten
Stap 3: Keuze van de relevante aspecten
Stap 4: Relevante aspecten vertalen in
observeerbare indicatoren
Stap 5: Indicatoren omzetten in richtlijnen tot
registratie
Stap 6: Operationaliseren
3
, Persoonlijkheid
Concept = persoonlijkheid
Conceptuele definitie = de persoonlijkheid van een persoon is de
omschrijving van persoon door middel van psychologische trekken, ...
Operationele definitie = vragenlijst/observatie
1.2 Meten Van concept naar meten…..
Meten = breed begrip
= vanuit een vaststelling naar het toekennen van een waarde gaan
Meten van variabelen
=> één of andere wijze van een concept naar (een reeks van) variabelen zullen gaan (= operationaliseren)
=> na de operationalisering kan je zowel numerieke als categorische (nominaal/ordinale) variabele krijgen
1.3 Wanneer meten we goed?
Als onderzoeker ben je verantwoordelijk om:
1. voldoende helderheid te brengen in hoe je je concepten hebt gemeten
2. te onderbouwen waarom je denkt dat dit een goede wijze is van meetbaar maken gegeven de onderzoeksvraag
waarin je geïnteresseerd bent
wanneer is een concept goed gemeten?
kwaliteitscriteria om uitspraken te doen over de operationalisatie van concepten
validiteit en betrouwbaarheid = kader om keuzes te maken in het proces van operationaliseren en te evalueren
hoe goed we erin slagen om de bewuste concepten te meten
VALIDITEIT = weet wat je meet
interpretatie en conclusies die we obv instrument/methode trekken kunnen in meer/mindere mate valide
DUS kenmerk van wat je als onderzoeker doet met de resultaten
Validiteit is geen kenmerk van instrument/methode (“valide instrument” → gaat erover hoe je er mee omgaat)
= argument-gebaseerdebenadering van Kane
o taak als onderzoeker om goed onderbouwde set argumenten te geven (=evidentie) waarom je als
onderzoeker vindt dat bepaalde beslissingen en conclusies valide zijn, gegeven het instrument dat je
hanteerde → link tussen meting en conclusie
bv: Welbevinden van leerkrachten
duikt in literatuur en vind vragenlijst die precies vragen bevat die jij kan kaderen vanuit conceptuele afbakening ‘welbevinden van
leerkrachten’. Dit onderzoek is uitgevoerd in Zweden en onderzoekers geven aan dat dit een hoge mate van betrouwbaarheid vertoont
en dat hoge mate constructvaliditeit heeft. Je zou kunnen berusten en stellen dat instrument een goed instrument is om te hanteren en
schrijven “we hanteerden een gevalideerde vragenlijst”. Dit is een v van validiteit als kenmerk van het instrument opzich
Echter Kane bepleit dat je als onderzoeker moet onderbouwen waarom het gebruik van die vragenlijst in jouw onderzoek leidt tot
terechte uitspraken. In deze laatste benadering moet jij als onderzoeker aantonen en evidentie verzamelen om je punt te maken.
o empirische evidentie (bewijs gebaseerd op feiten/vaststellingen), logische evidentie, evidentie uit eerder onderzoek
o Het feit dat in eerder onderzoek de vragenlijst z’n meerwaarde heeft getoond, is één stukje evidentie. Maar het is meer
overtuigend indien je meer evidentie verzamelt en dan voornamelijk over die aspecten die meest cruciaal zijn in je argumentatie.
o Zo zou je bijvoorbeeld zelf onderzoek kunnen uitzetten naar hoe respondenten de vertaalde vragenlijst interpreteren tijdens het
invullen. Is dit nog wel in lijn met hoe het bedoeld was?
4
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller StudentUantwerpenOOW. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $11.45. You're not tied to anything after your purchase.
Can Stuvia be trusted?
4.6 stars on Google & Trustpilot (+1000 reviews)
52355 documents were sold in the last 30 days
Founded in 2010, the go-to place to buy study notes for 14 years now