Resume
Uitgebreide samenvatting meten en observeren (UA schakelprogramma)
- Établissement
- Universiteit Antwerpen (UA)
Met behulp van deze samenvatting behaalde ik 17/20
[Montrer plus]
Aperçu du contenu
METEN EN OBSERVERENInhoudsopgave
1 operationaliseren.............................................................................................................................................................2
1.1 Concept → conceptuele definitie → operationele definitie........................................................................................2
1.2 Meten Van concept naar meten…..............................................................................................................................4
1.3 Wanneer meten we goed?.........................................................................................................................................4
1.4 Welke tools tot meten hebben we?...........................................................................................................................5
2 observeren.......................................................................................................................................................................6
2.1 Waarom observeren?................................................................................................................................................6
2.2 Vormen van observeren............................................................................................................................................6
2.3 Gestructureerde observatie: van observatie naar scores............................................................................................7
2.4 Betrouwbaarheid bij observatiestudies...................................................................................................................11
2.5 Validiteit..................................................................................................................................................................12
2.6 Interbeoordelaarsbetrouwbaarheid nagaan............................................................................................................13
2.7 Voorbeelden uit les..................................................................................................................................................21
3 Toetsen..........................................................................................................................................................................22
3.1 Taxonomie van toetsen...........................................................................................................................................22
3.2 Gesloten toetsen.....................................................................................................................................................23
3.3 Parallelle toetsen.....................................................................................................................................................23
3.4 Testtheorie..............................................................................................................................................................24
3.5 Klassieke testtheorie (KTT).......................................................................................................................................25
3.6 Item Respons Theorie (IRT)......................................................................................................................................33
3.7 En wat met open vragen….......................................................................................................................................45
3.8 Extra….....................................................................................................................................................................46
4 Vragenlijsten..................................................................................................................................................................47
4.1 Van concepten naar items.......................................................................................................................................47
4.2 Vragenlijstontwikkeling: inductief versus deductief.................................................................................................50
4.3 Factoranalyse..........................................................................................................................................................51
4.4 Betrouwbaarheidsanalyse.......................................................................................................................................64
4.5 Het cognitief proces achter het invullen van ene vragenlijst....................................................................................69
5 Validiteit in een breder plaatje.......................................................................................................................................72
5.1 Validiteit van meetinstrumenten.............................................................................................................................72
5.2 Geschiedenis van validiteit......................................................................................................................................72
5.3 Hedendaagse kijk op validiteit: argument-gebaseerde benadering..........................................................................74
5.4 Vijf validatie-stappen ~ interpretatie gebruiksargument..........................................................................................76
5.5 Van interpretatie-gebruiksargument naar validiteitsargument................................................................................77
5.6 Definities.................................................................................................................................................................80
6 voorbeeldvragen............................................................................................................................................................81
1
,1 OPERATIONALISEREN
1.1 Concept → conceptuele definitie → operationele
definitie
Concepten
Concept = algemeen aanvaarde collectie van betekenissen of karakteristieken van gebeurtenissen, objecten,
situaties en gedrag
Conceptualiseren = beschrijven van concept a.d.h.v. karakteristieken/betekenissen (eventueel obv theorie)
Gebruik concepten: om kennis te ontwikkelen en om info te communiceren;
nood aan gemeenschappelijke basis om op terug te vallen
Ontstaan => als we gebeurtenissen, objecten, situaties en gedrag kunnen groeperen ontstaat een concept
Gebruik: we hanteren van woorden om concepten te identificeren
tastbaar
bv: concept ‘tafel’. Tafels zijn er in allerlei vormen en kleuren, maar ze delen ook gemeenschappelijke kenmerken waardoor we erover
eens zijn dat het ‘tafels’ zijn (bv: oppervlak dat ondersteunt wordt)
bv: concept ‘lerende’. We zouden het erover eens kunnen zijn dat we alle mensen die actief nieuwe informatie verwerken of
nieuwevaardigheden inoefenen als een ‘lerende’ beschouwen
Constructen
constructen = abstracte concepten (concepten kunnen variëren in abstractieniveau)
ze zijn immers abstract = concepten die we als onderzoeksgemeenschap construeren, maar die niet tastbaar zijn
; bestaan enkel in onze “verbeelding”
bv abstractere concepten: motivatie, intelligentie, leiderschap of leeropvattingen => constructen
bv ‘motivatie’ niet letterlijk vastpakken (wel een construct), een tafel/mens/trein of zelfs een lerende wel (geen construct)
belang → onderzoekers moeten goed omschrijven/afbakenen wat ze precies wel/niet verstaan in hun onderzoek
onder een bepaald construct/concept (ernstige taak = helderheid scheppen!)
=> duidelijk maken hoe onderzoek al dan niet aansluit bij bestaand onderzoek (zodat men jouw werk
eventueel kan relateren aan voorhanden kennisbasis)
→ voor eenzelfde construct/concept kan een onderzoeker en verschillende conceptuele definities gebruiken
→ in wetenschappelijk werk vind je de conceptuele definities tegen in ‘conceptueel kader’ of ‘theoretisch kader’
bv twee verschillende conceptuele definities voor het concept ‘lerende’: Wat de ene onderzoeker als ‘lerende’ ziet, hoeft niet overeen te
stemmen met het beeld daarover van een andere onderzoeker. Voor de ene onderzoeker vallen daar misschien enkel en alleen mensen onder die
een formeel leertraject volgen, al dan niet in het leerplichtonderwijs of al dan niet op de werkplek. Een andere onderzoeker bekijkt het misschien
wat ruimer en vat onder het concept ‘lerende’ elke mens die op een bepaald moment (hoe kort of occasioneel het ook is) nieuwe informatie aan
het verwerven is en/of die een nieuwe vaardigheid inoefent.
Conceptuele definities vormen een eerste afbakening…
… daarmee nog niet duidelijk hoe je deze concepten of constructen in je onderzoek gaat meten
… ook operationele definitie nodig
operationele definitie = hierin leg je vast hoe je een bepaald concept/construct meetbaar maakt
operationaliseren = meetbaar maken van concept = vertalen van (abstract) concept in wijze waarop je het wenst te meten;
activiteit waarbij je een conceptuele definitie vertaalt naar bijvoorbeeld items op een vragenlijst
Bepaling soort concept: concreet versus abstract + enkelvoudig (unidimensioneel) versus meervoudig (meerdere dimensies)
2
,Opmerking: abstracte zaken met meerdere componenten zijn vaak moeilijkst te operationaliseren…
Vb: “onderpresteren van leerkrachten”
Abstract: je kan heel veel verschillende antwoorden hierop krijgen (tafel is vb van concreet)
Meervoudig: heeft meerdere subdimensies (bv geen lesvoorbereidingen, …) en is dus niet unidimensioneel
bv Gender:
1. Een conceptuele afbakening erin kan bestaan dat we in ons onderzoek enkel interesse hebben in de biologische betekenis van het
concept ‘gender’: mannen hebben een XY-chromosoom en vrouwen een XX-chromosoom
2. Vervolgens stelt zich de vraag hoe we dit gaan meten in ons onderzoek. Bevragen we de deelnemers aan de studie naar hun geslacht?
Doen we een geslachtstest voor elk van de deelnemers aan de hand van een DNA-onderzoek? Of, vertrouwen we blindelings op onze
eigen observatie en bepalen we zelf welk geslacht een deelnemer heeft? Dit zijn vragen naar hoe we het concept operationeel gaan
definiëren in het onderzoek
Concept = gender
Conceptuele definitie = biologische betekenis, mannen hebben een XY-chromosoom en vrouwen een XX-chromosoom
Operationele definitie = DNA/vragenlijst/observatie
bv Expertise: veel onderzoek dat zich toelegt op hoe expertise zich ontwikkelt. Een van belangrijkste is Ericcson: definieert expertise als de mate
waarin een persoon systematisch goed/uitzonderlijk presteert in verschillende vergelijkbare situaties. Deze conceptuele definitie zet de bakens uit
om effectief over te gaan naar het meten van expertise. Door het opnemen van de zinssnede ‘de mate van’ geeft Ericcson aan dat expertise in
verschillende maten voor kan komen, gaande van een zeer beperkte mate tot hoge mate van expertise. Om expertise te meten is het bovendien
ook noodzakelijk om grip te krijgen op hoe systematisch iemand uitzonderlijk presteert
bv studiesucces:
Concept = GPA, studierendement (aantal behaalde studiepunten na semester 1), drop-out
Conceptuele definite = aantal behaalde studiepunten na eerste semester
Operationele definitie = percentage, vragenlijst, zelfinschatting, studentennummers, cijfers
vragen aan faculteit
voorbeeld helpt om verder te duiden hoe we vanuit conceptuele definitie naar operationele definitie gaan…
Stel dat je wil meten of profvoetballers in meerdere of mindere mate expert zijn in strafschoppen nemen.
In feite wil je dan nagaan of een profvoetballer systematisch uitzonderlijk presteert in het nemen van
strafschoppen.
→ “expertise” drukt uit dat je ervan uitgaat dat een expert strafschopnemer zeer vaak succesvol een strafschop zal nemen.
→ Dit is nog geen operationele definitie => dienen dit nog verder te denken naar keuze in hoe we dit uiteindelijk gaan meten.
o We kunnen 25 keer naar een leeg doel laten schieten en tellen hoe vaak hij de bal in het doel trapt, je kan historische data
ontginnen en in allerlei archieven uitpluizen hoeveel van de strafschoppen die een
voetballer nam effectief binnen werden getrapt, tellen hoe vaak voetballer erin
slaagt een strafschop te scoren met een zeer goede doelman in het doel, ….
o Al deze keuzes leiden telkens tot een andere operationele definitie van het concept
‘expertise in strafschoppen nemen’
Concept = expertise, bv. strafschoppen nemen
Conceptuele definitie = de mate waarin een persoon systematisch goed (of zelfs uitzonderlijk)
presteert in verschillende vergelijkbare situaties
Operationele definitie = 25 keer naar een leeg doel schieten en tellen / historische data van
aantal strafschoppen in carrière tellen en dan kijken hoeveel er effectief binnen zijn /
Stappenplan operationaliseren complexere concepten
Stap 1: Conceptuele definitie
Stap 2: Omschrijven van deelaspecten
Stap 3: Keuze van de relevante aspecten
Stap 4: Relevante aspecten vertalen in
observeerbare indicatoren
Stap 5: Indicatoren omzetten in richtlijnen tot
registratie
Stap 6: Operationaliseren
3
, Persoonlijkheid
Concept = persoonlijkheid
Conceptuele definitie = de persoonlijkheid van een persoon is de
omschrijving van persoon door middel van psychologische trekken, ...
Operationele definitie = vragenlijst/observatie
1.2 Meten Van concept naar meten…..
Meten = breed begrip
= vanuit een vaststelling naar het toekennen van een waarde gaan
Meten van variabelen
=> één of andere wijze van een concept naar (een reeks van) variabelen zullen gaan (= operationaliseren)
=> na de operationalisering kan je zowel numerieke als categorische (nominaal/ordinale) variabele krijgen
1.3 Wanneer meten we goed?
Als onderzoeker ben je verantwoordelijk om:
1. voldoende helderheid te brengen in hoe je je concepten hebt gemeten
2. te onderbouwen waarom je denkt dat dit een goede wijze is van meetbaar maken gegeven de onderzoeksvraag
waarin je geïnteresseerd bent
wanneer is een concept goed gemeten?
kwaliteitscriteria om uitspraken te doen over de operationalisatie van concepten
validiteit en betrouwbaarheid = kader om keuzes te maken in het proces van operationaliseren en te evalueren
hoe goed we erin slagen om de bewuste concepten te meten
VALIDITEIT = weet wat je meet
interpretatie en conclusies die we obv instrument/methode trekken kunnen in meer/mindere mate valide
DUS kenmerk van wat je als onderzoeker doet met de resultaten
Validiteit is geen kenmerk van instrument/methode (“valide instrument” → gaat erover hoe je er mee omgaat)
= argument-gebaseerdebenadering van Kane
o taak als onderzoeker om goed onderbouwde set argumenten te geven (=evidentie) waarom je als
onderzoeker vindt dat bepaalde beslissingen en conclusies valide zijn, gegeven het instrument dat je
hanteerde → link tussen meting en conclusie
bv: Welbevinden van leerkrachten
duikt in literatuur en vind vragenlijst die precies vragen bevat die jij kan kaderen vanuit conceptuele afbakening ‘welbevinden van
leerkrachten’. Dit onderzoek is uitgevoerd in Zweden en onderzoekers geven aan dat dit een hoge mate van betrouwbaarheid vertoont
en dat hoge mate constructvaliditeit heeft. Je zou kunnen berusten en stellen dat instrument een goed instrument is om te hanteren en
schrijven “we hanteerden een gevalideerde vragenlijst”. Dit is een v van validiteit als kenmerk van het instrument opzich
Echter Kane bepleit dat je als onderzoeker moet onderbouwen waarom het gebruik van die vragenlijst in jouw onderzoek leidt tot
terechte uitspraken. In deze laatste benadering moet jij als onderzoeker aantonen en evidentie verzamelen om je punt te maken.
o empirische evidentie (bewijs gebaseerd op feiten/vaststellingen), logische evidentie, evidentie uit eerder onderzoek
o Het feit dat in eerder onderzoek de vragenlijst z’n meerwaarde heeft getoond, is één stukje evidentie. Maar het is meer
overtuigend indien je meer evidentie verzamelt en dan voornamelijk over die aspecten die meest cruciaal zijn in je argumentatie.
o Zo zou je bijvoorbeeld zelf onderzoek kunnen uitzetten naar hoe respondenten de vertaalde vragenlijst interpreteren tijdens het
invullen. Is dit nog wel in lijn met hoe het bedoeld was?
4
Les avantages d'acheter des résumés chez Stuvia:
Qualité garantie par les avis des clients
Les clients de Stuvia ont évalués plus de 700 000 résumés. C'est comme ça que vous savez que vous achetez les meilleurs documents.
L’achat facile et rapide
Vous pouvez payer rapidement avec iDeal, carte de crédit ou Stuvia-crédit pour les résumés. Il n'y a pas d'adhésion nécessaire.
Focus sur l’essentiel
Vos camarades écrivent eux-mêmes les notes d’étude, c’est pourquoi les documents sont toujours fiables et à jour. Cela garantit que vous arrivez rapidement au coeur du matériel.
Foire aux questions
Qu'est-ce que j'obtiens en achetant ce document ?
Vous obtenez un PDF, disponible immédiatement après votre achat. Le document acheté est accessible à tout moment, n'importe où et indéfiniment via votre profil.
Garantie de remboursement : comment ça marche ?
Notre garantie de satisfaction garantit que vous trouverez toujours un document d'étude qui vous convient. Vous remplissez un formulaire et notre équipe du service client s'occupe du reste.
Auprès de qui est-ce que j'achète ce résumé ?
Stuvia est une place de marché. Alors, vous n'achetez donc pas ce document chez nous, mais auprès du vendeur StudentUantwerpenOOW. Stuvia facilite les paiements au vendeur.
Est-ce que j'aurai un abonnement?
Non, vous n'achetez ce résumé que pour €10,66. Vous n'êtes lié à rien après votre achat.
Peut-on faire confiance à Stuvia ?
4.6 étoiles sur Google & Trustpilot (+1000 avis)
75632 résumés ont été vendus ces 30 derniers jours
Fondée en 2010, la référence pour acheter des résumés depuis déjà 14 ans
