Samenvatting MOB: notities uit de les + samenvatting teksten + stappenplannen in R + overzicht validiteit/betrouwbaarheid
Heel handig overzicht om te gebruiken tijdens het examen! Ik haalde met deze samenvattingen een 16/20.
,Inhoudsopgave
Hoofdstuk 1: Operationaliseren ...................................................................................... 5
1.1 Van concept naar meten ....................................................................................... 5
Bepaling van het soort concept ...........................................................................................6
“Eenvoudige” concepten operationaliseren ............................................................................6
Complexe concepten operationaliseren .................................................................................7
1.2 Meten als breed begrip ......................................................................................... 7
Wanneer meten we ‘goed’? ...............................................................................................7
1.3 Tools die we kunnen gebruiken om te meten ............................................................. 8
Hoofdstuk 2: Observeren .............................................................................................. 9
2.1 Waarom observeren?............................................................................................ 9
2.2 Vormen van observeren ........................................................................................ 9
2.3 Gestructureerde observatie: van observatie naar scores: te maken keuzes ...................... 10
2.3.1 Stap 1: Observatieschema’s ontwikkelen: aandachtspunten .............................................. 10
2.3.2 Stap 2: Doel en opzet van de observatiestudie bepalen .................................................... 10
2.4 Betrouwbaarheid bij observatiestudies .................................................................... 15
2.4.1 Beoordelingseffecten ............................................................................................. 15
2.4.2 Inter – en intrabeoordelaarsbetrouwbaarheid................................................................. 15
2.5 Interbeoordelaarsbetrouwbaarheid nagaan ............................................................... 15
2.5.1 Cohen’s Kappa (categorische var + 2 beoordelaars) ......................................................... 16
2.5.2. Fleiss’ Kappa (categorische var + >2 beoordelaars) ......................................................... 17
2.5.3 ICC (kwantitatieve variabelen, 2 of > beoordelaars)......................................................... 17
2.6 Validiteit .......................................................................................................... 19
2.7 Facultatieve tekst (Hallgren) ................................................................................. 19
Hoofdstuk 3: Toetsen .................................................................................................. 21
3.1 Taxonomie van toetsen ....................................................................................... 21
Toetsen indelen naargelang de toepassing ........................................................................... 21
3.2 Gesloten toetsen ................................................................................................ 22
3.3 Parallelle toetsen ............................................................................................... 22
Hoe parallelle toetsen maken? ......................................................................................... 22
3.4 Testtheorie ...................................................................................................... 22
3.5 Klassieke testtheorie (KTT) ................................................................................... 23
3.5.1 Willekeurige en systematische meetfouten ................................................................... 23
3.5.2 Theoretisch meetmodel achter de klassieke testtheorie.................................................... 23
2
, 3.5.3 Cronbach’s Alpha als maat van betrouwbaarheid ............................................................ 24
3.5.4 Interpretatie ........................................................................................................ 25
3.5.5 Moeilijkheid van een item in KTT ............................................................................... 25
3.5.6 Discriminerend vermogen van een item in KTT: Rir ........................................................ 26
Berekening in R van moeilijkheid, discriminerend vermogen en betrouwbaarheid ............................ 26
3.5.7 Kritiek op de klassieke testtheorie ............................................................................. 27
3.6 Item Response Theorie (IRT) ................................................................................. 28
3.6.1 Het Rasch-model (= eerste IRT model) ......................................................................... 28
Theoretisch meetmodel achter het Rasch-model ................................................................. 28
Item characteristics curve ............................................................................................ 29
Het Rasch-model in de praktijk ...................................................................................... 30
3.6.2 Het 1-PL model..................................................................................................... 31
Theoretisch meetmodel achter het 1-PL model................................................................... 31
Het 1-LP model in praktijk ........................................................................................... 32
3.6.3 Het 2-PL model..................................................................................................... 33
Het theoretisch meetmodel achter het 2-PL model .............................................................. 33
Het 2-PL model in de praktijk ........................................................................................ 33
3.6.4 Visualiseren van de resultaten ................................................................................... 34
3.6.5 Toetsontwikkeling in de praktijk ................................................................................ 35
3.7 Wat met open vragen? ......................................................................................... 36
3.7.1 Holistisch beoordelen ............................................................................................. 36
3.7.2 Analytisch beoordelen ............................................................................................ 36
3.8 De ene toets is de andere niet ............................................................................... 36
3.9 Problemen bij open beoordelen ............................................................................. 36
Hoofdstuk 4: vragenlijsten ........................................................................................... 39
4.1 Van concepten naar items .................................................................................... 39
4.1.1. Vragenlijstontwikkeling= inductief vs deductief ............................................................. 39
4.1.2 Gebruik van bestaande vragenlijsten ........................................................................... 40
4.1.3 Enkelvoudige vs meervoudige metingen ....................................................................... 40
4.1.4 Latente en manifeste variabelen ................................................................................ 41
4.1.5 Multidimensionaliteit.............................................................................................. 42
4.1.6 Meetfouten / betrouwbaarheid ................................................................................. 42
4.1.7 Bias /validiteit ..................................................................................................... 43
4.2. Betrouwbaarheid / validiteit ................................................................................ 43
4.3 Factoranalyse .................................................................................................... 44
4.3.1 Van correlaties → factoranalyse ................................................................................ 44
3
, 4.3.2 Patronen van samenhang ......................................................................................... 45
4.3.3 Principale componentenanalyse (PCA) ......................................................................... 45
Theorie (zie ook pg 83-87) ............................................................................................ 45
In R ....................................................................................................................... 47
4.3.4 Exploratieve factoranalyse (EFA)................................................................................ 50
De theorie ............................................................................................................... 50
In R ....................................................................................................................... 52
4.4 Betrouwbaarheidsanalyse ..................................................................................... 53
4.4.1 Cronbach’s Alpha .................................................................................................. 53
4.4.2 Hoe interpreteer je Cronbach’s Alpha? ........................................................................ 53
4.4.3 In R ................................................................................................................... 53
4.4.4 Van items naar schalen ........................................................................................... 55
4.5. Het cognitief proces achter het invullen van een vragenlijst ........................................ 57
4.5.1 Soorten problemen per stap ..................................................................................... 57
4.5.2 Strategieën bij vragenlijst ontwikkeling ....................................................................... 58
Hoofdstuk 5: Validiteit in een breder plaatje .................................................................... 59
5.1 Validiteit van meetinstrumenten ............................................................................ 59
5.2 Geschiedenis van de validiteit ............................................................................... 59
5.3 Hedendaagse kijk op validiteit: een argument-gebaseerde benadering (Kane) ................... 60
5.3.1 Bepalen van jouw doel ............................................................................................ 61
5.3.2 Kritische aspecten van het meetinstrument nagaan ......................................................... 61
5.4 De 5 valididatie-stappen: 5 inferenties die interpretatie en gebruik onderbouwen ............. 62
5.5 Van interpretatie-gebruiksargument → validiteitsargument .......................................... 64
5.5.1 Evidentie voor de verschillende inferenties ................................................................... 64
5.5.2 Hoe sterk is je validiteitsargument? ............................................................................ 66
4
, Hoofdstuk 1: Operationaliseren
1.1 Van concept naar meten
Theorieën ontwikkelen → concepten en constructen spelen hierin cruciale rol!
❖ Concept = gemeenschappelijke basis om op terug te vallen. Algemeen aanvaarde collectie van
betekenissen of karakteristieken van gebeurtenissen, objecten, situaties en gedrag. Van zodra je deze
gebeurtenissen, objecten, situaties en gedrag kan groeperen = een concept. (bv: ‘tafel’, ‘lerende’, …)
❖ Construct = abstracter. Vb: motivatie, intelligentie, leeropvattingen, leiderschap, …
Belangrijk om goed te omschrijven wat je onder een bepaald construct of concept verstaat → conceptuele
definitie. (In wetenschappelijke artikels onder ‘conceptueel kader’ of ‘theoretisch kader’)
Bv: Expertise = mate waarin een persoon systematisch goed (of zelfs uitzonderlijk) presteert in verschillende vergelijkbare
situaties.
Operationele definitie = hoe je een bepaald construct of concept meetbaar maakt. Vertalen van het concept
in de wijze waarop je het wil meten/vaststellen = operationaliseren.
Vb: ‘Gender’ = enkel biologische betekenis (XY en XX), maar hoe meten? DNA onderzoek? Of gewoon ‘zien’?
Vb2: Expertise in strafschoppen nemen bij voetballers:
* 25x laten trappen – hoeveel keer in doel? OF
* historische data analyseren OF
* Zeer goede doelman in de goal en dan tellen, …
5
, Bepaling van het soort concept
Waar bevindt mijn concept zich op vlak van:
❖ Complexiteit > 1 component of meerdere componenten in mijn definitie?
❖ Abstractie > Concreet waarneembaar of eerder abstract/theoriegebonden?
Voorbeeld: “Onderpresteren van leerkrachten”
= abstract en complex
“Eenvoudige” concepten operationaliseren
6
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller christelvandenborre. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $17.24. You're not tied to anything after your purchase.
