Samenvatting van de hoorcolleges, bijbehorende artikelen (met daarbij tentamenvragen inclusief antwoord) en de reader van het vak 'Assessment & Evaluatie', gegeven in academiejaar .
Aantekening ontwikkelen van assessment- en evaluatie-
instrumenten voor onderwijssituaties
Er zijn verschillende cycli te vinden betreffende het toetsingsproces. Wanneer je doelstelling helder
is, kan je vervolgens een bestaand instrument gebruiken of een instrument ontwikkelen. Type toets
en welk meetniveau voor welk doel:
1. kennistoetsen – kennis en beheersingsniveaus
2. vragenlijsten/interviews – attitudes, opvattingen, voorkeuren
3. performance assessments – vaardigheden en beheersingsniveaus
4. documentanalyses – verantwoording beleid en gemaakte keuzes
Beslissing:
Absoluut (criterion) minimum aantal punten
Relatief (norm) bijvoorbeeld beste 10 gaan door
Holistisch algemene indruk zonder uitgewerkte criteria
Analytisch verschillende facetten expliciet vanuit criteria bekijken
Compensatorisch mogelijkheid compenseren
Conjunctief toetsen moeten boven de norm
,Psychometrische kwaliteitseisen – getalsmatig/variatie
Validiteit – beoogd doel (van de afname) van het instrument
Inhoudsvaliditeit:
o Theoretische onderbouwing (deel)construct(en) en items
o Face validiteit (experts, gebruikers)
Begripsvaliditeit (convergent en divergent)
o Toetsmatrijs
o Pilot (gebruikers)
o Factoranalyse
o Meet-intervariantie
Predictieve validiteit
o Redenatie legitimatie (theorie)
o Multipele regressieanalyse
Betrouwbaarheid – precisie (van de afname) van het instrument
Bij één testafname
o Split-halfmethode
o Interne consistentie
o Objectiviteit (kalibratie)
Bij twee testafnames
o Test-hertest methode
Itemanalyse
o Datareductie
o Cronbach’s alpha/omega
o Item-restcorrelatie (rir- of rit-waarden)
o Moeilijkheidsgraad (bv a en p-waarden)
o Discriminerend vermogen
Edumetrische kwaliteitseisen – betekenisvol en transparant
Utiliteit – transparantie (van de afname) en efficiëntie van het instrument
- Wordt duidelijke uitgelegd hoe het instrument gebruikt dient te worden?
- Worden de beoordelingscriteria vooraf voldoende inzichtelijk gemaakt?
- Wordt inzichtelijk gemaakt hoe de beoordeling tot stand zal komen?
Impact – benodigde (tijds)investering en consequenties (van de afname) van het instrument
- Wordt de verwachte prestatie voldoende geoefend?
- Is het instrument werkbaar afgezet tegen de tijd (toets, studie, nakijk)?
- Is het besluit iemand te laten slagen/zakken te rechtvaardigen?
- Is de gebruiker op de hoogte van en akkoord met de ethische aspecten?
Toetsen:
- Een manier om info te verzamelen
- Met een zekere intentie
- Verzamelde informatie is een representatie van gezochte informatie
- Tussen testafnemer en geteste bestaat een machtsverschil
,Specifieke toetsinstrumenten:
1. kennistoets – open of gesloten vragen
2. als onderdeel van een competentie-assessment (‘proeve van bekwaamheid’)
3. als onderdeel van een (psychologische) test
In feite kan elke activiteit een test zijn
Toetsvorm lok antwoordstrategie uit:
Multiple-choice en open-vraagstrategieën
Antwoordtendenties in afwezigheid van een vraag
Gestelde eisen vooraf lokken strategisch gedrag uit (bijvoorbeeld bij een rubric)
Rubric:
- Combineert criteria (meestal 3-5) en ‘performance descriptions’
- Rubric for learning vs rubric for grading – analytisch (formatief) vs holistisch (summatief)?
- ‘appropriate criteria are the key to effective rubrics’
- Rubric wordt vaker ingezet als grading-tool en niet om feedback te verzorgen
Toetsmatrijs – basis voor toets-constructie (leerdoelen x beheersingsniveau)
Construeren van test-items, grootste uitdaging: vermijden ambiguïteit (is duidelijk wat je vraagt? op
een andere manier te interpreteren?) en ‘nut’ test-wiseness (trucjes gebruiken om toch het goede
antwoord te geven)
Soorten items:
- Kort antwoord (1 woord/term)
Associatie
‘completion’ vragen
- Waar-onwaar
- Multiple-choice
o Voordelen:
Makkelijk af te nemen en te verwerken
Objectieve scoringsmethode
Groter bereik kennisdomein belangrijk
Mits goed geconstrueerd kun je er bijna alles mee meten
o Nadelen
Gemakkelijk oppervlakkig
Gemakkelijke schijnobjectiviteit
, Richtlijnen multiple-choice:
1. gebruik niet te complexe item-types
2. creëer items die bepaalde cognitieve processen op gang brengen
3. vermijd ‘geen/al van het bovenstaande’
4. gebruik 3 mogelijke antwoordopties
5. maak de test uitdagend, maar niet te moeilijk
6. geef feedback
Validering surveyvragen: meetinstrument verbeteren aan de hand van cognitieve validatie
Cognitief interview: tijdintensief, vereist training
RPE (response process evaluation): alternatief op cognitief interview, iteratieve methode om items
voor te leggen en reviseren. Vooral nuttig bij items waarin culturele achtergrond interpretatie
beïnvloedt.
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller BKH. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $7.49. You're not tied to anything after your purchase.
