,Analyse – wat?
Wat is het verschil tussen evalueren en toetsen
Bij evalueren doen we een toets om een waardeoordeel te vellen over
dingen, mensen, programma’s. Als we data’s verzamelen over mensen of
organisaties met betrekking tot de prestaties.
Soorten evaluatie:
- Formatief: Procesgericht zijn we op de goede weg? Gaat het zoals we
vooraf hebben bedacht? Moet er iets worden bijgesteld?
Als het project nog loopt en je bent aan het evalueren dan ben je altijd
formatief aan het leren.
- Summatief: Resultaatgericht Is het gelukt? Kunnen we dit doorzetten,
invoeren, algemeen verplicht maken?
Als het project af is, vaak door middel van een toets.
- Confirmatief: Beklijft het resultaat, werkt het voldoende door, ook naar
werkgedrag en organisatieniveau? het bevestigd of de gestelde eisen
worden behaald.
Het project is af en wordt geïmplementeerd in een organisatie, na 6
maanden kan je evalueren of het product ook zo gebruikt wordt als je op
voorhand had bedacht.
Het verschil tussen summatief en confirmatief : confirmatief gaat altijd
over een langere tijd, dus bijvoorbeeld na 6 maanden of 1 jaar.
Multiple data sources: je hebt verschillende bronnen die je gebruikt om je
vragen te beantwoorden.
Bij kennis neem je bijvoorbeeld een toets af.
Bij vaardigheden geef je je leerling bijvoorbeeld een opdracht: je
moet een stoel kunnen timmeren. En dan hem een stoel laten timmeren,
doet hij dat goed dan heeft hij die vaardigheid onder de knie.
Analyse – hoe?
4 verschillende soorten analyse:
- Doelgroepanalyse
- Contextanalyse
- Probleemanalyse
- Taakanalyse
Probleemanalyse
Behoefteanalyse: Welke behoefte speelt hier precies, waar moet mijn
instructie op inspelen. Is het wel een instructieprobleem of is er iets
anders aan de hand.
Ideaal gezien zou dit vorm worden gegeven door middel van een klein
onderzoekje met een meetinstrument, dataverzameling, data-analyse ect.
,Dit kost echter heel veel tijd en is in veel gevallen niet haalbaar. Daarom
vindt dit vaak plaats middels een interview.
Doelanalyse: Welke doelen moeten de lerende aan het einde hebben
geleerd?
- identificeer een einddoel;
- stel tussendoelen;
- verfijn doelen;
- zet ze op volgorde;
- verfijn weer;
- maak een definitieve volgorde.
performance assessment: verstellen of het probleem echt wordt
veroorzaakt door het tekort komen van kennis.
Hou bij het bepalen van de volgorde rekening met:
- welke vaardigheden er nodig zijn om een nieuwe vaardigheid te leren.
Sommige kennis heb je nodig voordat je begint aan de volgende
vaardigheid.
- Ook kan je beginnen met iets wat bekend is, of juist iets wat nog niet
bekend is.
- Of werken van makkelijk naar moeilijk, of moeilijk naar makkelijk
beginnen met een complex probleem, zodat de lerende weet waarom hij
de kennis nodig heeft en waarom hij dat moet leren.
- Interesse: Eerst een leuke opdracht zodat de interesse wordt gewekt.
- Ontwikkelingstheorie: Cognitieve ontwikkeling (rijping hersenen). De
hersenen moeten een bepaalde ontwikkeling doorstaan om te kunnen
abstract denken.
Doelgroepanalyse
In het onderwijs wordt aanbevolen in gesprek te gaan met de docenten. Zij
weten immers het beste wat er speelt bij hun leerlingen. Probeer de
doelgroep in kaart te brengen. Welke methodes worden er gebruikt, hoe
lang is de spanningsboog, in hoeverre wordt de Nederlandse taal beheerst
ect.
Let bij de doelgroepanalyse op de privacy van de doelgroep die je in kaart
probeert te brengen. Vraag van tevoren toestemming aan
ouders/verzorgers.
Contextanalyse
Breng de context waarin de lerende zich bevind in kaart, niet alleen de
fysieke context maar ook de curriculum (planning van het jaar).
- Orienting context
- Instructional context
- Transfer context
Taakanalyse
Welke taken moet de lerende na afloop kunnen volbrengen?
- Topic analyse;
, je brengt alle feiten, concepten, topics in kaart en je kijkt welke
vaardigheden/attitudes er nodig zijn. Om erachter te komen welke
kennis van belang is om aan te leren bij de lerende, kan je
contact opnemen met een deskundige.
- Procedurele analyse;
Welke kennis wil je de lerende aanleren en zijn daar bepaalde
procedures in te onderscheiden?
- Algoritme: Elke keer dezelfde procedure, stap voor stap uitgelegd,
garantie op succes.
- Heuristiek: strategische aanpak met vuistregels.
Klantenprotocol in een hotel algoritme (elke klant wordt op
dezelfde manier aangesproken volgens een vast patroon), of heuristiek
(de medewerkers hebben vuistregels die ze kunnen gebruiken om
klanten aan te spreken).
- Critical incident analyse.
Vinden er kritische incidenten plaats in je lessenserie? Bijvoorbeeld
met agressieve leerlingen. Bespreek dit met een ervaringsdeskundige. Of
bijvoorbeeld een reageerbuisje die kan breken – daar moet je rekening
mee houden in je instructie.
Analyse – waarom?
Je kan op verschillende niveaus evalueren, bijvoorbeeld doormiddel van
de ‘levels’ van Kirkpatrick (1996):
1. Reactie: De vragenlijsten die worden afgenomen aan het einde van
de training of cursus. Wat vond je van de training? Van de trainer?
Van het eten? meet de reactie van de cursist naar aanleiding van
de training. Vraag ook naar de reactie m.b.t. de relevantie van de
training.
2. Leren: vaststellen welke kennis, vaardigheden en attituden er wordt
geleerd tijdens de training. Kan je toetsen doormiddel van een
tentamen. Of dat je bijvoorbeeld een stoel moet maken, heb je dat
goed gedaan dan heb je het doel behaald.
3. Gedrag: De kennis, vaardigheden en attitudes die je hebt geleerd.
Zie je die ook terug in je gedrag? Is je gedrag veranderd naar
hetgeen je hebt geleerd.
4. Resultaat: Zorgen de nieuwe kennis, vaardigheden en attitudes ook
voor een verandering in gedrag op de werkvloer, of zie je het terug
in het werkproces. Bedenk vooraf op welke plekken je een
verandering verwacht en wat je verwacht van de verandering.
5. Jack Philips (heeft een vijfde niveau toegevoegd) return on
investment: wegen de kosten van de training op tegen de
uitkomsten?
6. Brinkenhof, 2006 (heeft een zesde niveau toegevoegd) lange
termijn veranderingen: Na het volgen van een training moet je
eigenlijk op de lange termijn gaan meten of er echte verschillen zijn.
Dit kan je vooraf, tijdens of achteraf doen waarbij je elk niveau moet
doorlopen. Het voorgaande niveau is geen voorwaarde voor het
opvolgende niveau.
