LECTURE 1: ID&E: Aligning goals, instruction and evaluation
Reiser, R.A. (2001) A history of instructional design and technology: Part II.
Instructional Design is door de jaren heen beïnvloed door vele verschillende visies.
Een korte weergave wordt gegeven.
De origine komt voort uit de Tweede Wereldoorlog. In de oorlog was er veel aandacht
voor Instructional Design, omdat men een leger moest opleiden. De soldaten moest getraind
worden voor bepaalde posities en werkzaamheden. Dit verliep succesvol en na de oorlog
gaven veel van de psychologen vervolg aan het oplossen van instructieproblemen. Zij gingen
in de jaren ’40 en ’50 aan het werk bij organisaties. Deze organisatie zagen training als
systeem en er werden verschillende innovatieve analyses, ontwerpen en evaluatie procedures
ontworpen.
In de jaren ’50 en ’60 werd dit idee van systemen doorgezet (programmed instruction
movement). Skinner zorgde voor een kleine revolutie in het educatieveld. Hij beschreef zijn
ideeën ten aanzien van benodigdheden voor leren en gewenste karakteristieken voor effectief
instructiemateriaal. Het geprogrammeerde instructiemateriaal zou bijvoorbeeld in kleine
stappen moeten werken, openlijke antwoorden op veel gestelde vragen, onmiddellijke
feedback en self-pacing. Het was een empirische benadering van het oplossen van educatieve
problemen: effectiviteitsdata werd verzameld, zwakpunten geïdentificeerd en materiaal werd
aangepast (trail and revision).
De ontwikkeling ging verder bij de specifieke doelen die lerende moesten behalen met
een instructiemateriaal. Dit was vaak de start van een ontwerp: wat moet er geleerd zijn na
afloop? De doelen moesten geteld worden in behavioristische termen en ze moesten dienen
voor evaluatie van de effectiviteit van de instructie. Bloom gaf nog een boost aan de
behavioristische doelen door zijn taxonomie.
Tegelijkertijd werd ook ontwikkeling gemaakt t.a.v. de criterion-referenced testing.
Het was bedoeld om te testen hoe goed een individu was in bepaald gedrag (bijvoorbeeld
zwemmen) ten opzichte van een criterium (assessment van diploma A). De beoordeling staat
dus los van wat andere presteren. Voorheen werd nog met name getest vanuit de norm (norm-
referenced testing). Het criterium testen kon gebruikt worden voor toelatingstesten en in
hoeverre een student het gedrag kon uitvoeren wat verwacht werd.
Tegelijkertijd oefende Gagné veel invloed uit met twee publicaties. Hij publiceerde
vijf domeinen van leeruitkomsten en negen activiteiten van instructie. Het bleken hoekstenen
voor Instructional Design te zijn. Hij beschreef dat binnen het intellectuele domein een
hiërarchische opbouw is van vaardigheden. Als iemand een bovengeschikte vaardigheden wil
leren, dan moet hij eerst beschikken over de ondergeschikte vaardigheden. Instructie moest
zo opgebouwd worden voortaan. Om zulke opbouw te creëren moest de vaardigheid van
tevoren uitgebreid geïdentificeerd worden.
In de jaren ’60 investeerde de VS veel geld in Instructional Desgin, omdat ze
ingehaald waren door de Sovjet-Unie op het gebied van ruimtevaart. Het resultaat was dat ze
erachter kwamen dat veel ontworpen materialen niet effectief waren. Het belang van
uitproberen en testen werd hierdoor belangrijk. Er moesten voortaan testen worden
uitgevoerd voordat de finale vorm gepubliceerd kon worden. Scriven sprak van formatieve en
summatieve evaluatie. Er werden procedures ontwikkeling om ontwerpen uitgebreid te testen.
Daarnaast werden vele nieuwe ontwerpen gecreëerd.
In de jaren ’70 was de aandacht en interesse grootst voor Instructional Design in
verschillende sectoren, bijvoorbeeld defensie, academica, industrie en internationale
federaties (overheden). De groei trok door in de jaren ’80. Andere sectoren, zoals onderwijs,
was nauwelijks beïnvloed door de ontwikkelingen in Instructional Design. De aandacht voor
,het cognitivisme groeide, maar onderzoeken wezen uit dat het effect gering was. Het
werkveld werd wel beïnvloed door de opkomst van microcomputers. Er kwam bijvoorbeeld
aandacht voor computergestuurde instructie.
In de jaren’90 werd het veld beïnvloed door verschillende ontwikkeling, waaronder de
technologie. Dit leverde betere analyses op waardoor bleek dat prestatieproblemen andere
oorzaken hadden dan verwacht. Hierdoor werden de activiteiten van Instructional designers
vergroot. Tevens had het constructivisme invloed. Belangrijke principes waren: oplossen van
complexe, realistische problemen, interactie, meerdere perspectieven, eigenaarschap van het
leerproces en je eigen rol kennen in de constructie van kennis. De technologie begon tevens
prestaties te ondersteunen. Hierdoor kreeg de designer een andere aard. Het belang van
training werd minder door support systemen die op het juiste moment informatie
voorschreven. Daarnaast was er ook nog de trend van rapid prototyping. Het procedeerde
kwalitatief goede materialen in weinig tijd dan technieken van voorheen. Tevens was er de
trend van Internet en afstand leren. Dit leverde allemaal nieuwe kansen en projecten op
instructional designers. Een meest recente trend is kennismanagement. Waarbij kennis in een
organisatie effectief gedeeld moeten worden, terwijl het vaak oorspronkelijk is uit een
individu of een selecte groep.
Hoorcollege t.a.v. Reiser (2001)
Het omschrijft een paradigma verandering:
- Selection to expertise development
- Teacher to learner centered
- Standarized to adaptive instruction
- Norm-based to criterium based
- Individual to collective learning
Clara, M., & Barbera, E. (2013) Learning online: massive open online courses
(MOOCs), connectivism, and cultural pscyhology.
Er is een groei in aandacht voor MOOCs, oftewel grote open online cursussen. De
MOOCs zijn gestuurd door hele specifieke pedagogische assumpties. In de MOOCs is een
distinctie tussen connectivistische aard (cMOOCs) en academische aard (xMOOCs). De
xMOOCs zijn niet vanuit een pedagogisch standpunt ontwikkeld en bevatten met name
behavioristische elementen. cMOOCs zijn expliciet ontwikkeld vanuit het connectivisme,
aangezien andere leertheorieën het leerfenomeen van Web 2.0 niet kunnen beschrijven. Het
connectivisme zal een belangrijke rol spelen bij xMOOCs als zij zich pedagogisch
ontwikkelen. Clara en Barbera denken echter dat het connectivisme niet adequaat het leren
kan uitleggen zoals het gebeurd in Web 2.0. Zij hebben een alternatieve visie.
Web 2.0 heeft een aantal uitdagende karakteristieken die uitgelegd dienen te worden,
namelijk: (1) de snelle groei van kennis, waardoor kennis dynamisch is; en (2) de nieuwe
soorten van productie en externalisatie van kennis. De drie gedateerde leertheorieën kunnen
dit niet uitleggen, aangezien zij geloven in dat kennis een ding is en dat kennis in het individu
zit. Het dynamische karakter botst met de thingness en de nieuwe soorten van productie
(multiplicitiy) botst met het individuele karakter. Er is een nieuwe leertheorie nodig, namelijk
connectivisme.
Het connectivisme zegt dat kennis opgemaakt is en dat representaties daar los van
staat. De representatie is dus niet de kennis. Dit is tegenstrijdig aan het oude ‘thingness’. De
kennis bestaat uit neurotische patronen. De patronen zijn veranderbaar en dynamisch. De
patronen worden gemaakt met externe knooppunten. Deze knooppunten zijn mensen,
,materialen en gereedschappen. Dit idee van een extern netwerk is de reactie op het
individuele karakter volgens de oude leertheorieën (Siemens, & Downes).
Clara en Barbera vinden dat het connectivisme vervolgens geen adequaat antwoord
geeft op uitdagende karakteristieken van Web 2.0. Zij onderschrijven namelijk drie
problemen. Het eerste probleem is de ‘learning paradox’. Als een patroon wordt gemaakt, hoe
weet je dan dat het zo moet en dat het kennis is? Dit probleem zorgt ervoor het veel lerende
verdwaald raken zonder sturing en ondersteuning in cMOOCs. Ten tweede beschrijft het
connectivisme een knooppunt als aan-uit-functie, terwijl onderzoek uitwijst dat interactie
juist zeer dynamisch is. Hierdoor ondervinden lerende problemen met het onderhouden van
een vruchtbare interactie. Ten derde, het connectivisme kan ontwikkeling niet uitleggen: als
een concept bestaat uit een patroon van associaties, hoe kan het concept ontwikkelen terwijl
het patroon onveranderd blijft? Clara en Barbera zien geen andere oplossing dan het
connectivisme te verlaten als leertheorie passend bij Web 2.0.
Zij stellen het idee voor de Vygotsky psychologische traditie, oftewel culturele-
historische activiteit theorie (CHAT). CHAT onderschrijft drie ideeën en volgens de auteurs
verklaren deze ideeën de uitdagende karakterstieken van Web 2.0 (dynamic and multiple
perspectives). Het eerste is dat representaties van kennis gereedschappen zijn die mediëren
tussen subject en object. De tool is dus extern aan het subject en bestaat alleen als het in use
is. Het object is de uiteindelijke kennis in de vorm van een patroon. Het tweede idee is dat
representaties verdeeld zijn over groepen en systemen van activiteiten. Groepen zijn mensen
met wederzijdse betrokkenheid en de systemen zijn tradities in de groepen / communities. De
representaties zijn tools, zie idee 1. De tools zijn verdeeld en handelingswijze transformeert
deze tools. Een krachtige functies is het combineren van tools om het gelijke bovengeschikte
object te bereiken. Het derde en laatste idee is dat leren bestaat uit de internalisatie van de
lerende en het gebruik van de representatie in relatie tot het object. De internalisatie is alleen
mogelijk als de lerende de kans heeft om de representatie te gebruiken in de zone van naaste
ontwikkeling samen met anderen. Hierdoor wordt het gelerende intern.
Het dynamische karakter van de representaties komt overeen met de dynamische
karakteristiek van Web 2.0. Dit komt met name terug in de transformatie en herverdeling van
de tools. De levert tevens multipele zienswijzen op. Het artikelen eindigt met twee
pedagogische principes die belangrijk zijn voor MOOCs. Het eerste principe is dat de
visualisatie van objecten moeten worden toegestaan, zodat lerende de representaties kunnen
gebruiken ter mediatie tussen subject en object. Het tweede principe omvat dat er kansen
moeten zijn voor het gezamenlijk gebruik van representaties om tot internalisatie te komen.
Ten slotte, het connectivisme moet gezien worden als fenomeen en niet als leertheorie.
Pellegrino, J.W., DiBello, L.V., & Goldman, S.R. (2016) A framework for
conceptualizing and evaluating the validity of instructionally relevant assessments.
Het artikel is geschreven om een overzicht te geven van de concepten en
componenten rondom validiteit die toepasbaar is op assessment bedoeld voor in de klas. De
onderzoeken naar validiteit rondom assessment zijn met name gericht op grote schaal en
high-stake gebruik. Er is dus een wens voor validiteit-analyse ten aanzien van assessment die
bedoeld is voor in de klas, zowel formatief als summatief. Zulke assessment zijn vaak
gedetailleerder van aard.
Kane gaat in op de Argmentation-Based Approach. Hierbij wordt het interpretatieve
argument en validiteitsargument omschreven. Het interpretatieve argument zijn de stellingen
die test-score onderbouwen. Het validiteitsargument verzorgd de wetmatigheid (warrant)
voor het interpretatieve argument. Dit model zegt eerst hoe de resultaten gebruikt kunnen
worden (claims) en vervolgens de basering (bewijs en argumenten).
, Pelligrino et al. benoemd vier soorten validiteit, namelijk content (representatief aan
de stof), criterium (correlatie met de externe prestatie), construct (meet het wat wil meten) en
consequentie (de consequenties voor leren en lesgeven). Zij brengen deze vormen terug naar
drie vormen, namelijk cognitieve, instructie en inferentie validiteit. Cognitive kijkt of het
juiste construct wordt gemeten en dat niet een ander (aanliggend) construct wordt gemeten.
Instructional bekijkt in hoeverre het assessment de belangrijk punten van het domein bevat.
Tenslotte, de inferential bekijkt of het assessment betrouwbaar en accuraat de resultaten
levert die gevraagd worden.
Zij spreken van een driehoek waarbij je meer te weten wilt komen over cognition van
de student in een assessment domein, waarbij een verzameling van assumpties en principes
over de observations zorgen voor bewijs over de competentie van de student, en een
interpretation proces waarin betekenis wordt gegeven aan het bewijs ten aanzien van het
assessmentdoel en de competentie van de student. Alle drie de punten moeten meegenomen
wordt in het creëren van assessment. Cognition verwijst naar thoerie, modellen, data en
assumpties over de kennis en competentie van de student t.a.v. een domein. Observations
bevat de beschrijving en specificatie van assessment taken. Het bevat daarnaast de methoden
om een feilbare observaties te creëren. Ten slotte, de interpretation staat voor de methoden en
gereedschappen om tot een feilbare observatie te komen door redenatie.
Learing progressions zijn empirisch gebouwde en testbare hypotheses over het begrip
en competentie van de student. Deze hypotheses beschrijven het pad dat studenten volgen
richting beheersing. Deze gehypotheseerde leerpaden dienen getest te worden op validiteit.
Het leerpad heeft implicaties voor assessment en moet in ieder geval deze elementen
bevatten: (1) target goals; (2) progress variables (3) levels of achievement (4) learning
performances en (5) assessment.
Werkcollege t.a.v. Pelligrino et al. (2016)
Instructional Design is gebaseerd op een leertheorie. Een leertheorie beschrijvend, terwijl
Instructional Design voorschrijvend is.
