Inleiding tot de cognitiewetenschap – Samenvatting Tentamen II
Cognitive Science: An Introduction to the Study of Mind – Friedenberg &
Silverman
Hoofdstuk 7 The Network Approach
The Network Perspective
De netwerkbenadering is beïnvloed door principes van operatie en organisatie van real-life
hersenen. Connectionism is het onderzoeksveld in de netwerkbenadering en probeert te
begrijpen hoe de mind specifieke operaties uitvoert via de constructie van een artificial
neural network (ANN), wat een computersimulatie is van hoe populaties van
daadwerkelijke neuronen taken uitvoeren. Semantische en propositionele netwerken vormen
een ander onderzoeksveld van de netwerkbenadering, waarbij er wordt gekeken naar
frameworks voor hoe concepten en zinachtige representaties wellicht toegepast kunnen
worden in netwerken. Het dominante paradigma in de cognitieve wetenschap is het gebruik
van symbolen om informatie te representeren. Het klassieke perspectief van
symboolrepresentatie en de connectionische visie daarop verschillen in hun functionele
architectuur. Traditionele noties stellen dat verwerking plaatsvindt in stadia, waarbij de
informatie van een relatief grootschalig systeem wordt weggetrokken en gegeven aan een
ander systeem. In de netwerk benadering vinden verwerkingsgebeurtenissen echter parallel
plaats en worden ze gemedieerd door veel kleine verwerkingsunits.
Artificial Neural Networks
Traditionele computers zijn serial processors en voeren een
berekening per keer uit. Het resultaat van een specifieke
berekening kan dienen als het startpunt voor een volgende
berekening enzovoorts. Het brein, net als ANN’s, zijn afhankelijk
van een compleet verschillende verwerkingsstrategie waarbij de
berekeningen parallel worden uitgevoerd. Een berekeningsunit
hoeft niet te wachten totdat een ander unit klaar is, ze kunnen
meerdere inputs ontvangen en verwerken en meerdere outputs
overdragen. Dit wordt parallel distributed processing (PDP)
genoemd. Onderzoekers van kunstmatige intelligentie lossen een
specifiek probleem op door het construeren van een algoritme, of
een procedure voor het oplossen van het probleem. De knowledge-based approach voor
het oplossen van problemen conceptualiseert het probleem en de oplossing in termen van
symbolische representaties en transformaties van deze symbolische representaties.
Onderzoekers die ANN’s gebruiken, houden zich meer bezig met het algemene gedrag van
een netwerk en passen de behavior-based approach voor probleemoplossing toe, waarbij
de berekeningsdetails aan het netwerk zelf worden overgelaten en er weinig aandacht wordt
besteed aan de symbolische representaties of regels.
ANN’s zijn goed in het oplossen van classificatieproblemen. Dit soort problemen hebben
betrekking op het produceren van een geleerd label voor een stimulus en deze stimuli toe te
wijzen aan een specifieke categorie. Controleproblemen en problemen van beperkte
bevrediging kunnen ook goed worden opgelost door een ANN. ANN’s kunnen de kwestie
van symbolen negeren omdat de representaties inherent zijn aan de ANN’s, maar niet
bestaan in de vorm van symbolen. Zij bestaan in de meeste netwerken als een patroon van
activatie onder de elementen van het netwerken. Dit wordt distributed representation
genoemd. In sommige gevallen representeren ANN’s concepten wel via activiteit in een
enkele node, dit wordt local representation genoemd. In beide gevallen hoeft het idee van
1
,een symbool dat staat voor een concept niet toegepast te worden. Een voordeel van neurale
netten is dat zij in staat zijn om te leren, ofwel dat zij hun reacties kunnen veranderen
naarmate de tijd verstrijkt wanneer zij worden gepresenteerd met nieuwe informatie. ANN’s
zijn echter niet de enige vorm van gesimuleerde cognitie die in staat zijn om te leren, dit is
ook teruggezien in machines die symbolische methoden toepassen. Neurale netwerken
leren door een serie van taken uit te voeren of een antwoord te vinden op een vraag. Als zij
het verkeerde antwoord produceren, dan wordt het correcte antwoord aan hen laten zien en
deze feedback wordt gebruikt om de prestatie van een netwerk aan te passen.
Characteristics Of Artificial Neural Networks
Echte neurale netwerken bestaan in het brein in de vorm van neuronen en de connecties
tussen hen in. De kunstmatige netwerken die geconstrueerd zijn door connectionisten
bestaan enkel als software simulaties die worden uitgevoerd op een computer. Elke neuron,
of een basaal verwerkingsunit in een kunstmatig netwerk, is gerepresenteerd als een node,
en de connecties tussen de nodes zijn gerepresenteerd als links. Als een node is
gestimuleerd, zendt het een signaal wat is gerepresenteerd als een activatiewaarde, via de
link naar andere nodes. De andere nodes volgen vervolgens een set van interne regels die
beslissen of ze gaan afvuren of niet. De makkelijkste regel is dat de node afvuurt als de
ontvangen input de drempelwaarde overstijgt.
Linken in een neuraal netwerk hebben weights, wat de kracht van een link specificeert.
Deze weight kan positief, negatief of 0 zijn en hoe hoger de numerieke waarde is (deze ligt
tussen de -1.0 en 1.0), des te sterken is de weight. Een negatieve output heeft als functie
om de activiteit van andere nodes te verminderen of te laten stoppen.
Early Conceptions Of Neural Networks
Warren McCulloch en Walter Pitts waren de eerste onderzoekers die voorstelden hoe
biologische netwerken wellicht zouden functioneren. Zij maakten een aantal simpele
assumpties over hoe neuronen opereren. Elke neuron heeft een binaire output, wat wil
zeggen dat het een signaal uitzendt dat “aan” zegt of een signaal dat “uit” zegt. Of een
neuron ging afvuren, was afhankelijk van de drempelwaarde en zij gingen ervan uit dat de
weights van de connecties tussen neuronen een vaste waarde hadden. Netwerken die zich
aan deze regels houden, zijn in staat om simpele logische operaties uit te rekenen, wat
kortgezegd inhoudt dat een neuraal netwerk dat dit soort berekeningen kan uitvoeren in
theorie alles kan doen wat een digitale computer kan doen.
Donald O. Hebb was de eerste persoon die voorstelde hoe veranderingen onder neuronen
het concept van leren kon verklaren. Volgens de Hebb rule neemt de kracht van de
connectie tussen twee cellen toe wanneer een cel herhaaldelijk de andere cel activeert. Op
deze manier worden paden of circuits tussen neuronen gevormd, waarvan men gelooft dat
dit de fundering van leren en het geheugen is. Hebb definieerde twee types van cel
groeperingen, namelijk:
1. Een cell assembly, wat een kleine groep van neuronen
is die herhaaldelijk elkaar stimuleren.
2. Een phase sequence, wat een groep van verbonden cell
assemblies inhoudt die synchroon of vrijwel synchroon
afvuren.
In het begin van de jaren ’50 focuste het onderzoek van neurale
netwerken zich minder op logische operaties en meer op het
nadoen van daadwerkelijke biologische functies. Een kunstmatig
zenuwsysteem, wat perceptron werd genoemd, werd
geïntroduceerd. Dit netwerk was ontworpen om gepatroneerde
informatie over de wereld te detecteren en te herkennen, deze
2
,informatie op te slaan, en op een bepaalde manier te gebruiken. Perceptrons worden
gekarakteriseerd door hun mogelijkheid om te leren van ervaringen: zij kunnen de kracht van
hun connecties aanpassen door hun daadwerkelijke output te vergelijken met de verlangde
output, wat the teacher wordt genoemd.
Back Propagation And Convergent Dynamics
In een netwerk dat uit drie lagen bestaat, worden de
berekeningsunits of nodes georganiseerd in drie
onderscheiden groepen:
1. Een representatie van de stimulus is
gepresenteerd in de input layer.
2. De units van de input layer sturen signalen naar
een hidden layer.
3. De units van de input layer geven vervolgens
activatie energie aan een output layer die een
representatie van de reactie genereert.
Het herkennen van letters gebeurt als volgt, de hoofdletter A activeert de nodes in de input
layer. Deze nodes sturen activatie energie via linken naar de hidden layer. De nodes in de
hidden layer sturen vervolgens via hun links signalen aan de output layer. Het patroon van
activatie in de output layer is de initiële reactie van het netwerk op het zien van de letter.
Deze reactie wordt vervolgens vergeleken met de doelreactie die gerepresenteerd wordt
door the teacher. Het verschil tussen de daadwerkelijke en verlangde outputs (het error
signal) geeft vervolgens feedback aan de output layer. Het netwerk gebruikt het error signal
om de weights van de linken aan te passen. Na herhaaldelijke presentaties van de stimulus
te krijgen, is het netwerk in staat om de doelreactie te produceren. Deze vorm van training
wordt de generalized delta rule of het back-propagation leermodel genoemd.
NEDtalk is een ANN die is ontworpen om geschreven Engels te kunnen lezen. Deze ANN
wordt gepresenteerd met geschreven letters van het alfabet en de output is de correcte
uitspraak van de klanken die worden gerepresenteerd door de letters, wat vervolgens wordt
gestuurd naar een spraakmaker voor de productie van de geluiden. Alhoewel de ANN zelf
niet begreep wat het aan het lezen was, is het wel een goede demonstratie van wat dit soort
netwerken in staat zijn om te doen en hoe ze kunnen dienen als modellen van menselijk
leren.
Evaluating The Connectionist Approach
De connectionistische benadering heeft een groot aantal voordelen, waarvan de meest
belangrijke de similariteit is tussen de netwerkmodellen en real-life neurale netwerken
(biological plausibility). Deze geloofwaardigheid kan op drie fundamentele manieren
gedemonstreerd worden:
1. Kunstmatige netwerken delen hun algemene structuur en correleren functioneel
gezien met biologische netwerken.
i. Nodes staan gelijk aan neuronen en links zijn overeenkomstig aan axonale
en dendritische verbindingen.
ii. Het functioneren van een geconstrueerd neuraal netwerk is ook zeer
biologisch.
2. Kunstmatige netwerken zijn in staat om te leren.
i. Het leren van connectionistische modellen vindt op een gelijkwaardige manier
plaats als in de biologie via de aanpassing van de weights van links in een
kunstmatig netwerk en een toename van synaptische kracht in een menselijk
brein.
3. Kunstmatige netwerken reageren op beschadiging op dezelfde manier als dat
menselijke breinen doen.
3
, i. Neurale netwerken demonstreren graceful degradation, wat een geleidelijke
afname in prestatie is met toegenomen beschadiging aan het netwerk. In
deze vorm van degradatie brengen kleine hoeveelheid van schade slechts
kleine verminderingen in prestaties voort, terwijl grotere vormen van schade
ook grotere afwijkingen in prestaties produceren.
Connectionistische netwerken vertonen twee interessante psychologische fenomenen,
namelijk dat van interferentie en generalisatie. Interference verwijst naar de instanties
waarin twee sets van informatie die gelijkwaardig zijn in content met elkaar interfereren. Een
voorbeeld hiervan is dat je bij het leren van een taal woorden kunt vergeten die een beetje
hetzelfde klinken in een andere taal. Generalization is gerepresenteerd door de
mogelijkheid om een geleerde regel toe te passen op een nieuwe situatie. Een voorbeeld
hiervan is het geval waarin men ervan uitgaat dat elk dier dat vleugels heeft een vogel is, en
vervolgens een dier met vleugels voor de eerste keer zag en het een vogel noemt.
Biological plausibility is niet alleen een kracht van de connectionistische benadering, maar
ook een beperking op een aantal manieren. Als er een meer gedetailleerde vergelijking
wordt gemaakt van ANN’s en daadwerkelijke breinen komen er toch een aantal significante
verschillen naar boven.
Echte neuronen zijn extreem parallel, wat betekent dat zij signalen met duizenden
andere uitwisselen. Het is nog niet mogelijk om deze vorm van parallelle verwerking
te simuleren.
De meeste kunstmatige netwerken vertonen een convergent dynamics benadering,
wat inhoudt dat de activiteit van een netwerk op een gegeven moment minder wordt
en een stabiele staat bereikt. Dit is echter niet het geval voor breinactiviteit, echte
neurale netwerken zijn slingerend en chaotisch waarbij hun staat constant fluctueert
en niet wordt gevestigd.
Dawson wijst ons op een ander kritiekpunt, namelijk de moeilijkheid van het recurrent-type
netwerk van Elman om inputs te analyseren die verspringen met verloop van tijd. Hij
speculeert dat het probleem ofwel ligt in de architectuur van het netwerk zelf of in de
learning regel. Daarnaast kunnen netwerken ontoereikende leerregels hebben. Een
specifiek probleem dat opkomt in het leren van een netwerk is de stability-plasticity
dilemma, wat stelt dat een netwerk plastisch genoeg moet zijn om nieuwe patronen te
kunnen opslaan, maar tegelijkertijd stabiel genoeg moet zijn om eerder gecodeerde
patronen niet te verwijderen. Dit conflict is analoog aan het fenomeen van psychologische
interferentie, en kan een echt probleem vormen wanneer men kunstmatige netwerken
probeert toe te passen. Catastrophic interference vindt plaats in gevallen waarin een
netwerk heeft geleerd om een set van patronen te herkennen en vervolgens een nieuwe set
van patronen moet leren. Het leren van de nieuwe set past de weight van het netwerk op
een dusdanige manier aan dat de originele set wordt vergeten.
In supervised networks is een teacher of een trainingspatroon noodzakelijk voor het
netwerk om te leren, maar waar komt deze teacher vandaan? Mensen en dieren leren in
veel gevallen zonder dat het juiste antwoord hen is aangereikt. Er is daarnaast ook geen
bewijs dat biologische netwerken signalen teruggeven aan eerdere units om de sterkte van
de connectie aan te passen zoals in het back-propagation model.
Semantic Networks: Meaning In The Web
Er is een andere klasse van netwerkmodellen die veel eigenschappen hebben die
overeenkomen met neurale netwerken. Dit zijn semantic networks. In dit soort netwerken
heeft elke node een specifieke betekenis en hierdoor passen ze lokale representaties van
concepten toe. Deze netwerken zijn voornamelijk toegepast door cognitieve psychologen als
een manier om de organisatie en het ophalen van informatie in het langetermijngeheugen te
verklaren.
4
