3. Discours als multimodale interactie
Definitie multimodaliteit en kernbegrippen
Definitie multimodaliteit
(4) Multimodaliteit verwijst naar semiotische processen waarbij betekenis wordt gecreëerd en
uitgedrukt via verschillende semiotische hulpmiddelen en kanalen, zoals beelden, tekst, geluid, en
gebaren. Elk van deze modaliteiten heeft zijn eigen beperkingen en mogelijkheden, bekend als
'affordances', die bijdragen aan de vorming van betekenis. Betekenis ligt niet uitsluitend besloten in
het taalsysteem of de geest van individuele taalgebruikers, maar maakt deel uit van een bredere
multimodale context binnen menselijke interactie en communicatie. Het is niet alleen een
eindproduct, maar ook een sociaal proces dat plaatsvindt in communicatieve situaties met een
geschiedenis van productie, distributie en receptie van multimodale producten.
Taal is inherent multimodaal. Vergelijkbaar met een goudvis die rondzwemt in een kom zonder te
beseffen dat er water is, zijn we vaak niet bewust van de multimodaliteit van taal, zoals intonatie,
gebaren, en visuele presentatie. Verschillende realisaties van dezelfde boodschap in verschillende
kanalen en genres kunnen een andere kwaliteit aan de tekst geven. Elk kanaal of medium heeft zijn
eigen mogelijkheden en beperkingen.
De betekenis van taal wordt gevormd in een bredere multimodale context, en dit omvat niet alleen
de producten zelf maar ook het proces van creatie, distributie en ontvangst. Een boek is niet slechts
een object, maar ontstaat door een proces van conceptie, creatie en distributie. Betekenis wordt niet
alleen gevormd door het eindproduct, maar ook door interpretaties en recepties tijdens dit proces.
Multimodaliteit benadrukt dat communicatie niet alleen draait om taal, maar om verschillende
vormen van communicatie die samen effectief zijn. Het is een bredere benadering van
communicatieve situaties die verder reikt dan alleen gesproken of geschreven taal, waardoor de
complexiteit van communicatie en interpretatie wordt erkend.
De shift van de multimodale grammatica
(5) De verschuiving naar multimodale grammatica markeert een verandering in de taalkunde, vooral
in vergelijking met de traditionele formele taaltheorie die tot de jaren 1980 domineerde, met
structuren zoals de klassieke boom van Chomsky. Voorheen richtte de taalkunde zich voornamelijk op
geschreven zinnen en teksten, vaak meer dan gesproken taal. Het centrale onderwerp was syntaxis,
waarbij abstracte structuren werden gebruikt om zinnen te analyseren in bijvoorbeeld noun phrases
en verb phrases. Deze structuren konden verder worden opgedeeld en toegepast op verschillende
taalvormen.
In de traditionele benadering van de formele taaltheorie was syntaxis het hoofdonderwerp. Het
richtte zich op de idee van modulariteit, waarbij de syntaxis functioneerde als de verbinding tussen
de betekenissen van woorden. Er werd gedacht dat syntaxis de 'lijm' was die de betekenissen van
individuele woorden aan elkaar bond in een zin. Binnen dit perspectief beschouwde Chomsky
syntaxis als autonoom, los van andere dimensies zoals fonetiek, semantiek en taalgebruik. Hij
beschreef deze dimensies als afzonderlijke modules die met elkaar konden worden gekoppeld.
(6) De multimodale betekenistheorie binnen de taalkunde daarentegen richt zich op communicatie in
sociale processen, waarbij alle vormen van gesproken, geschreven en niet-geschreven taal in
beschouwing worden genomen. Wat deze theorie benadrukt, gaat verder dan louter traditionele
benaderingen. Het legt de focus op de verscheidenheid aan waarnemingskanalen die we als mens in
,communicatieprocessen gebruiken: we zien, horen, voelen en handelen terwijl we met elkaar
spreken. Dit leidt tot een holistische kijk op communicatie, waarbij semiotiek, de studie van tekens en
hun betekenis, als het centrale aandachtspunt geldt. Deze theorie benadrukt het belang van diverse
contexten en interacties tussen gespreksdeelnemers, genres, lichamen en voorwerpen. Het begrip
communicatie wordt hierdoor breder en omvat niet alleen gesproken woorden, maar ook de acties,
interacties en waarnemingen die plaatsvinden tijdens het communiceren.
Binnen de multimodale betekenistheorie wordt sterk gelet op verschillende vormen van context.
Bijvoorbeeld, wanneer de prof een zin uitspreek over abstracte concepten, gebeurt dit binnen een
specifieke institutionele academische context, wat de betekenis van die zin mede bepaalt. Tijdens een
communicatieve handeling, zoals het geven van een presentatie met behulp van een PowerPoint,
spelen niet alleen gesproken woorden een rol. Ook andere handelingen, zoals het bedienen van het
apparaat dat dit kanaal mogelijk maakt, en het feit dat de luisteraars op een specifieke plek naar de
boodschap kijken, dragen bij aan de betekenis van de communicatie. Dit alles geeft aan dat
communicatie een complex samenspel is van diverse elementen en contexten.
Dit benadrukt de essentie van multimodaliteit in de hedendaagse taalkunde, waarbij de focus niet
enkel ligt op gesproken of geschreven taal, maar op het begrijpen van communicatie in zijn geheel,
met aandacht voor diverse modaliteiten en contexten.
Semiotische modus – algemeen
(7) De semiotische modus, ook wel aangeduid als 'mode' in het Engels, verwijst naar de materiële
semiotische elementen en de onderlinge verbanden tussen verschillende manieren van taalgebruik,
zowel in geschreven als gesproken vorm. Deze modi omvatten niet alleen het conventionele gebruik
van taal, maar ook visuele elementen zoals foto's, lay-out, blikken, gebaren, en lichaamshouding.
Daarnaast spelen andere zintuiglijke ervaringen zoals horen, voelen en ruiken een rol, evenals
materiële artefacten zoals gebruiksvoorwerpen, architectuur en de contextuele en culturele settings
waarin interacties plaatsvinden.
Wanneer we naar een slide kijken, zien we niet enkel de woorden die erop staan. We interpreteren
ook de positie van elementen, zoals de nummering van de slides, de bron van citaten, verschillende
kolommen en andere visuele aspecten. Echter, communicatie gaat verder dan puur de taal die wordt
gebruikt. Denk bijvoorbeeld aan de ervaring van geur in supermarkten waarbij geuren van vers brood
worden verspreid om consumenten aan te zetten tot aankoop.
Het begrip 'modus' omvat tevens de materiële objecten die communicatie mogelijk maken, zoals de
software die wordt gebruikt voor het maken van presentaties, de servers waarop deze presentaties
worden gehost en de computers waarmee ze worden gemaakt en bekeken. Daarnaast speelt ook de
context, zoals de inrichting van een zaal waar een presentatie wordt gehouden, een belangrijke rol in
het begrijpen van communicatie in verschillende modi.
Bij het begrip 'modi' is het relevant om de focus te leggen op hoe informatie wordt overgebracht,
eerder dan wie wat communiceert en met welk doel. Het gaat om de manieren waarop informatie in
verschillende visuele en andere modi wordt gepresenteerd. Denk hierbij aan lay-outs en grafisch
design, die als voorbeelden dienen van andere modi naast en los van puur schrijven of spreken.
,Modes – subtypes
(8) Modes zijn verschillende subtypes van communicatie die traditioneel voornamelijk gericht waren
op talige of linguïstische modi, maar in de literatuur zijn er meerdere onderscheidingen
geformuleerd:
1. Visuele modus: Hier gaat het om wat visueel wordt waargenomen. Bijvoorbeeld, in een
presentatie kan visuele informatie helpen onderscheid te maken tussen de docent en de
studenten op basis van uiterlijke kenmerken zoals leeftijd. Ook ruimtelijke informatie kan
hierbij een rol spelen, bijvoorbeeld wanneer een spreker op een andere plaats staat dan het
publiek.
2. Gestuele modus: Dit omvat de haptische informatie die wordt overgedragen via gebaren of
fysieke aanrakingen. Bijvoorbeeld, wanneer een spreker zegt dat een katheder aangenaam is
om aan te staan, wordt dit gecommuniceerd door de spreker en kan dit door de luisteraar
worden opgevat als een positieve ruimtelijke ervaring.
3. Auraal/auditieve modus: Dit verwijst naar de auditieve waarneming, zoals een aangename
stem of de manier waarop iemand iets zegt. Het is niet alleen de visuele waarneming van een
persoon die van belang is, maar ook de manier waarop ze spreken.
4. Talige modus: De talige boodschap, zoals gesproken of geschreven taal, die ook andere
elementen kan bevatten zoals intonatie, lettertypen, kleuren en symbolen die bijdragen aan
de interpretatie van de boodschap. Een voorbeeld is het gebruik van uitroeptekens en
bepaalde typografie die een woord of zin accentueren.
Elk van deze modi draagt bij aan de totale contextuele betekenis van een boodschap.
De multimodale benadering benadrukt dat boodschappen in welke vorm dan ook nooit volledig
gereduceerd kunnen worden tot wat er puur geschreven of gesproken wordt. De interpretatie omvat
een scala aan modi die samen de volledige betekenis creëren
Jan Blommaert over multimodaliteit
(9) Jan Blommaert benadrukt in zijn reflectie over multimodaliteit dat bij het lezen van een boek de
tekst meer omvat dan alleen de geschreven woorden. Het gaat ook om de lay-out, het soort papier en
andere visuele elementen die informatie toevoegen aan de betekenis van de tekst. Zo heeft een boek
met klassieke layout en hoogwaardig papier een andere impact dan een krant die op haastig gedrukt,
minder kwalitatief papier staat. Deze visuele elementen dragen bij aan de totale betekenis.
Blommaert legt uit dat een boek een scala aan mogelijkheden heeft en deze niet alleen in de
geschreven inhoud realiseert, maar ook in de organisatie van paragrafen, titels, witregels, secties,
paginanummers en zelfs foto's als extra betekenisvolle elementen. Bijvoorbeeld, wanneer we een
paragraaf zien, zijn we cultureel geprogrammeerd om te begrijpen dat wat in die paragraaf staat
logisch samenhangt en dat hetzelfde geldt voor de volgende paragraaf. Dit is iets waar we meestal
niet bewust over nadenken tijdens het lezen van een tekst, maar het is net zo vanzelfsprekend als
water in een aquarium voor een goudvis.
Volgens Blommaert gebruikt communicatie elke mogelijke bron, vooral visuele, om betekenis te
communiceren en sociale betekenissen te construeren. Hij benadrukt dat de visuele aspecten van
een tekst of communicatie een grote rol spelen bij het vormen van betekenis en het creëren van
sociale interpretaties.
, Technische definitie modus – mode
(10) Een modus wordt technisch gedefinieerd als een geordende set van vormelijke resources die
inherent betekenisvorming mogelijk maken. Het is een semiotisch instrument dat door de tijd heen is
ontstaan door sociale en cultureel georganiseerde gemeenschappen die deze middelen hebben
ontwikkeld.
De gebruikte lettertypes zoals Arial of Times New Roman zijn voorbeelden van dergelijke vormelijke
resources die binnen een gestandaardiseerde communicatie passen. De communicatie via deze modi
leidt tot een soort 'canvas', dat wordt ingezet binnen een specifiek medium. Elk medium heeft zijn
eigen mogelijkheden en beperkingen. Bijvoorbeeld, als de prof iets zegt, kan dat alleen binnen de
aula gehoord worden en verdwijnen de woorden daarna. Als hij het echter streamt, kan het in een
ander medium bekeken worden, zelfs buiten de aula. Als hij iets opneemt, kan het zelfs na de les
bekeken worden in een ideale situatie.
Elk medium en elke modus heeft dus zijn eigen kenmerkende mogelijkheden en beperkingen. Wat
gezegd wordt, vervliegt, terwijl geschreven woorden voor eeuwig vastgelegd kunnen blijven. Dit
illustreert hoe verschillende modi en media verschillende manieren bieden om boodschappen te
communiceren en hoe deze binnen specifieke contexten kunnen worden ingezet.
Modes als betekenis
(12) Samenvattend, modes kunnen worden gezien als de betekenisdimensies waaruit sociale
betekenis wordt geconstrueerd. Deze dimensies omvatten verschillende factoren die binnen de modi
bestaan. Bij geïntegreerde multimodale communicatie activeert men vaak meerdere modi,
waaronder:
1. Linguïstische modus: De taal die wordt gebruikt, de woorden, zinsbouw en grammatica die
betekenis overbrengen.
2. Auditieve modus: Geluiden, stemintonatie, en andere auditieve elementen die betekenis
toevoegen, zoals muziek of achtergrondgeluiden.
3. Ruimtelijke modus: De manier waarop ruimte wordt gebruikt of weergegeven, inclusief de
plaatsing van objecten in die ruimte, zoals de opbouw van een presentatie of de lay-out van
een ruimte.
4. Modus van gebaren: Handgebaren, lichaamshouding en beweging die ook betekenissen
overbrengen, vooral in face-to-face communicatie.
5. Visuele modus: Elementen zoals kleuren, lay-out, typografie, perspectief en andere visuele
aspecten die informatie en betekenis dragen, zoals in geschreven teksten, grafieken of visuele
presentaties.
Bij gestural design gaat het om wat het lichaam doet en omvat het concepten zoals afstand tussen
mensen (proximity) en overlappingen tussen bewegingen, terwijl andere modi zich voornamelijk
richten op verschillende aspecten van taal, geluid, ruimte en visuele elementen om betekenis te
communiceren.
