,Hoofdstuk 1
Multimodaliteit is een manier om communicatieve situaties te categoriseren die gebruik
maken van verschillende vormen van communicatie. Hoe zulke gevarieerde en diverse
vormen van communicatie productief worden gecombineerd, roept uitdagende problemen op
alle niveaus op. Er is meer multimodaliteit geworden door het veranderende
medialandschap en het toenemende aantal producten en artefacten.
Vaak worden de individuele vormen van communicatie nog los van elkaar onderzocht. In
werkelijkheid zijn er vrijwel geen communicatievormen meer die nog volledig op zichzelf
staan.
De bijdrage die een bepaalde modaliteit levert, kan heel goed afhangen van de bijdragen
waarmee deze in andere modi wordt gecombineerd. Denk bijvoorbeeld aan een foto van een
groep mensen die bezig zijn met een bepaalde activiteit, vergezeld van een tekst bijschrift.
Een cruciale vraag is dan in hoeverre onze analyse van de foto al is beïnvloed door de
inhoud van het tekst bijschrift.
Met de term cognitieve functies worden functies bedoeld die te maken hebben met het
verwerken van informatie.
Interdependentie (onderlinge afhankelijkheid): Modi die samen worden gepresenteerd,
moeten ten opzichte van elkaar worden geïnterpreteerd en kunnen dus niet onafhankelijk
worden beschouwd. De belangrijkste uitdaging voor multimodaliteitsonderzoek is het vinden
van manieren om de aard van dergelijke onderlinge afhankelijkheden te karakteriseren en
het ontwikkelen van methodologieën om deze empirisch te onderzoeken. Dit soort kwesties
laten zien hoe voorzichtig we moeten zijn als we suggereren dat een bepaalde bijdrage op
een bepaalde manier een bepaalde betekenis heeft. We moeten rekening houden met het
feit dat onze interpretatie van die betekenis misschien al is beïnvloed door de andere
bijdragen waarmee deze voorkomt.
Multiplication houdt in dat multimodaliteit meer is dan slechts twee modi naast elkaar
plaatsen in wat dan een ‘additieve’ relatie zou zijn. De combinatie van deze modi is meer
dan het optellen van de modi.
Multimodal turn: het besef van multimodaliteit werkt niet alleen door in de manier waarop
onderzoeken worden gestructureerd en uitgevoerd, maar ook in onze dagelijkse manier van
denken en acteren.
Media convergence: Het essentiële idee hier is dat we niet langer afzonderlijke media
hebben, we hebben in plaats daarvan media die in staat zijn het werk van velen te doen.
Denk aan een ipad waar een film op wordt afgespeeld. Dit wordt ook wel ‘new media’
genoemd, maar eigenlijk is multimodale media altijd de norm geweest.
Multimodaliteit is de visie van het boek inherent en intrinsiek een interdisciplinaire
samenwerking onderneming.
,Hoofdstuk 2: Herkennen van multimodaliteit: oorsprong en
inspiratie
Het probleemgebied van multimodaliteit
Door vanuit bepaalde disciplines en benaderingen te vertrekken, wordt de kern van
multimodaliteit dus nog niet fundamenteler geraakt, de term wordt zelfs een beetje vaag
geworden door het gebruik van verschillende onderdelen van de semotiek, discours en
media analyse. Deze situatie moeten we achter ons laten. Er is nog geen duidelijk ‘field’ van
multimodaliteit.
Daarom moeten we meer door de probleemruimte van multimodale kwesties navigeren. Het
probleem is dat op dit moment onderzoekers hun methode om semtiotiek te onderzoeken
kiezen op basis van persoonlijke voorkeuren. We moeten in staat zijn te karakteriseren
welke problemen precies worden veroorzaakt door multimodaliteit, voordat we op een
verstandige manier bepaalde benaderingen of methoden kunnen selecteren om het
onderzoek verder te brengen, als is het niet zeker of er een allesomvattende methode gaat
zijn. Fundamenteel werken is bedoeld om u te helpen multimodale analyses na te streven,
ongeacht de disciplinaire oriëntatie en het specifieke probleem dat wordt aangepakt.
Classificeren van zaken voordat er een probleem van multimodaliteit kan ontstaan
● We hebben in ieder geval verschillende materialen nodig, niet alleen materialen in
fysieke zin, maar ook in verschillende materiaalsoorten, omdat ze op verschillende
manieren worden opgevangen en door onze zintuigen georganiseerd worden.
● Taal: Bepaalde fragmenten materiaal zoals taal. Niet de belangrijkste manier van
betekenisgeving, maar taal heeft wel een grote mate van onderscheid van de rest.
Zonder taal kunnen we niet omgaan met verschillende problemen die belangrijk zijn
voor multimodaliteit, wat ook het geval zou zijn als we geluid of beeld zouden
negeren.
● Hoe kan het zijn dat iets, iets voor gaat betekenen voor iemand? Dit is semtiotiek,
tekenleer.
● De samenleving en cultuur zijn essentiële onderdelen bij het maken van menselijke
betekenissen.
Niveaus van beschrijvende abstractie: hebben we te maken met iets dat dicht bij de
materialiteit ligt, bij feitelijke fysieke gebeurtenissen of objecten die in de wereld kunnen
worden geïdentificeerd, of hebben we te maken met interpretatiehandelingen
Materialiteit en de zintuigen: geluid
Materialiteit zijn sporen die we kunnen traceren. We kunnen geluid en beeld traceren.
Geluid is het resultaat van een golf die door een medium reist, wat betekent dat
het materiaal van het medium wordt herhaaldelijk volgens een regelmatig patroon
'verplaatst'. Geluid heeft fysieke eigenschappen en perceptuele eigenschappen.
Geluid heeft dus alle gebruikelijke eigenschappen van golven:
, ● Frequentie (dat wil zeggen, het aantal keren per gespecificeerde tijdseenheid waarin
een enkele geïdentificeerde gebeurtenis plaatsvindt, zoals een maximale high punt,
minimaal dieptepunt of 'nul'-punt). De frequentie van een golf zegt iets over hoe vaak
de golf beweegt in één seconde. De eenheid hiervan is hertz (Hz). De frequentie van
een golf bepaalt hoe hoog of hoe laag de toon klinkt.
● Amplitude (hoe sterk de golf afwijkt van zijn nulpunt). De amplitude zegt iets over hoe
hoog de golven zijn. Als de amplitude van een geluidsgolf groter wordt, dan wordt het
geluid harder.
● Golflengte (hoe ver sommige afzonderlijke identificeerbare gebeurtenissen ruimtelijk
uit elkaar liggen). De afstand die de golf in één periode heeft afgelegd
Bovendien is geluid een longitudinale of compressiegolf : dit betekent dat de afmeting van
de verplaatsingsrichting van het materiaal van de golf hetzelfde is als de richting waarin de
golf zich voortplant. Een andere manier om dit te beschrijven is dat de druk van een medium
periodiek toeneemt en afneemt naarmate de golf passeert. Deze verhogingen en
verlagingen beïnvloeden receptoren in het oor en worden weergegeven als 'geluid'.
Golven in de zee en licht en zichtgolven zijn transversale golven omdat de verplaatsing van
het medium loodrecht of dwars staat op de bewegingsrichting. Ze zijn ook veel
gemakkelijker te tekenen dan compressiegolven: vandaar hun dominantie.
De waarneming van natuurlijk geluid gaat ook gepaard met de aanwijzingen voor de richting.
Dat wil zeggen dat we doorgaans stereofonisch geluid waarnemen en dit in verband
brengen met de richting en niet alleen met 'geluid' als zodanig. Je merkt ook wat de bron is
van het geluid. We ontvangen bij geluiden ook informatie over de grootte van de objecten
die geluid maken, of ze bijvoorbeeld hard of zacht zijn, of het contact kort of lang is, etc. Ook
horen we in wat voor omgeving het geluid is ontstaan.
Uit deze korte karakterisering zou het duidelijk moeten zijn waarom het spreken over 'modi'
in termen van 'sensorische kanalen' behoorlijk misleidend kan zijn. Geluid is niet alleen maar
geluid of het horen van tonen; het geeft ook informatie over ruimte, hardheid, afstand en
richting. Dit kun je niet uitschakelen.
Muziek
Muziek is misschien wel de puurste 'tijdgebaseerde' expressievorm. Muziek staat veel in
contact met andere vormen van expressie, bijvoorbeeld taal en melodie. Een verdere
dimensie bij het gebruiken van geluid komt door de fysiekheid van het medium. Over het
algemeen kunnen geluiden diepgaande effecten hebben op emotie, stemming en gevoel. Dit
wordt toegepast op het gebied van geluidsontwerp, dat probeert affect te beïnvloeden door
andere expressieve bronnen – meestal film – te begeleiden met geluiden die specifiek zijn
ontworpen om de gewenste respons te versterken.
Muziek is speciaal, omdat je hierbij de individuele contributies kan horen (bij de kleur wit kun
je niet de andere kleuren zien waaruit de kleur wit is ontstaan). Menselijke perceptie omvat
ook de mogelijkheid om geluids sequenties van muziek te onthouden en om bepaalde
uitkomsten van harmonische progressies te voorspellen.
Materialiteit en de zintuigen: visie en visualisatie
Er is de neiging van veel onderzoekers op het gebied van visualisatie om het visuele te
