Multimodale communicatie: Analyse van tekst & beeld
Institution
Universiteit Utrecht (UU)
Book
Multimodality
Dit document bevat een samenvatting van alle stof die je dient te weten voor het eerste tentamen van Multimodale Communicatie (in 2018). Het is een combinatie van stof uit de hoorcolleges, het boek en de verplichte artikelen van Bordwell en Barthes.
Positie van de cursus:
“Nadruk op methoden van studie van communicatieve situaties, en de wijze waarop dat leidt tot
advies, beleid, strategie, kritiek, etc.”
Communicatieve situaties bestuderen:
– Het in kaart brengen van het proces van betekenisconstructie
– Het bezien van communicatoren als actieve bijdragers aan dit proces
– Het rekening houden met allerlei (sociale / culturele / persoonlijke) factoren die hierbij een rol
spelen
Correlatie: een verband, maar niet per se oorzakelijk
Causatie: oorzakelijk verband
Navolgbaarheid: onderzoek moet kunnen worden nagedaan door wie dan ook.
De keuze voor welke methode je gaat gebruiken is vraaggestuurd.
Model van de communicator:
● Neemt audiovisuele aanwijzingen waar a.d.h.v. zintuigen
● Doet actief mee aan een betekenisvolle uitwerking, gestuurd door de aanwijzingen
● Vormt hypotheses en trekt conclusies m.b.t. betekenis (denk aan Peirce!)
● Gebruikt daarbij haar voorkennis → mentale schema's
kortom: aanwijzingen -> uitwerking -> hypotheses -> conclusies
Mentale schema’s en modi:
- Voor kennis is voor ieder individu sociaal, cultureel en persoonlijk ‘ingekleurd’
- Betekenis staat dan misschien niet vast, ze kent wel dominante vormen
- Communicatieve situatie geeft aanwijzingen op multimodale wijze (zie hieronder)
Modaliteit: Hoe je een taal/boodschap uit.
Multimodaliteit:
• Communicatieve situatie bestaat altijd uit meerdere audiovisuele (en tactiele!) aanwijzingen
(BWH 7-8)
• Toch heeft men hier (onterecht?) vaak mono-disciplinaire aandacht voor:
– Wat zegt de tekst? Wat zegt het beeld?
– Hoe kan theorie x/y/z dit verklaren?
-> Noodzaak om de basis (“foundations”) van multimodale communicatie te begrijpen ligt in
eigenschappen van het hedendaags medialandschap (BWH 11-14)
tekst is nooit alleen tekst (maar ook font, kleur, ruimtegebruik, tekstdrager, etc.) en beeld is nooit
alleen beeld (maar ook vorm, kleur, beweging, audio, etc.) -> multimodaliteit. Dit betekent dat
bestaande wetenschappelijke disciplines die tekst en beeld bestuderen moeten samenwerken
door gedeelde uitgangspunten en methodische fundamenten overeen te komen
• Wat zijn nu precies modi?
Modi: Vorm, kleur, frequentie, is een ‘modus’ van een trace.
– NIET: ‘makkelijk’ te isoleren en te bestuderen betekenis-producerende onderdelen die, wanneer
ze samen worden gebracht, ‘iets meer doen’ door “multiplication” (BWH 16)
– Want: die losse onderdelen zijn nauwelijks precies te identificeren, we nemen per
definitie al multimodaal waar (BWH 17)
, – WEL: Het handboek biedt de oplossing dat we communicatieve situaties als samengestelde en
intergerelateerde “ensembles” bestuderen
– Hierbij altijd open staan voor hoe het te bestuderen object/fenomeen zelf aanwijzingen
geeft over betekenis-dragende eigenschappen (meer hierover in BWH hoofdstuk 3)
Materialities/Traces: waar te nemen en te meten zintuiglijke indrukken en hun gebruik. (BWH 24)
– BWH identificeert twee “materialities” die noodzakelijk zijn om überhaupt over multimodaliteit te
kunnen spreken: sound en vision (BWH 24)
–> Geluid en beeld zijn verweven in zowel taal als in “society, culture, and media” (BWH 25-26)
Sound:
Op fysiek niveau ogenschijnlijk makkelijk ‘monomodular’ te begrijpen
Maar vaststellen hoe geluid wordt geïnterpreteerd is al lastiger, want veel is cultureel bepaald
(BWH 27-28) (‘spannende’ muziek etc.)
Vooral muziek leent zich voor combinatie met andere modaliteiten (BWH 28)
Vision:
Kenmerken van beeld(verwerking)/ verschil tussen beeld en taal: (zie voorbeelden boek of ppt):
– Associations (connotaties van Barthes)
– Compositionality (we halen betekenis uit losse delen: illusie twee gezichten)
– Resemblence (afbeelding van hond lijkt op hond, het woord ‘hond’ niet)
– Propositions (afbeeldingen kunnen niet liegen)
– Experience (ervaring met het getoonde)
Taal:
• Kenmerken van taal die we moeten onderkennen in multimodale analyse, en die grotendeels
bepalen welke ruimte er is voor betekenisconstructie (BWH 38-40):
– Conventies
– Compositie en substitutie
– Dubbele articulatie (Woorden hebben los gezien een eigen betekenis, maar kunnen gecombineerd
met andere woorden een complexe boodschap vormen.)
Syntagmatisch
Een syntagmatisch verband houdt in dat de betekenis van een teken deels bepaald wordt door
zijn grammaticale (of syntagmatische) relatie tot andere tekens binnen een bepaalde
tekenconstructie of tekenstructuur.
Voorbeeld:
“Ik zag een eekhoorn in de boom” -> associatie met Europa, bos, achtertuin.
“Ik zag een luipaard in de boom” -> associatie met Afrika, savanne.
Paradigmatisch
Een paradigmatische constructie houdt de vervangbaarheid van de verschillende elementen
(tekens) van de structuur in. Er wordt onderscheid gemaakt tussen dat wat wél, en de vele
mogelijke begrippen die níét worden aangeduid binnen de tekencombinatie.
Semiotiek: De leer van betekenisgeving (aan tekens). (BWH 51-64)
Saussure
“Betekenis komt met de waarneming”
Signifiant (signifier): het teken
Signifié (signified): het betekende (mentale concept waarnaar wordt verwezen)
‘langue’ = het abstracte systeem van taal
‘parole’ = het werkelijke taalgedrag
Peirce
“A sign is anything that makes meaning & is interpreted as a sign.”
(Een muur niet, alleen als we het zo zien / het woord ‘kat’ dan weer wel)
“Betekenis komt met interpretatie en de actie die het tot gevolg heeft”
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller jorimspiekhout. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $4.82. You're not tied to anything after your purchase.
