Multimodale communicatie: Analyse van tekst & beeld
Institution
Universiteit Utrecht (UU)
Book
Multimodality and Genre
Al mijn aantekeningen van multimodale communicatie. Alle hoor- en werkcolleges zijn hierin verwerkt deel van alle opdrachten en samenvattingen van artikelen en grasple modules
Methoden:
- hoe onderzoeken we
- Wat zijn gangbate academische regels/normen
- Wat mogen we wel/niet concluderen
Correlatie:
100% van de mensen die ademen, gaan dood
Causatie:
100% van de mensen die niet ademen, gaan dood
Sleutelwoord: navolgbaarheid
(Oningewijde academische lezer moet onderzoek na kunnen doen om analyse-resultaten te
vergelijken)
Keuze voor methoden is vraaggestuurd
(Pas op zoek naar gereedschap als je vraag hebt)
Tentamen →toetst kennis en vocabulaire
Onderzoeksproject → toets academisch proces en vaardigheden
Communicatieve situaties bestuderen:
- Het in kaart brengen van het proces gan betekenisconstructie
- Het bezien van communicatoren als actieve bijdragers aan dit proces
- Het rekening houden met allerlei sturende factoren die hierbij een rol spelen
Model van communicator:
- Neemt audiovisuele aanwijzingen waar adhv zintuigen
- Doet actief mee aan betekenisvolle uitwerking, gestuurd door aanwijzingen
- Vormt hypotheses en trekt conclusies mbt betekenis
- Gebruikt daarbij haar voorkennis → mentale schema’s
Mentale schema’s en modi:
Voorkennis is voor iedereen individu sociaal, cultureel en persoonlijk ‘ingekleurd’
Betekenis staat dan misschien niet vast, ze kent wel dominante vormen
Communicatieve situatie geeft aanwijzingen op multimodale wijze
Multimodaliteit:
Communicatieve situatie bestaat altijd uit meerdere audiovisuele (en tactiele!) aanwijzingen
Deze modi bestuderen we niet geïsoleerd maar als samengestelde en intergerelateerde ‘ensembles’
Toch heeft men hier (onterecht?) vaak mono-disciplinaire aandacht voor → wat zegt de tekst? Wat
zegt het beeld? Hoe kan theorie x/y/z dit verklaren?
Noodzaak om de ‘foundations’ van multimodale communicatie te begrijpen ligt in eigenschappen van
het hedendaagse medialandschap
- ‘Super media’
, - ‘Convergence’
- ‘Transmedia’
Wat verstaan we onder modi?:
Niet: makkelijk te isoleren betekenis-producerende onderdelen die samen ‘iets meer doen’ dankzij
multiplication
Want: losse onderdelen zijn nauwelijks precies te identificeren, we nemen per definitie al multimodaal
waar
Wel: communicatieve situaties als samengestelde en intergerelateerde ‘ensembles’ bestuderen
Hierbij altijd open staan voor hoe het bestuderen object/fenomeen zelf aanwijzingen geeft over
betekenis-dragende eigenschappen
Methoden:
Hoe herkennen we modi?:
- Noodzaak tot definiëren van de ‘problem space of multimodality’
- Twee ‘materialities’ die noodzakelijk zijn om überhaupt over multimodaliteit te
spreken: Sound and Vision
- Materialities: waar te nemen en te meten/analyseren zintuiglijke indrukken en hun
gebruik (ook wel traces genoemd)
- Geluid en beeld zijn verwerven onderdelen van taal en ‘society, culture and media’
Sound:
Kenmerken op fysiek niveau ogenschijnlijk makkelijk monomodular te begrijpen
Maar vaststellen hoe geluid wordt geïnterpreteerd is al lastiger; veel hiervan is cultureel bepaald
Vooral muziek leent zich voor combinatie met andere modaliteiten
Vision/visuality:
Kenmerken van beeldverwerking:
- associations (hoe is het je aangeleerd, hoe herken je het)
- compositionality (delen van wat we zien (vormen, kleuren) kunnen we samenvoegen
tot geheel wat we zien)
- resemblence (afbeelding van hond lijkt meer op een hond dan het woord HOND)
- propositions (bewering over datgene wat is)
- experience (emoties die worden opgeroepen)
Taal:
Kenmerken van taal die we onderkennen in multimodale analyse:
- Conventies (afgesproken interpretatie (bijv letter A is eigenlijk gewoon drie streepjes)
- Compositie en substitutie (toevoegen en vervangen van tekens die samen een woord
vormen)
- Dubbele articulatie (tekens op zichzelf betekenen niks, pas in combinatie ontstaat een
betekenis (tweede laag → dubbel)
Deze bepalen grotendeels welke bandbreedte er is voor betekenisconstructie
Semiotiek
Betekenisleer
Pogingen om relaties tussen tekens en betekenis te beschrijven
Saussure: significant en signifié (we koppelen beeld aan woord, heel willekeurig. Betekenis komt met
de waarneming, in een context en is arbitrair en relatief)
Pierce: icoon, index, symbool (‘nothing is a sign unless it is interpreted as a sign’ —> a sign is anything
that makes meaning. Betekenis komt met de interpretatie en vooral met de actie die het tot gevolg
heeft (abductie/hypothesevorming))
,Hoorcollege 2 (11/9/19)
Betekenis die we toekennen aan panzani-reclame kan verschillen, maar komt vrijwel overeen
Multimodaliteit is hierbij goed toegepast → duidelijke boodschap
Anchorage → actief een beperking opleggen, waardoor je naar goede betekenis wordt gestuurd
(inperking)
Relay → beeld en tekst gaan op zo een manier samen, dat ze niet zonder elkaar kunnen (denk aan
strip: zonder tekst kun je niet begrijpen wat er afgebeeld is)
Methodologie is de theorie achter/van de te gebruiken methoden
We proberen de precieze afspraken/regels vast te leggen als we het eens willen worden over
multimodaliteit
VB: Appeltaart bakken → recept = theorie, het bakken zelf = methoden
Communicatieve situatie:
Wat hebben we nodig voordat we van een communicatieve situatie kunnen spreken (en deze dus
kunnen gaan analyseren? → Ontologie van communicatieve situatie
Algemeen en abstract beginnen, daarna details aanvullen
VB: kiezelsteen met krassen erop gevonden. Is er nu sprake van communicatie?
- ‘Natuurlijke wereld kan er zo uitzien’ (kiezelsteen heeft soms krassen)
- ‘Hier is bewust een aanpassing gedaan aan de wereld zoals die zich aan mij voordoet’
(kiezelsteen heeft inscripties) → bijna-communicatie, je ziet op de steen immers
poging tot berichtgeving
Radical Indeterminacy → Als we het vermoeden hebben dat de inscriptie een communicatief teken is,
dan nog is het niet per definitie meteen helder hoe of door wie of met welk doel dit teken is
geproduceerd, of hoe het geïnterpreteerd moet worden
VB: gouden plakkaat voor buitenaardse wezens → voor ons enigszins begrijpelijk, maar voor hun niet
duidelijk wat de boodschap is. Het is dus onmogelijk om universeel begrijpbare boodschappen over te
brengen
Vaststellen material regularities: voorwaarde voor vol en effectieve communicatieve situatie is het
bekend zijn met de gereedschappen
Pas wanneer material regularities worden waargenomen door een of meer individuen, en deze
individuen (kunnen/gaan) weten hoe ze geïnterpreteerd moeten worden, is er sprake van een echte
communicatieve situatie (ontvanger kan niet alleen waarnemen, maar ook interpreteren!)
Duidelijk dat dit dan meteen te maken heeft met kennis en macht, en dat tekens zeker niet alleen door
individuen maar ook door groepen worden gemaakt
VB: eerste connotatie bij roze & blauw → associatie bij spullen en kleding; meisjes en jongens
Maar deze associatie bestaat pas 100 jaar: vroeger werd roze juist eerder geassocieerd met jongens
(want ligt dichter bij rood)
Postal model → niet relevant! Want we leven in samenleving waar iedereen dezelfde dingen kunnen
Anchoring in een samenleving zorgt ervoor dat wat het canvas draagt te begrijpen is (van gokwerk
naar communicatie)
Canvas en affordances
Specifieke canvassen maken het meer of minder mogelijk/logisch om specifieke material regularities te
hebben (kiezelsteen, papier, whiteboard, de lucht (geluid), etc)
Door keuze van juiste canvas kun je de boodschap veel beter overbrengen
, Affordance → ‘the activities that an environment or objects in an environment support for an agent’
Pen op papier verdwijnt niet, maar als je spreek is dat binnen een halve seconde weer verdwenen
VB: Affordance van stoel is zitten (nodigt uit tot …)
Van simpel naar complex: allerlei voorbeelden van tekenproducent(en), tekenconsument(en), en
canvas(sen) met inscribed material regularities (BWH 3.2.7)
Extra aandacht voor de rollen van producenten/consumenten en de tijdelijke aard van material
regularities (afhankelijk van de canvassen)
Mediumspecificiteit → ‘what is native to canvasses’
VB: Whiteboard met affordance dat je erop kan schrijven, nodigt uit tot het maken van inscripties.
Whiteboard is groot, dus je wordt uitgenodigd om grote inscripties te maken (klein is mogelijk, maar
zul je niet zo snel doen)
Classificatie van verschillende canvassen, afhankelijk van wat voor inscripties van material
regularities ze mogelijk/onmogelijk maken
Regularity: een A spreken we uit als a, maar een A of een A staan ook voor de letter a
Semiotic Mode:
Hetzelfde als mode, maar met nadruk dat het iets potentieel betekenisvols draagt
Dat we het hier over ‘semiotic’ hebben doet dus vermoeden dat we iets kunnen zeggen over hoe de
mode een relatie mogelijk maakt tussen teken en betekenis
We kunnen ze nu aantonen (waar ze plaatsvinden) en een betekenis maken
Er is een relatie tussen scriptie (wat ik zie) en wat ik daar van moet maken (betekenis)
VB: als we leerstof op kiezelsteentjes hadden gekregen ipv boek, had dat voor ons andere betekenis en
waarde gehad (teksten lezen we immers het beste op papier)
Betekenis is niet onlosmakelijk verbonden met materialiteit (denk aan Saussure en de willekeurigheid
van de signifiant)…
… Maar ook niet volledig los daarvan te zien (denk aan affordances)
VB: tool dat als je rechts iets schrijft, het links op het scherm komt (2 canvassen). De woorden, en dus
ook de booschap, is gelijk, maar het canvas is hier verschillend
BWH: methodische keuze om semiotic modes te zien met een material side (H3) en een semiotic side (H4)
Semiotic side wordt ook nog eens opgedeeld in form en discourse semantics
Form is de wijze waarop material side wordt gebruikt door semiotic mode en daarbij mogelijkheden
en limitaties kent (denk aan affordances)
VB: Whiteboard is material side, wat je schrijft is semiotic side. Grootte bepaalt wat voor boodschap je
kan maken → Form
De vorm waarin zintuigelijke aanwijzingen tot ons komen,
bepalen al hoe we gaan interpreteren
VB: ruimtelijke nabijheid (spatial proximity) is al
betekenisvol, maar betekenis staat niet per se vast
Alleen de vorm veranderd hier!
Onze zintuigen hebben tevens voorkeur, die evolutionair
gevormd lijken te zijn
VB: zelfde geluid, maar wat we zien bepaald wat we horen
(ba vs far)
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller pepijne. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $3.78. You're not tied to anything after your purchase.
