Multimodale Communicatie: Analyse Van Tekst & Beeld
Institution
Universiteit Utrecht (UU)
Samenvatting (week 1-6) waarin gebruik is gemaakt van afbeeldingen en voorbeelden om de stof gemakkelijker te maken. Ook zijn artikelen in de samenvatting verwerkt.
Multimodale Communicatie: Analyse Van Tekst & Beeld
All documents for this subject (16)
2
reviews
By: fleurbreij • 1 month ago
By: hiddebruning • 2 year ago
Seller
Follow
roosisabelle
Reviews received
Content preview
Samenvatting multimodale communicatie
WEEK 1
(H1 en H2)
Multimodaliteit: de karakterisering van communicatieve situaties, die bouwen op verschillende
vormen van communicatie. Bijvoorbeeld in een TV programma worden afbeeldingen, geluid,
gesproken taal, handgebaren etc. gebruikt. Een communicatieve situatie bestaat ALTIJD uit meerdere
audiovisuele aanwijzingen. Communnicatieve sitauties zijn dus samengestelde en intergerelateerde
(wederzijdse betrekking) e nsembles.
Modus: manier van werken vs modi: manieren waarop je communicatie vorm kan geven bijvoorbeeld
spreken, gebaren of een samenvoeging van deze dingen. Tijdens een gesprek worden veel modi
gebruikt dus kan dat verwarrend zijn om te analyseren, daarom moet je deze los van elkaar halen en zo
dus analyseren. Alles wat mogelijk meewerkt aan meaning-making is een mode. Ook heb je semiotic
modes: modes, die passen bij symbolen en signalen. Het draait hierbij om de betekenisleer. Mono-
disciplinair= dat wetenschappers zich alleen richten op teksten i.p.v. alle verschillende modi, hierdoor
missen we te veel. Om modi goed te kunnen vinden moeten wij samenwerken met takken van andere
wetenschappen als psychologie etc.
Multimodalturn: multimodaliteit is niet alleen voor geleerden want iedereen kan het leren en
begrijpen, dit is voordelig aangezien zo dus meer persepctieven naar boven kunnen komen.
Tegenwoordig gebruikt men ook zoveel mediavormen, zoals mailen, bellen, appen etc. waardoor het
nodig is om de foundacions (modi) van communicatie te begrijpen. De media steeds meer gemengd/
tegelijk bijvoorbeeld een stukje van het nieuws bevat afbeeldingen, gesproken taal, soms een stukje
tekst, handgebaren etc = nieuw media/ super media (dit neemt de taak van alle andere losse
mediavormen bij elkaar over).
Multiplication: het zijn geen twee soorten modi die naast elkaar staan en die je bij elkaar kan optellen,
want er speelt meer dan alleen een plusssom. Bovendien spelen zij elkaar eerder uit dan dat zij naast
elkaar staan bijvoorbeeld als je tijdens een gesprek op je telefoon appt dan is er sprake van een
verminderde face-to-face communicatie. De losse onderdelen nauwelijks te identificeren. Dus NIET 1
+1
Interdependence: ‘onderlinge afhankelijkheid’. We moeten verschillende modi kunnen onderscheiden
namelijk,
1) die op zichzelf staan
2) suggesties die alleen naar boven komen in combinatie met andere modi.
Bijvoorbeeld een stripboek heeft beeld en tekst. Hiervoor moeten wij dus weten of ons interpretatie is
gevormd door invloeden die van buitenaf komen. Multimodaliteit is dus meer dan de som.
Men kiest steeds vaker een methode van onderzoek op basis van persoonlijke voorkeuren denk aan
een psycholoog, die een psychologische methode kiest etc. Hierdoor houdt de onderzoeker zijn ogen
dicht voor andere perspectieven = the problem space of multimodality. Hierom moeten wij eerst het
probleem bekarakteriseren/kenmerken voordat we een methode kiezen. Er is dus ook geen bestaande
orde die monopoly heeft op methodes, die relevant zijn voor alle multimodale problemen (deze zijn er
altijd).
Om over multimodaliteit te kunnen spreken heb je 2 materialities (het is waar te nemen) nodig,
namelijk: Geluid en beeld. Geluid en beeld, en dus multimodaliteit zijn verweven in:
, 1) Materiality: ‘stoffelijkheid’. Verschillende materialen, dus niet alleen fysiek. De materialen
worden opgenomen en georganiseerd door ons zintuigen, zoals beeld en geluid.
2) Language: ‘taal’. Heeft veel effecten en is dus belangrijk/ gemakkelijk bij multimodale
problemen.
3) Semiotics: ‘betekenisleer’. Het daadwerkelijk betekenen en de betekenis per persoon = veld
van betekenisleer = field of semiotics.
4) Society: ‘maatschappij’. De normen en waarden van iedereen op dit moment in de
maatschappij. Ook zorgen cultuur en maatschappij voor verschillende opvattingen en
betekenisgevingen.
Geluid: Het bestaat uit verschillende golven =lengte golven. Het kan verschillend ontvangen en
gebruikt worden, namelijk hard/zacht/hoog/laag. De manier van opvatten is cultureel bepaald
bijvoorbeeld in sommige culturen is hard praten de norm en bij andere culturen wordt het dan opgevat
als boosheid. Dingen die geluid produceren, noemt men sound sources, ook heb je properties of
objects (bijvoorbeeld harde objecten die tegen elkaar slaan vs zachte objecten die tegen elkaar komen
(harde en een zachte klap). Geluid is dus niet alleen het horen van geluid/tonen, maar het geeft
informatie over de ruimte/hardheid/ afstand en richting. Ook heeft het invloed op het fysieke van een
mens, dus het kan iemand emotioneel/blij/boos maken. Muziek wordt gebaseerd op de tijd van nu in
tegenstelling tot visuele expressie. Het wordt veel samengesmolten met andere vormen van expressie
zoals taal = gesamtkunstwerk, denk bijvoorbeeld aan een opera. Muziek is ook erg oprichtend, dus in
de combinatie van verschillende tonen kan je de indivudele bijdragen nog horen. Muziek heeft dus net
als geluid effect op het fysieke van de mens, dat noemen we the field of sound design, dat samengaat
met andere expressies, zoals films.
Vision/Beeld: het effect van licht op het oog vs visuality: de meaning-making praktijken, die wij
kunnen volgen bij het ontwaken. De visuele benadering is ook een methode. Er bestaat bijna geen
image-only advertisment aangezien er vrijwel altijd tekst of muziek in verwerkt is, het is dus vrijwel
altijd een combinatie. Een afbeelding shows en een taal tells. Het handboek beschrijft 5 kenmerken
van beeld verwerking:
1) Associations: goed getrained in het herkennen van iets dat wij al eerder hebben gezien. Zo
snappen wij heel snel hoe bepaalde figuren bij elkaar horen. Bijvoorbeeld in een filmscene
zien we een man en een vrouw in een restaurant en we koppelen dat aan een date etc.
2) Compositionality: wij zijn geneigd beelden in hun geheel te zien maar bij compositionality
zien wij de losse onderdelen en kunnen zo het geheel zien/vormen, bijvoorbeeld bij
pictionary. Non-compositionality/Gestalt is juist het tegenovergestelde, dus je herkend het
geheel en daarna pas de losse onderdelen, bijvoorbeeld de dalmatiër in de schaduw van de
boom.
3) Resemblance: wij herkennen dat bepaalde vormen overeenkomen met wat we ermee
associeren. Dus hierdoor kunnen wij op een afbeelding van een hond een hond herkennen.
Wij associeren een afbeelding sneller dan letterlijk de letters H-O-N-D.
4) Propositions: in vergelijking met taal zijn beelden minder goed in staat om iets te stellen.
Bijvoorbeeld ik zeg dat het regent, wanneer dat zo is. Dat kan een plaatje niet, het kan op het
plaatje regenen maar het kan niet stellen dat het regent. Maar bijvoorbeeld een plaatje kan
daarintegen ook nooit liegen, als het regent op het plaatje dan regent het.
5) Experience: Het gaat voorbij aan semiotiek. Het ervaren van beelden, die meer doen dan je
normaal uit een afbeelding zou kunnen afleiden. Bijvoorbeeld die filmpjes die mensen kijken
als zij niet kunnen slapen van mensen die een huis bouwen.
Haptic visuality: op geluidloze fragmenten kan je ook een reactie krijgen, zoals nagels over een
krijtbord.
, Denotation/Denotatie: wat er daadwerkelijk te zien is. Een flesje met een bruine substantie erin, mens,
wit met rood pak, baard, tekst.
Connotation/Connotatie: wat wij herkennen en dus gelijk koppelen aan datgene wat wij herkennen,
dus bijvoorbeeld de kerstman, Coca-cola, een vrachtwagen etc.
Iconography: Een belangrijk deel van de visuele betekenis moet gescheiden worden door te kijken hoe
particuliere voorstellingen opnieuw voorkomen in de geschiedenis van de cultuur.
Taal is ook een belangrijke modi. Kenmerken van de taal die wij moeten onderkennen in een
multimodale analyse en die bepalen welke ruimte er is voor betekenisconstructies zijn:
1) Conventies: Wij vormen klanken/letters tot woorden en wij weten wat die woorden betekenen.
De betekenis ligt dus niet aan de letters, maar aan dat wij allemaal weten wat de betekenis
achter bijvoorbeeld bedankt is. Maar niet in alle talen is dat hetzelfde, bijvoorbeeld merci of
danke. Het is geen afspraak, maar een ontwikkelingsproces. Bijvoorbeeld schoonheidssalon
met de naam freak (in het russisch) maar in polen betekend het schoonheid.
2) Compositie: Het gaat niet alleen van letters naar woorden. De H
en de A zijn eigenlijk hetzelfde weergeven, maar toen herkennen
wij de woorden ‘the’ en ‘cat’.
3) Substitutie: ‘vervanging’. In een zin kan een woord makkelijk vervangen worden,
bijvoorbeeld ‘De jongen loopt door het park’. Als je jongen vervangt voor het meisje
veranderd opzich de betekenis van de zin niet, alleen het woord veranderd. Dit zijn woorden
met local effects. Non local = wanneer de betekenis dus wel veranderd, zoals bij een foto van
deze jongen met tekst, als in de tekst meisje komt te staan klopt de foto niet meer. Woorden
beïnvloedden elkaar dus.
4) Dubbele articulatie: Letters/klanken -> woorden -> zinnen -> samenhangende tekst.
In talen zijn er niet alleen woorden, die samen een betekenisvolle zin vormen. Ook worden er
geluiden samengevoegd tot woorden, bijvoorbeeld de D, O en G betekenen op zichzelf
allemaal niks. Het zijn slechts geluiden.
5) Functionaliteit: alle woorden en de grammatica hebben een functie. De
eerste is een conclusie en de tweede een vraag terwijl de
woorden hetzelfde blijven. Het roept ook een hele andere
reactie op. Bij de eerste is het meer een schrok en bij de
tweede vraag je informatie aan de toehoorder. Bij het tweede
voorbeeld zie je dat de nadrukken nu steeds verschillend zijn en dus de boodschap van de zin
veranderd.
Transcriberen: Je probeert een communicatie uiting zo precies
mogelijk over te zetten in een andere vorm. Zie hiernaast.
Gesproken taal is dus zeer multimodaal, bijvoorbeeld: klemtoon, timing, ritme, intonatie, gebaren en
de kijkrichting.
Human- computer interaction (HCI) is erg multimodaal aangezien er veel verschillende modi
gebruikt worden zoals taal, beeld, geluid, kleur etc. Wij klikken niet alleen door een programma heen
maar er zijn verschillende manieren hoe wij met een computer communiceren en hoe wij een computer
besturen.
Literaire studies: taal en beeld beginnen elkaar hier te raken-> bijvoorbeeld als iemand zegt dat jij kan
schilderen met woorden (heel goed kunnen praten/schrijven). Er is ook daadwerkelijk een link in het
brein tussen woorden en afbeeldingen/emoties en handelingen. Ook is er sprake van transportatie =
wij worden meegenomen in een verhaal, bijvoorbeeld dat wij de emoties van een hoofdpersoon
voelen, wat een typisch menselijke eigenschap is. Multimedia effect= dat wij meer leren als informatie
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller roosisabelle. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $6.01. You're not tied to anything after your purchase.
