Samenvatting
Samenvatting Media en digitale samenleving
- Instelling
- Universiteit Antwerpen (UA)
Samenvatting van korfvak Media en Digitale samenleving aan de UA.
[Meer zien]Voorbeeld 10 van de 63 pagina's
Voorbeeld 10 van de 63 pagina's
In winkelwagenVerkoper
Volgen
Voorbeeld van de inhoud
Hoofdstuk 1: Artificiële intelligentie1. IS IT ONLY AI
● als je AI wil gebruiken, kan dat enkel als er voldoende resources zijn (data)
● AI + geconnecteerd netwerk van sensoren waar we info uithalen (= the internet of things)
2. WHAT IS IoT INTERNET OF THINGS
2.1 Definitie
→ Het IoT is het netwerk van fysieke objecten, apparaten, voertuigen, gebouwen en andere items
die zijn ingebed met elektronica, software, sensoren en netwerkconnectiviteit, waardoor deze
objecten gegevens kunnen verzamelen en uitwisselen
● big business
● 61% van de leidinggevenden is het ermee eens dat bedrijven die traag zijn met de integratie
van het IoT achterop zullen raken
● IoT: absorbeer of verdwijnen (bedrijven die er niet in geloven, zullen verdwijnen)
2.2 What is it really?
→ 3 technologieën belangrijk
(1) Sensoren
● veel nieuwe sensoren, maar zijn niet perse zaken dat we vroeger niet konden
● verschil met de nieuwe: gebruiken weinig energie, accurater, zeer klein
● minder E om aan te sturen → klein → eenvoudig bij iemand toe te passen voor langere
periode
(2) Communicatie
● veel meer personen hebben een device dat geconnecteerd is met internet
● vooruitgang in de hoeveelheid connectiviteit dat individuen hebben in een omgeving
(3) Software
● VROEGER
- probleem: vraagt veel compute (rekenkracht), hebben we de tijd dit centraal te versturen
in
cruciale situaties of doen we dit lokaal? vb. AI auto aan het voetpad met voetgangers op
- probleem: als je alle data uit de sensor naar je datacenter wil sturen, gaat dit niet, dit is te
veel data ⇒ dus lokaal (dicht bij sensoren) al wat berekeningen gedaan
● TODAY: opstelling waar lokaal devices dingen computen, een tussenstation waar nog een
selectie gemaakt kan worden en lokaal kan gereageerd kan worden en er ook naar een
centrale omgeving kan gaan
- hoeveelheid data beperken
- snelheid waarmee beslissingen genomen moeten worden, te optimaliseren
● FUTURE: rechtstreekse communicatie tussen devices
1
,2.3 Distributed embedded software
→ veel sensoren, devices maar hebben allemaal beperkte compute (geheugen)
→ wat moeten we doen?
● kijken wat lokaal kan
● naar minder gateways erboven een beperkte hoeveelheid data te sturen
● centraal in de storage (waar meeste resources zijn) nog een kleinere hoeveelheid krijgen
RECAP IoT:
sensoren geconnecteerd via internet en actuatoren die daar beslissingen mee kunnen nemen adhv
nieuwe vormen van communicatie, software en nieuwe sensoren
3. TECHNOLOGY 2: ARTIFICIAL INTELLIGENCE
3.1 AI or machine learning?
Als mensen spreken over AI, hebben ze het bijna altijd over deep learning
AI = programma dat kan voelen, redeneren, handelen en zich kan aanpassen
● verzameling van technieken die bepaalde intelligentie gaat
nabootsen
● spreken van AI vanaf een computer of device een beslissing kan
nemen waarvan wij niet meer kunnen onderscheiden of het door een
persoon genomen wordt of door een computer
● een methodologie die we kunnen voeden met data en vanuit die data
gaat die technologie leren hoe die bepaalde beslissingen moet nemen
Machine learning = algoritmen waarvan de prestaties verbeteren naarmate ze in de loop van de
tijd aan meer gegevens worden blootgesteld
Deep learning = subset van machinaal leren waarin meerlagige neurale netwerken leren van
enorme hoeveelheden gegevens
● machine learning technieken met complexere neurale netwerken
laten werken en deze hebben veel lagen (diepe netwerken)
2
,Learning kan op verschillende manieren gebeuren
● supervised
- je weet wat wat is
- vb. machine moet foto’s onderscheiden van kat vs
hond, je geeft machine feedback van “fout dit is een
kat” en zo leert hij adhv de feedback
● unsupervised
- conclusie mogelijk zonder dat je weet wat wat is
- vb. uitschieter op plot
● reinforcement learning
- je doet iets en krijgt feedback, zonder labels iets leren
- vb. leren fietsen, je trapt en valt van fiets, je leert dingen iets anders doen dankzij
de feedback en plots kan je fietsen
● transfer learning
- haalt data uit bestaande netwerken en gebruiken in een nieuw neuraal netwerk Hoe
herken je je buurvrouw? Al eens over nagedacht?
- Contouren bekijken, identificeren, steeds verder naar details kijken tot je specifieke
details kent en obv deze een onderscheid maken
- neurale netwerken doen hetzelfde als je deze traint
3. NEURAL NETWORKS???
3.1 Neuronen
● geven impulsen aan elkaar en zijn geconnecteerd
● input vanuit zintuigen (elektrisch signaal) gaat naar brein
● door te leren neemt de breedte van de banen tussen de neuronen toe
● zelfde patroon geprobeerd te bouwen in computer
- neuronen gemaakt als input ⇒ aantal rijen neuronen achter elkaar gezet
- van elke rij hebben we verbinding met elk neuron op de volgende lijn
(= alles verbonden)
● neuraal netwerk moet zeggen in wat voor situatie we zitten vb. zebrapad of parkeerplaats?
- moeten het NN dus iets laten leren, dit doen we via backpropagation
3.2 Supervised learning: back propagation
● zien wat output is en zeggen ‘dit is niet juist’ en elk ding juist proberen krijgen
● maken een gewogen som: op elk vd lijnen een getal meegeven dat zegt hoe breed
de zenuwbaan is en dat gewicht vermenigvuldigd met de waarde waarvan de
zenuwbaan komt en dat tellen we met elkaar op, doen we dit van begin tot einde en
we verkrijgen een output
● hoe zorgen we dat we iets leren?
⇒ gewicht in het netwerk aanpassen, zenuwbanen breder of smaller maken
● kijken wat er staat, kijken wat er zou moeten staan en het gewicht aanpassen
● zo blijven aanpassen tot we uiteindelijk kunnen meegeven vb. “dit is een zebrapad”
enkel en alleen door gewicht aan te passen
● netwerk is getraind → in realiteit toepassen vb. ‘dit is een zebrapad’ → remmen
3
,3.3 Reinforcement learning model
vb. je leert fietsen
Agent = zit neuraal netwerk in
Action = je voert actie uit vb. trappen op de fiets
Environment = wat is het effect van de actie in de omgeving
vb. als ik in deze omgeving die beweging maak, val ik
Reward = reward gaat in agent zeggen of de actie goed of niet was
→ agent gaat zich aanpassen
→ levert volgende keer aangepaste actie
3.4 Transfer learning
● vb. panda en hond
● hoe werkt de classifier van de hond?
⇒ komen aantal randen omhoog, deze informatie wordt gebruikt om de panda te trainen
● stuk van netwerk gebruiken in nieuw netwerk
4. DOES IT WORK?
4.1 What are the current ai challenges
Technische challenges
1 Accuraatheid van algoritmes
● per sec honderden evaluaties
● moet aan hoge frequentie goed werke
● accuraatheid nog niet goed genoeg om ai het uit te rollen in omgevingen
2 Kleinere chips zijn nodig
● hoe kleiner de chips, hoe beter we ze gedistribueerd kunnen wegsteken
3 Snelheid van de algoritmes
● ai methodes moeten geleerd worden door de computer
● duurt lang om spelletje te leren, laat staan dat we de computer leren rijden met auto
4 Connectiviteit
● hoe meer data uit verschillende hoeken, hoe beter we deze kunnen gebruiken
● snelheid en accuraatheid van connectiviteit is nog niet optimaal dat we alles kunnen
bereiken wat we nu willen
5 Data kwaliteit
● wat als nieuwe data van lagere kwaliteit is?
● zorgt dat algoritme slechtere beslissingen gaat nemen
● ai algoritmes zijn slecht in omgaan met data van verschillende kwaliteit
→ slechte kwaliteit = slecht, goede = goed maar mix = ?
4
, 6 Energie
● willen gedistribueerd computable devices zetten
● ecologische voetafdruk van trainen van ai is groot
7 In controle blijven
● inzetten op explainability
● moeten ten allen tijden weten waarom ai bepaalde beslissing maakt
● ai moet probleem snel optimaliseren, kan achterliggend tot iets stiekem doen
vb. geneesmiddel voor leverkanker, maar zorgt eig na 5j voor impotentie
Pitfalls
1 Change management
● vb. elke ochtend koffie en plots is deze op
● nieuwe technologie vindt een verandering niet leuk
● in begin als je technologie wil uitrollen, zal er veel weerstand zijn
● kleine stapjes nemen
2 Misuse
● kunnen video’s, content en audio levensecht namaken
● is de content die we binnenkrijgen juiste content of content gemaakt door ai?
Security
- imposter = authenticatie, is de persoon wie hij beweert te zijn
- ai driven attacks = data gebruiken om aan te vallen
- insider threats = data stelen
- data tampering = data aanpassen
- ai driven defence = data gebruiken om te verdedigen
3 Bias/ explainability
Levels van bias
(1) Representatieve dataset nodig hebben (weerspiegelen de populatie)
● data moet de realiteit zijn
● used data: gezichtsherkenning getraind met dataset met meer blanke
mannen
● captured data: wegdek in Boston, in rijke buurt beter dan arme???
(2) Dataset geeft nauwkeurig de geschiedenis weer (vervolg)
● what als de geschiedenis onfair is
● vb. beslissing dat niet koosjer is (vb. racisme) en deze data wordt gebruikt
(3) Onethisch (dingen die we nooit zouden moeten doen)
● modellen dat tot onethische eindes leiden
● vb. beslissing maken obv de locatie waar iemand woont
5
, Probeer met de risico’s en ethiek om te gaan, maar geef er niet te veel gewicht aan
Goede verhouding houden tussen innovatie enerzijds en de ethiek en risico anderzijds
4 Fear
● mensen hebben schrik van technologie
● als computer fout maakt is het een drama, maar mensen moeten we vergeven?
● elke technologie die we bouwen, gaat ooit fouten maken, maar als ze minder fouten
maken dan dat wij doen, is dit een goed ding
5. HOW TO APPLY AI
5.1 4 Components
Vier stappen in het toepassingsproces
1 Perceptie
● bestaat veel technologie om vanuit een foto/ video te detecteren wat of wie iets is
2 Representatie
● kunnen obv data voorstellingen maken van je wereld
3 Simulatie
4 Generatie en controle
● kunnen zelfs dingen genereren (foto’s, muziek… maken met ai)
● controle: indien je alle dingen hebt, kan je nieuwe strategieën generen en bepaalde
zaken aansturen
6. ZELFSTUDIE: ONTHULLING VAN DE KRACHT VAN GROTE TAALMODELLEN (LLM’s)
● AI heeft vooruitgang geboekt op gebied van natuurlijke taalverwerking
● LLM’s naar voor gekomen
6.1 Definitie van LLM’s
= Geavanceerde AI-systemen die enorme hoeveelheden gegevens en geavanceerde algoritmen
gebruiken om menselijke taal te begrijpen, interpreteren en genereren
● vnl gebouwd met behulp van deep learning- technieken, met name neurale netwerken
● kunnen grote hoeveelheden tekstgegevens verwerken en ervan leren
● ‘groot’ ⇒ uitgebreide trainingsgegevens + omvang van de modellen
● werken op grote schaal om de toekomst te voorspellen
6
,6.2 Belang en toepassingen van LLM’s
● paradigmaverschuiving in verwerking vn natuurlijke taal ↠ verbetering prestaties NLP-taken
● context begrijpen en samenhangende, contextueel relevante teksten genereren
Meest voorkomende toepassingen
● Tekst genereren en voltooien
● Machinevertaling
- weghalen van taalbarrières in de communicatie
● Sentimentanalyse
- vb. bedrijven
- recensies analyseren en publieke sentiment peilen om klantenservice te verbeteren
● Vraag-en antwoordsystemen
● Chatbots en conversatie agenten
- creatie van mensachtige chatbots
6.3 Geschiedenis van de LLM-ontwikkeling
● vroeg onderzoek naar natuurlijke taalverwerking en machine learning
● snelle evolutie bij de komst van deep learning-technieken en de introductie van de
transformer-architectuur
- transformer architectuur: zelf aandacht modellen introduceren
- modellen konden complexe taalpatronen effectiever begrijpen en weergeven
- leidde tot krachtigere modellen
6.4 Sleutelconcepten en componenten van LLM’s
NLP Natuurlijke taalverwerking
● natural language processing
● richt zich op ontwikkeling van algoritmen en modellen die menselijke taal kunnen begrijpen,
interpreteren en genereren
● doel: kloof tussen menselijke communicatie en computerbegrip te overbruggen waardoor
machines tekst-en spraakgegevens kunnen verwerken en analyseren op manieren die
menselijk begrip nabootsen
Neurale netwerken en diep leren
● neurale netwerken: rekenmodellen geïnspireerd op de structuur en functioneren van
menselijk brein
● samengesteld uit onderling verbonden knooppunten of neuronen georganiseerd in lagen
● neuron ontvang input van andere neuronen, verwerkt deze en geeft het resultaat door aan
de volgende laag
● deep learning: deelgebied van machine learning
- richt zich op het gebruik van diepe neurale netwerken DNN’s
- diepte van deze netwerken stelt hen in staat hiërarchische representaties van
gegevens te leren ⇒ gunstig voor taken als NLP
Transferleren
● trainen van een model op een grote dataset dat diverse en uitgebreide tekst gegevens bevat
en afstemmen op een specifieke taak of domein
7
, ● model kan kennis van pre-training benutten om betere prestaties bij doeltaak te bereiken
● LLM’s profiteren van transfer learning: enorme hoeveelheid gegevens en algemeen
taalbegrip dat ze in de vooropleiding verwerven (gemakkelijke aanpassing aan nieuwe domeinen of talen)
Transformatorarchitecuur
● wijkt af van traditionele neurale netwerkontwerpen
● dankzij zelfaandachtsmechanisme kunnen LLM’s invoerreeksen parallel verwerken ipv
opeenvolgend wat resulteert in snellere en efficiëntere training
● afhankelijkheden en relaties op lange termijn binnen de tekst vastleggen
⇒ essentieel voor begrijpen van de context en genereren van coherente taal
6.5 Prominente LLM’s en hun mijlpalen
GTP
● Generative Pre-trained Transformer -serie
● elke versie bouwt voort op de fundamenten van zijn voorganger en heeft niveau niveaus van
prestaties en mogelijkheden bereikt
BERT
● bidirectionele Encoder Representations from Transformers
● ontwikkeld door Google, mijlpaal in NLP-onderzoek
● maakt gebruik van bidirectionele benadering van trainingen waardoor het model de context
beter kon begrijpen en de relaties tussen woorden effectiever kon vastleggen
● varianten en aanpassingen ⇒ bouwen voort op originele BERT-architectuur en
trainingstechnieken ⇒ mogelijkheden in NLP-taken werden verbeterd
T5
● Text-to-Text Transfer Transformer door Google Brain
● uniforme benadering van NLP-taken door ze te framen als tekst-naar-tekst-problemen
● rol bij bevorderen van onderzoek naar transfer leren en multi-task leren
6.6 LLM’s trainen
Data voorbereiding
(1) Text Data Sourcing
● tekst dataset
● model kan nuances van taal leren en goed generaliseren over verschillende taken
● gegevensbronnen: boeken, artikelen, websites, sociale media..
(2) Tokenisatie en voorverwerking
● tekstgegeven worden voorbewerkt en getokensieerd om ze compatibel te maken
met het invoerformaat van de LLM
● tokenisatie: tekst in kleinere eenheden opgedeeld waaraan unieke
identificatiegegevens worden toegewezen
● voorbewerking: gebruik kleine letters, verwijdere speciale tekens.. = opschonen
Modelarchitectuur en ontwerp
(1) Het juiste model kiezen
● van belang voor bereiken van gewenste prestaties in specifiek taak of domein
8
, ● rekening houden met taakvereisten, beschikbare middelen en gewenste niveau van
complexiteit
(2) Modelparameters configureren
● aantal lagen, verborgen eenheden, aandachtskoppen..
● rol bij het bepalen van de capaciteit en prestaties van het model
● hyperparameters moeten worden geconfigureerd om evenwicht te vinden tussen
complexiteit en reken efficiëntie terwijl overfitting wordt vermeden
Trainingsproces
(1) Optimaliseren van de leersnelheid
● hyperparameter die aanpassingssnelheid van model tijdens de training regelt
● kiezen van leertempo kan invloed hebben op prestaties en convergentiesnelheid
(2) Omgaan met overfitting en regularisatie
● overfitting: model leert de trainingsgegevens te goed waardoor het vermogen om te
generaliseren naar onzichtbare gegevens in gevaar komt
● regularisatie technieken (vb. uitval, gewichtsafname) kunnen worden gebruikt om
overfitting te verminderen en generalisatie mogelijkheden te verbeteren
Modelprestaties evalueren
(1) Metrieken voor het beoordelen van LLM’s
● verschillende statistieken gebruikt om prestaties te evalueren
● perplexiteit, BLEU-score, ROUGE-score, F1-score
● elk op maat gemaakt om verschillende aspecten van taalbegrip en -generatie te
beoordelen
● meest relevante statistieken voor hun taken selecteren om effectiviteit te meten
(2) Benchmarkdatasets en scoreborden
● GLUE, SuperGlue, SQuAD
● gestandaardiseerde evaluatie platforms voor het vergelijken van de prestaties van
de verschillende LLM’s
● datasets omvatten breed scala aan NLP-taken ⇒ mogelijkheden van modellen
beoordelen en gebieden voor verbetering identificeren
● leaderboards bieden competitieve omgeving die ontwikkeling van meer
geavanceerde LLM’s aanmoedigt
6.7 Toepassing van LLM’s
➔ machines kunnen menselijke taal begrijpen en genereren
Machine vertaling
● doel: tekst of spraak automatisch van de ene taal naar de andere vertalen
● verminderen van taalbarrières, interculturele communicatie vergemakkelijken
Sentiment analyse (of opinie analyse)
● bepalen van sentiment of emotie die in een stuks tekst wordt uitgedrukt
● bedrijven kunnen klanttevredenheid meten, markt reputatie monitoren..
9
, Chatbots en virtuele assistenten
● zijn in staat natuurlijke en context bewuste gesprekken te voeren
● maken gebruik van taalbegrip-en generatie mogelijkheden van modellen
● helpen bij taken (vb. klantondersteuning, plannen van afspraken)
● zorgen voor meer naadloze en gepersonaliseerde gebruikservaring
Samenvatting van de tekst
● genereren van beknopte en samenhangende samenvatting terwijl essentiële informatie en
betekenis behouden blijft
● tijd en moeite besparen vor zij die snel hoofdpunten van een document willen begrijpen
Natuurlijke taalinterface voor databases
● gebruikers kunnen communiceren met gegevensopslagsystemen in alledaagse taal
● zoekopdrachten in natuurlijke taal omzetten in databasequery’s kunnen LLM’s meer
intuïtieve en gebruiksvriendelijke toegang tot informatie vergemakkelijken
● behoefte aan gespecialiseerde zoektalen of programmeervaardigheden wordt geëlimineerd
Content genereren en parafraseren
● samenhangende en contextueel relevante tekst genereren
● kan worden ingezet voor het genereren van inhoud en parafraseren van taken
Hulp bij het genereren en programmeren van codes
● opkomende toepassing
● codefragmenten genereren of programmeerhulp obv beschrijvingen in natuurlijke taal
Onderwijs en onderzoek
● gepersonaliseerde leerervaringen creëren, directe feedback, uitleg, voorbeelden
● helpen bij literatuuronderzoek, samenvatten van artikelen, genereren van concepten
6.8 Ethische overwegingen en uitdagingen
Vooringenomenheid en eerlijkheid
(1) Datagedreven vooroordelen
● LLM’s worden getraind in grote hoeveelheden tekst
● bevatten vaak vooroordelen/ stereotypen
● gevolg: LLM’s kunnen onbedoeld de voororderen leren en in stand houden
(2) Vooroordelen aanpakken
● actief werken aan het identificeren en verminderen van vooroordelen in LLM’s
● technieken zoals databalancering, bias-detectie en model,debiasing
● transparantie over beperkingen en mogelijke vooroordelen in AI-systemen
Verkeerde informatie en kwaadwillig gebruik
(1) Door AI gegenereerde inhoud
● bezorgdheid over verspreiding van verkeerde info & kwaadaardige inhoud
10
Voordelen van het kopen van samenvattingen bij Stuvia op een rij:
√ Verzekerd van kwaliteit door reviews
Stuvia-klanten hebben meer dan 700.000 samenvattingen beoordeeld. Zo weet je zeker dat je de beste documenten koopt!
Snel en makkelijk kopen
Je betaalt supersnel en eenmalig met iDeal, Bancontact of creditcard voor de samenvatting. Zonder lidmaatschap.
Focus op de essentie
Samenvattingen worden geschreven voor en door anderen. Daarom zijn de samenvattingen altijd betrouwbaar en actueel. Zo kom je snel tot de kern!
Veelgestelde vragen
Wat krijg ik als ik dit document koop?
Je krijgt een PDF, die direct beschikbaar is na je aankoop. Het gekochte document is altijd, overal en oneindig toegankelijk via je profiel.
Tevredenheidsgarantie: hoe werkt dat?
Onze tevredenheidsgarantie zorgt ervoor dat je altijd een studiedocument vindt dat goed bij je past. Je vult een formulier in en onze klantenservice regelt de rest.
Van wie koop ik deze samenvatting?
Stuvia is een marktplaats, je koop dit document dus niet van ons, maar van verkoper EG12345. Stuvia faciliteert de betaling aan de verkoper.
Zit ik meteen vast aan een abonnement?
Nee, je koopt alleen deze samenvatting voor €6,66. Je zit daarna nergens aan vast.
Is Stuvia te vertrouwen?
4,6 sterren op Google & Trustpilot (+1000 reviews)
Afgelopen 30 dagen zijn er 53340 samenvattingen verkocht
Opgericht in 2010, al 14 jaar dé plek om samenvattingen te kopen