Samenvatting
Samenvatting - Media en digitale samenleving
- Instelling
- Universiteit Antwerpen (UA)
Dit bevat enkel de zelfstudie van de lessen media en digitale samenleving
[Meer zien]Voorbeeld 3 van de 29 pagina's
Voorbeeld 3 van de 29 pagina's
In winkelwagenVerkoper
Volgen
Voorbeeld van de inhoud
Zelfstudie: Artificiële Intelligentie1. Verdere verdieping in Large Language Models
1.1. Definitie van LLM’s
Grote taalmodellen = geavanceerde AI-systemen die gebruikmaken v enorme hoeveelheden gegevens
& geavanceerde algoritmes om menselijke taal te begrijpen, te interpreteren en te genereren.
Ze zijn voornamelijk gebouwd met behulp v diepgaand leren technieken
De term ‘groot’ verwijst naar zowel de uitgebreide trainingsgegevens als de aanzienlijke omvang vd
modellen
1.2. Belang en toepassingen van LLM’s
Ontwikkeling v LLM’s heeft geleid tot een paradigmaverschuiving in natuurlijke taalverwerking,
waardoor de prestaties v verschillende NLP-taken aanzienlijk w verbeterd => hun vermogen heeft
nieuwe mogelijkheden geopend voor toepassingen zoals chatbots, virtuele assistenten en.
hulpmiddelen voor het genereren van inhoud
Enkele vd meest voorkomende toepassingen v LLM’s zijn:
1. Tekstgeneratie en -aanvulling
2. Machinevertaling
3. Sentimentanalyse
4. Vraag-antwoordsystemen
5. Chatbots en gespreksagenten
1.3. Korte geschiedenis van LLM-ontwikkeling
De ontwikkeling v grote taalmodellen vindt zijn oorsprong in de vroege verwerking v natuurlijke taal
machine learning onderzoek. Hun snelle evolutie begon echter met de komst v deep learning-
technieken en de introductie v de Transformer-architectuur in 2017.
De Transformer-architectuur legde de basis voor LLM’s door mechanismen voor zelfaandacht te
introduceren waarmee modellen complexe taalpatronen effectiever konden begrijpen en weergeven
1.4. Sleutelconcepten en componenten v LLM’s
Om de innerlijke werking van grote taalmodellen beter te begrijpen en de fundamenten te waarderen
die hun capaciteiten mogelijk maken, is het essentieel om de belangrijkste concepten en componenten
v LLM’s te verkennen
Natuurlijke taalverwerking (NLP) begrijpen:
➢ Natural Language Processing = NLP
o = richt zich op de ontwikkeling v algoritmen en modellen die de menselijke taal kunnen
begrijpen, interpreteren & genereren
➢ NLP heeft tot doel de kloof tssn menselijke communicatie & computerbegrip te overbruggen
o Waardoor machines tekst- en spraakgegevens kunnen verwerken & analyseren
,Neurale netwerken en diep leren
➢ De kern v LLM’s zijn neurale netwerken – rekenmodellen geïnspireerd door de structuur &
werking vh menselijk brein
o Netwerken zijn samengesteld uit onderling verbonden “neuronen”
▪ Elke neuron ontvangt input v andere neuronen, verwerkt deze en geeft het
resultaat door aan de volgende laag
▪ Dit proces vh verzenden en verwerken v info door het netwerk stelt het in staat
om complexe patronen en representaties te leren
➢ Diep leren = een deelgebied v machine learning dat zich richt op het gebruik v diepe neurale
netwerken (DNN’s) met veel lagen
o De diepte v deze netwerken stelt hen in staat om hiërarchische representaties v
gegevens te leren, wat voor gunstig is voor taken zoals NLP, waar het begrijpen vd
relaties tssn woorden, zinsdelen en zinnen cruciaal is
Overdracht van leren in LLM’s
➢ = een sleutelconcept id ontwikkeling v LLM’s
➢ Het omvat het trainen v/e model op een grote dataset, meestal met diverse en uitgebreide
tekstgegevens, en het vervolgens afstemmen op een specifieke taak/domein
o Deze benadering stelt het model in staat om kennis die het tijdens de pre-training heeft
opgedaan, te gebruiken om betere prestaties op de doeltaak te bereiken
➢ LLM’s profiteren v overdracht leren omdat ze kunnen profiteren vd enorme hoeveelheid
gegevens en het algemene taalbegrip dat ze tijdens de pre-training verwerven
o Deze pre-trainingsstap stelt hen in staat om goed te generaliseren over verschillende
NLP-taken en zich gemakkelijker aan te passen aan nieuwe domeinen of talen
Transformator-architectuur
➢ = een doorbraak geweest op het gebied NLP en de ontwikkeling v LLM’s
➢ Zelfaandachtmechanisme dat het model in staat stelt om het belang v verschillende woorden
of tokens in een bep context af te wegen
o Hierdoor kunnen LLM’s invoerreeksen parallel verwerken in plaats v opeenvolgend →
snellere en efficiëntere training
➢ De architectuur stelt het model in staat om langdurige afhankelijkheden en relaties binnen de
tekst vast te leggen, wat v belang is voor begrijpen vd context & het genereren v coherente taal
1.5. Prominente LLM’s en hun mijlpalen
De vorderingen op het gebied v natuurlijke taalverwerking en kunstmatige intelligentie hebben geleid
tot een groot aantal baanbrekende taalmodellen. Deze modellen hebben de koers v NLP-onderzoek en
– ontwikkeling bepaald, nieuwe maatstaven vastgesteld en de grenzen verlegd v wat AI kan bereiken
bij het begrijpen en genereren v menselijke taal
, GPT-serie (GPT, GPT-2, GPT-3, GPT-4)
➢ = de serie Generative Pre-trained Transformer (ontwikkeld door OpenAI)
➢ = een vd meest bekende LLM’s
o Elke iteratie vd GPT-serie bouwt voort op de fundamenten v zijn voorgangers en bereikt
nieuwe niveaus v prestaties en mogelijkheden
BERT en zijn varianten
➢ = Bidirectional Encoder Representations from Transformers (ontwikkeld door Google)
➢ Maakte gebruik v/e bidirectionele benadering v training, waardoor het model de context beter
kon begrijpen en relaties tussen woorden effectiever kon vastleggen
T5 en zijn toepassingen
➢ = Tekst-to-Tekst Transfer Transformer – model (ontwikkeld door Google)
➢ Presenteerde een uniforme benadering v NLP-taken door ze te kaderen als tekst-naar-
tekstproblemen → dankzij deze aanpak kon het model nauwkeurig w afgestemd op een breed
scala aan taken met hetzelfde vooraf getrainde model, waardoor het proces werd
vereenvoudigd & de prestaties werden verbeterd
De ontwikkeling & evolutie v prominente grote taalmodellen hebben een aanzienlijke invloed gehad
op het gebied v natuurlijke taalverwerking en kunstmatige intelligentie
1.6. LLM’s trainen
Er zijn essentiële stappen & technieken betrokken bij het trainen v LLM’s, v gegevensvoorbereiding en
modelarchitectuur tot optimalisatie & evaluatie
Data voorbereiding
➢ (1) Sourcing van tekstgegevens:
o De basis v elke succesvolle LLM ligt id kwaliteit & kwantiteit vd tekstgegevens waarop
het is getraind
o Een diverse & uitgebreide tekstdataset stekt het model in staat om de nuances v taal
te leren en goed te generaliseren over verschillende taken
▪ Gegevensbronnen kunnen boeken, artikelen, websites, sociale media en
andere tekstrijke opslagplaatsen zijn
➢ (2) Tokenisatie en voorverwerking:
o Vóór de training moeten de tekstgegevens worden voorverwerkt en getokeniseerd om
ze compatibel te maken met het invoerformaat van de LLM
o Tokenisatie houdt in dat de tekst w opgedeeld in kleinere eenheden waaraan
vervolgens unieke identifiers w toegewezen
o Voorverwerking = opschoonstappen om de consistentie te waarborgen & de prestaties
v het model te verbeteren
Voordelen van het kopen van samenvattingen bij Stuvia op een rij:
√ Verzekerd van kwaliteit door reviews
Stuvia-klanten hebben meer dan 700.000 samenvattingen beoordeeld. Zo weet je zeker dat je de beste documenten koopt!
Snel en makkelijk kopen
Je betaalt supersnel en eenmalig met iDeal, Bancontact of creditcard voor de samenvatting. Zonder lidmaatschap.
Focus op de essentie
Samenvattingen worden geschreven voor en door anderen. Daarom zijn de samenvattingen altijd betrouwbaar en actueel. Zo kom je snel tot de kern!
Veelgestelde vragen
Wat krijg ik als ik dit document koop?
Je krijgt een PDF, die direct beschikbaar is na je aankoop. Het gekochte document is altijd, overal en oneindig toegankelijk via je profiel.
Tevredenheidsgarantie: hoe werkt dat?
Onze tevredenheidsgarantie zorgt ervoor dat je altijd een studiedocument vindt dat goed bij je past. Je vult een formulier in en onze klantenservice regelt de rest.
Van wie koop ik deze samenvatting?
Stuvia is een marktplaats, je koop dit document dus niet van ons, maar van verkoper emmavanwinghe. Stuvia faciliteert de betaling aan de verkoper.
Zit ik meteen vast aan een abonnement?
Nee, je koopt alleen deze samenvatting voor €5,89. Je zit daarna nergens aan vast.
Is Stuvia te vertrouwen?
4,6 sterren op Google & Trustpilot (+1000 reviews)
Afgelopen 30 dagen zijn er 53340 samenvattingen verkocht
Opgericht in 2010, al 14 jaar dé plek om samenvattingen te kopen