Summary
Samenvatting - Media en digitale samenleving
- Course
- Institution
Dit bevat enkel de zelfstudie van de lessen media en digitale samenleving
[Show more]
Seller
Follow
emmavanwinghe
Content preview
Zelfstudie: Artificiële Intelligentie1. Verdere verdieping in Large Language Models
1.1. Definitie van LLM’s
Grote taalmodellen = geavanceerde AI-systemen die gebruikmaken v enorme hoeveelheden gegevens
& geavanceerde algoritmes om menselijke taal te begrijpen, te interpreteren en te genereren.
Ze zijn voornamelijk gebouwd met behulp v diepgaand leren technieken
De term ‘groot’ verwijst naar zowel de uitgebreide trainingsgegevens als de aanzienlijke omvang vd
modellen
1.2. Belang en toepassingen van LLM’s
Ontwikkeling v LLM’s heeft geleid tot een paradigmaverschuiving in natuurlijke taalverwerking,
waardoor de prestaties v verschillende NLP-taken aanzienlijk w verbeterd => hun vermogen heeft
nieuwe mogelijkheden geopend voor toepassingen zoals chatbots, virtuele assistenten en.
hulpmiddelen voor het genereren van inhoud
Enkele vd meest voorkomende toepassingen v LLM’s zijn:
1. Tekstgeneratie en -aanvulling
2. Machinevertaling
3. Sentimentanalyse
4. Vraag-antwoordsystemen
5. Chatbots en gespreksagenten
1.3. Korte geschiedenis van LLM-ontwikkeling
De ontwikkeling v grote taalmodellen vindt zijn oorsprong in de vroege verwerking v natuurlijke taal
machine learning onderzoek. Hun snelle evolutie begon echter met de komst v deep learning-
technieken en de introductie v de Transformer-architectuur in 2017.
De Transformer-architectuur legde de basis voor LLM’s door mechanismen voor zelfaandacht te
introduceren waarmee modellen complexe taalpatronen effectiever konden begrijpen en weergeven
1.4. Sleutelconcepten en componenten v LLM’s
Om de innerlijke werking van grote taalmodellen beter te begrijpen en de fundamenten te waarderen
die hun capaciteiten mogelijk maken, is het essentieel om de belangrijkste concepten en componenten
v LLM’s te verkennen
Natuurlijke taalverwerking (NLP) begrijpen:
➢ Natural Language Processing = NLP
o = richt zich op de ontwikkeling v algoritmen en modellen die de menselijke taal kunnen
begrijpen, interpreteren & genereren
➢ NLP heeft tot doel de kloof tssn menselijke communicatie & computerbegrip te overbruggen
o Waardoor machines tekst- en spraakgegevens kunnen verwerken & analyseren
,Neurale netwerken en diep leren
➢ De kern v LLM’s zijn neurale netwerken – rekenmodellen geïnspireerd door de structuur &
werking vh menselijk brein
o Netwerken zijn samengesteld uit onderling verbonden “neuronen”
▪ Elke neuron ontvangt input v andere neuronen, verwerkt deze en geeft het
resultaat door aan de volgende laag
▪ Dit proces vh verzenden en verwerken v info door het netwerk stelt het in staat
om complexe patronen en representaties te leren
➢ Diep leren = een deelgebied v machine learning dat zich richt op het gebruik v diepe neurale
netwerken (DNN’s) met veel lagen
o De diepte v deze netwerken stelt hen in staat om hiërarchische representaties v
gegevens te leren, wat voor gunstig is voor taken zoals NLP, waar het begrijpen vd
relaties tssn woorden, zinsdelen en zinnen cruciaal is
Overdracht van leren in LLM’s
➢ = een sleutelconcept id ontwikkeling v LLM’s
➢ Het omvat het trainen v/e model op een grote dataset, meestal met diverse en uitgebreide
tekstgegevens, en het vervolgens afstemmen op een specifieke taak/domein
o Deze benadering stelt het model in staat om kennis die het tijdens de pre-training heeft
opgedaan, te gebruiken om betere prestaties op de doeltaak te bereiken
➢ LLM’s profiteren v overdracht leren omdat ze kunnen profiteren vd enorme hoeveelheid
gegevens en het algemene taalbegrip dat ze tijdens de pre-training verwerven
o Deze pre-trainingsstap stelt hen in staat om goed te generaliseren over verschillende
NLP-taken en zich gemakkelijker aan te passen aan nieuwe domeinen of talen
Transformator-architectuur
➢ = een doorbraak geweest op het gebied NLP en de ontwikkeling v LLM’s
➢ Zelfaandachtmechanisme dat het model in staat stelt om het belang v verschillende woorden
of tokens in een bep context af te wegen
o Hierdoor kunnen LLM’s invoerreeksen parallel verwerken in plaats v opeenvolgend →
snellere en efficiëntere training
➢ De architectuur stelt het model in staat om langdurige afhankelijkheden en relaties binnen de
tekst vast te leggen, wat v belang is voor begrijpen vd context & het genereren v coherente taal
1.5. Prominente LLM’s en hun mijlpalen
De vorderingen op het gebied v natuurlijke taalverwerking en kunstmatige intelligentie hebben geleid
tot een groot aantal baanbrekende taalmodellen. Deze modellen hebben de koers v NLP-onderzoek en
– ontwikkeling bepaald, nieuwe maatstaven vastgesteld en de grenzen verlegd v wat AI kan bereiken
bij het begrijpen en genereren v menselijke taal
, GPT-serie (GPT, GPT-2, GPT-3, GPT-4)
➢ = de serie Generative Pre-trained Transformer (ontwikkeld door OpenAI)
➢ = een vd meest bekende LLM’s
o Elke iteratie vd GPT-serie bouwt voort op de fundamenten v zijn voorgangers en bereikt
nieuwe niveaus v prestaties en mogelijkheden
BERT en zijn varianten
➢ = Bidirectional Encoder Representations from Transformers (ontwikkeld door Google)
➢ Maakte gebruik v/e bidirectionele benadering v training, waardoor het model de context beter
kon begrijpen en relaties tussen woorden effectiever kon vastleggen
T5 en zijn toepassingen
➢ = Tekst-to-Tekst Transfer Transformer – model (ontwikkeld door Google)
➢ Presenteerde een uniforme benadering v NLP-taken door ze te kaderen als tekst-naar-
tekstproblemen → dankzij deze aanpak kon het model nauwkeurig w afgestemd op een breed
scala aan taken met hetzelfde vooraf getrainde model, waardoor het proces werd
vereenvoudigd & de prestaties werden verbeterd
De ontwikkeling & evolutie v prominente grote taalmodellen hebben een aanzienlijke invloed gehad
op het gebied v natuurlijke taalverwerking en kunstmatige intelligentie
1.6. LLM’s trainen
Er zijn essentiële stappen & technieken betrokken bij het trainen v LLM’s, v gegevensvoorbereiding en
modelarchitectuur tot optimalisatie & evaluatie
Data voorbereiding
➢ (1) Sourcing van tekstgegevens:
o De basis v elke succesvolle LLM ligt id kwaliteit & kwantiteit vd tekstgegevens waarop
het is getraind
o Een diverse & uitgebreide tekstdataset stekt het model in staat om de nuances v taal
te leren en goed te generaliseren over verschillende taken
▪ Gegevensbronnen kunnen boeken, artikelen, websites, sociale media en
andere tekstrijke opslagplaatsen zijn
➢ (2) Tokenisatie en voorverwerking:
o Vóór de training moeten de tekstgegevens worden voorverwerkt en getokeniseerd om
ze compatibel te maken met het invoerformaat van de LLM
o Tokenisatie houdt in dat de tekst w opgedeeld in kleinere eenheden waaraan
vervolgens unieke identifiers w toegewezen
o Voorverwerking = opschoonstappen om de consistentie te waarborgen & de prestaties
v het model te verbeteren
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller emmavanwinghe. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $6.37. You're not tied to anything after your purchase.
Can Stuvia be trusted?
4.6 stars on Google & Trustpilot (+1000 reviews)
68175 documents were sold in the last 30 days
Founded in 2010, the go-to place to buy study notes for 15 years now