Resume
Samenvatting - Media en digitale samenleving
- Établissement
- Universiteit Antwerpen (UA)
Dit bevat enkel de zelfstudie van de lessen media en digitale samenleving
[Montrer plus]
Vendeur
S'abonner
Aperçu du contenu
Zelfstudie: Artificiële Intelligentie1. Verdere verdieping in Large Language Models
1.1. Definitie van LLM’s
Grote taalmodellen = geavanceerde AI-systemen die gebruikmaken v enorme hoeveelheden gegevens
& geavanceerde algoritmes om menselijke taal te begrijpen, te interpreteren en te genereren.
Ze zijn voornamelijk gebouwd met behulp v diepgaand leren technieken
De term ‘groot’ verwijst naar zowel de uitgebreide trainingsgegevens als de aanzienlijke omvang vd
modellen
1.2. Belang en toepassingen van LLM’s
Ontwikkeling v LLM’s heeft geleid tot een paradigmaverschuiving in natuurlijke taalverwerking,
waardoor de prestaties v verschillende NLP-taken aanzienlijk w verbeterd => hun vermogen heeft
nieuwe mogelijkheden geopend voor toepassingen zoals chatbots, virtuele assistenten en.
hulpmiddelen voor het genereren van inhoud
Enkele vd meest voorkomende toepassingen v LLM’s zijn:
1. Tekstgeneratie en -aanvulling
2. Machinevertaling
3. Sentimentanalyse
4. Vraag-antwoordsystemen
5. Chatbots en gespreksagenten
1.3. Korte geschiedenis van LLM-ontwikkeling
De ontwikkeling v grote taalmodellen vindt zijn oorsprong in de vroege verwerking v natuurlijke taal
machine learning onderzoek. Hun snelle evolutie begon echter met de komst v deep learning-
technieken en de introductie v de Transformer-architectuur in 2017.
De Transformer-architectuur legde de basis voor LLM’s door mechanismen voor zelfaandacht te
introduceren waarmee modellen complexe taalpatronen effectiever konden begrijpen en weergeven
1.4. Sleutelconcepten en componenten v LLM’s
Om de innerlijke werking van grote taalmodellen beter te begrijpen en de fundamenten te waarderen
die hun capaciteiten mogelijk maken, is het essentieel om de belangrijkste concepten en componenten
v LLM’s te verkennen
Natuurlijke taalverwerking (NLP) begrijpen:
➢ Natural Language Processing = NLP
o = richt zich op de ontwikkeling v algoritmen en modellen die de menselijke taal kunnen
begrijpen, interpreteren & genereren
➢ NLP heeft tot doel de kloof tssn menselijke communicatie & computerbegrip te overbruggen
o Waardoor machines tekst- en spraakgegevens kunnen verwerken & analyseren
,Neurale netwerken en diep leren
➢ De kern v LLM’s zijn neurale netwerken – rekenmodellen geïnspireerd door de structuur &
werking vh menselijk brein
o Netwerken zijn samengesteld uit onderling verbonden “neuronen”
▪ Elke neuron ontvangt input v andere neuronen, verwerkt deze en geeft het
resultaat door aan de volgende laag
▪ Dit proces vh verzenden en verwerken v info door het netwerk stelt het in staat
om complexe patronen en representaties te leren
➢ Diep leren = een deelgebied v machine learning dat zich richt op het gebruik v diepe neurale
netwerken (DNN’s) met veel lagen
o De diepte v deze netwerken stelt hen in staat om hiërarchische representaties v
gegevens te leren, wat voor gunstig is voor taken zoals NLP, waar het begrijpen vd
relaties tssn woorden, zinsdelen en zinnen cruciaal is
Overdracht van leren in LLM’s
➢ = een sleutelconcept id ontwikkeling v LLM’s
➢ Het omvat het trainen v/e model op een grote dataset, meestal met diverse en uitgebreide
tekstgegevens, en het vervolgens afstemmen op een specifieke taak/domein
o Deze benadering stelt het model in staat om kennis die het tijdens de pre-training heeft
opgedaan, te gebruiken om betere prestaties op de doeltaak te bereiken
➢ LLM’s profiteren v overdracht leren omdat ze kunnen profiteren vd enorme hoeveelheid
gegevens en het algemene taalbegrip dat ze tijdens de pre-training verwerven
o Deze pre-trainingsstap stelt hen in staat om goed te generaliseren over verschillende
NLP-taken en zich gemakkelijker aan te passen aan nieuwe domeinen of talen
Transformator-architectuur
➢ = een doorbraak geweest op het gebied NLP en de ontwikkeling v LLM’s
➢ Zelfaandachtmechanisme dat het model in staat stelt om het belang v verschillende woorden
of tokens in een bep context af te wegen
o Hierdoor kunnen LLM’s invoerreeksen parallel verwerken in plaats v opeenvolgend →
snellere en efficiëntere training
➢ De architectuur stelt het model in staat om langdurige afhankelijkheden en relaties binnen de
tekst vast te leggen, wat v belang is voor begrijpen vd context & het genereren v coherente taal
1.5. Prominente LLM’s en hun mijlpalen
De vorderingen op het gebied v natuurlijke taalverwerking en kunstmatige intelligentie hebben geleid
tot een groot aantal baanbrekende taalmodellen. Deze modellen hebben de koers v NLP-onderzoek en
– ontwikkeling bepaald, nieuwe maatstaven vastgesteld en de grenzen verlegd v wat AI kan bereiken
bij het begrijpen en genereren v menselijke taal
, GPT-serie (GPT, GPT-2, GPT-3, GPT-4)
➢ = de serie Generative Pre-trained Transformer (ontwikkeld door OpenAI)
➢ = een vd meest bekende LLM’s
o Elke iteratie vd GPT-serie bouwt voort op de fundamenten v zijn voorgangers en bereikt
nieuwe niveaus v prestaties en mogelijkheden
BERT en zijn varianten
➢ = Bidirectional Encoder Representations from Transformers (ontwikkeld door Google)
➢ Maakte gebruik v/e bidirectionele benadering v training, waardoor het model de context beter
kon begrijpen en relaties tussen woorden effectiever kon vastleggen
T5 en zijn toepassingen
➢ = Tekst-to-Tekst Transfer Transformer – model (ontwikkeld door Google)
➢ Presenteerde een uniforme benadering v NLP-taken door ze te kaderen als tekst-naar-
tekstproblemen → dankzij deze aanpak kon het model nauwkeurig w afgestemd op een breed
scala aan taken met hetzelfde vooraf getrainde model, waardoor het proces werd
vereenvoudigd & de prestaties werden verbeterd
De ontwikkeling & evolutie v prominente grote taalmodellen hebben een aanzienlijke invloed gehad
op het gebied v natuurlijke taalverwerking en kunstmatige intelligentie
1.6. LLM’s trainen
Er zijn essentiële stappen & technieken betrokken bij het trainen v LLM’s, v gegevensvoorbereiding en
modelarchitectuur tot optimalisatie & evaluatie
Data voorbereiding
➢ (1) Sourcing van tekstgegevens:
o De basis v elke succesvolle LLM ligt id kwaliteit & kwantiteit vd tekstgegevens waarop
het is getraind
o Een diverse & uitgebreide tekstdataset stekt het model in staat om de nuances v taal
te leren en goed te generaliseren over verschillende taken
▪ Gegevensbronnen kunnen boeken, artikelen, websites, sociale media en
andere tekstrijke opslagplaatsen zijn
➢ (2) Tokenisatie en voorverwerking:
o Vóór de training moeten de tekstgegevens worden voorverwerkt en getokeniseerd om
ze compatibel te maken met het invoerformaat van de LLM
o Tokenisatie houdt in dat de tekst w opgedeeld in kleinere eenheden waaraan
vervolgens unieke identifiers w toegewezen
o Voorverwerking = opschoonstappen om de consistentie te waarborgen & de prestaties
v het model te verbeteren
Les avantages d'acheter des résumés chez Stuvia:
Qualité garantie par les avis des clients
Les clients de Stuvia ont évalués plus de 700 000 résumés. C'est comme ça que vous savez que vous achetez les meilleurs documents.
L’achat facile et rapide
Vous pouvez payer rapidement avec iDeal, carte de crédit ou Stuvia-crédit pour les résumés. Il n'y a pas d'adhésion nécessaire.
Focus sur l’essentiel
Vos camarades écrivent eux-mêmes les notes d’étude, c’est pourquoi les documents sont toujours fiables et à jour. Cela garantit que vous arrivez rapidement au coeur du matériel.
Foire aux questions
Qu'est-ce que j'obtiens en achetant ce document ?
Vous obtenez un PDF, disponible immédiatement après votre achat. Le document acheté est accessible à tout moment, n'importe où et indéfiniment via votre profil.
Garantie de remboursement : comment ça marche ?
Notre garantie de satisfaction garantit que vous trouverez toujours un document d'étude qui vous convient. Vous remplissez un formulaire et notre équipe du service client s'occupe du reste.
Auprès de qui est-ce que j'achète ce résumé ?
Stuvia est une place de marché. Alors, vous n'achetez donc pas ce document chez nous, mais auprès du vendeur emmavanwinghe. Stuvia facilite les paiements au vendeur.
Est-ce que j'aurai un abonnement?
Non, vous n'achetez ce résumé que pour €5,89. Vous n'êtes lié à rien après votre achat.
Peut-on faire confiance à Stuvia ?
4.6 étoiles sur Google & Trustpilot (+1000 avis)
56326 résumés ont été vendus ces 30 derniers jours
Fondée en 2010, la référence pour acheter des résumés depuis déjà 14 ans