Tentamen (uitwerkingen)
NLP - N-Grams and Smoothing Questions and Answers 2024
- Vak
- Instelling
NLP - N-Grams and Smoothing
[Meer zien]Voorbeeld 1 van de 2 pagina's
Voorbeeld 1 van de 2 pagina's
In winkelwagen
In winkelwagen
gesponsord bericht van onze partner
Verkoper
Volgen
julianah420
Ontvangen beoordelingen
Voorbeeld van de inhoud
NLP - N-Grams and SmoothingN-gram - answer Literally a sequence of n tokens. It is used as method of determining
the next word in a sequence based on the previous n-1 tokens.
Markov Assumption - answer The probability of a word type occurring is only based on
the previous word type
Extrinsic evaluation - answer Evaluation of the performance of a language model by
embedding it in an application and measuring how much the application improves. This
is often the only way to know if a particular improvement in a component is really going
to help the task at hand
Intrinsic evaluation - answer Evaluation of the performance of a language model that
measures the quality of a model independent of any application.
Test / training / dev set - answer Train model on the training set, evaluate it with the test
set, and make sure you don't overfit with the dev set.
Maximum Likelihood Estimation - answer Counts the number of times a feature (such
as an n-gram) appears in the corpus and normalizes between 0 and 1.
Perplexity - answer A metric that describes how surprising the next sequence will be;
also a measure of how well the probability distribution predicts a sample. Lower
perplexity is generally better. Mathematically, it is a variation on raw probabilities which
takes the N-th root of the inverse probability of a test set, where N is the number of
tokens. The formula is as follows: 𝑃𝑃 = (1/𝑃(𝑤1𝑤2 ....𝑤𝑛 ))1/N
Relative Frequency - answer The number of appearances of a sequence divided by the
number of appearances of its prefix
Smoothing - answer Since we multiply probabilities, one zero probability event will zero
out an entire chain. In order to avoid this, we perform smoothing, a slight transformation
to data sets that prevents a language model from assigning a probability of zero to an
event. The simplest technique is Laplace smoothing, which merely adds one to each
count of token appearances.
Backoff - answer The process used to decide which n-gram to use in predictions as
determined by the largest n-gram with sufficient evidence. If an n-gram has zero
evidence for use, we backoff to the next largest (n-1 gram) and try again
Interpolation - answer An alternative approach to backoff that combines the estimates
from each n-gram prediction via a linear combination where the constants sum to1.
Voordelen van het kopen van samenvattingen bij Stuvia op een rij:
Verzekerd van kwaliteit door reviews
Stuvia-klanten hebben meer dan 700.000 samenvattingen beoordeeld. Zo weet je zeker dat je de beste documenten koopt!
Snel en makkelijk kopen
Je betaalt supersnel en eenmalig met iDeal, creditcard of Stuvia-tegoed voor de samenvatting. Zonder lidmaatschap.
Focus op de essentie
Samenvattingen worden geschreven voor en door anderen. Daarom zijn de samenvattingen altijd betrouwbaar en actueel. Zo kom je snel tot de kern!
Veelgestelde vragen
Wat krijg ik als ik dit document koop?
Je krijgt een PDF, die direct beschikbaar is na je aankoop. Het gekochte document is altijd, overal en oneindig toegankelijk via je profiel.
Tevredenheidsgarantie: hoe werkt dat?
Onze tevredenheidsgarantie zorgt ervoor dat je altijd een studiedocument vindt dat goed bij je past. Je vult een formulier in en onze klantenservice regelt de rest.
Van wie koop ik deze samenvatting?
Stuvia is een marktplaats, je koop dit document dus niet van ons, maar van verkoper julianah420. Stuvia faciliteert de betaling aan de verkoper.
Zit ik meteen vast aan een abonnement?
Nee, je koopt alleen deze samenvatting voor €14,23. Je zit daarna nergens aan vast.
Is Stuvia te vertrouwen?
4,6 sterren op Google & Trustpilot (+1000 reviews)
Afgelopen 30 dagen zijn er 66579 samenvattingen verkocht
Opgericht in 2010, al 14 jaar dé plek om samenvattingen te kopen