Uitgebreide samenvatting voor het tentamen Data Science over de onderwerpen DM en DEP in het Nederlands (belangrijke Engelse begrippen staan er wel in). Na elk onderwerp is er ook nog een overzicht belangrijkste punten voor het tentamen.
Inhoudsopgave
Topic Data Mining...........................................................................................2
Overzicht belangrijkste punten voor het tentamen.......................................................16
Topic DEP..................................................................................................... 23
Overzicht belangrijkste punten voor het tentamen.......................................................29
,Topic Data Mining
De basis van datamining:
Datamining is fundamenteel in Data Science
Wat: patronen, correlaties, afwijkingen, inzichten, trends ontdekken
uit (grote) datasets
Doel: inzicht krijgen in de gegevens voor besluitvorming,
voorspelling en kennisontdekking
Gerelateerd aan:
o Machine learning: het ontwikkelen van algoritmen waarmee
computers kunnen leren van gegevens en voorspellingen of
beslissingen kunnen maken
o Statistisch leren: een kader bieden voor het begrijpen en
analyseren van gegevens door relaties te modelleren en
voorspellingen te doen op basis van statistische principes en
technieken
o Kunstmatige intelligentie: intelligente systemen creëren die
autonoom taken kunnen uitvoeren
Het heeft/geeft veel gegevens
Ontdek patronen en modellen die:
o Geldig: met enige zekerheid gelden voor nieuwe gegevens
o Nuttig: het moet mogelijk zijn om er iets mee te doen
o Onverwacht: niet voor de hand liggend voor het systeem
o Begrijpelijk: mensen moeten het patroon kunnen interpreteren
Let op: als je er afval ingooit krijg je er ook afval uit (slechte data in,
slechte data uit)
Er zijn 2 types of Data Mining methodes: Supervised en unsupervised
learning
Bij supervised learning wordt een model getraind voor het
voorspellen of te schatten (een output gebaseerd op een of meer
inputs)
- Trainingsgegevens bevatten de gewenste output / labels
Bij unsupervised learning is het doel om te leren over relaties en
structuur van de gegevens.
- Trainingsgegevens bevatten geen gewenste output/ ongelabeld
(hier zijn er dus nog geen labels)
Voorbeelden:
Supervised Je wilt een e-mailsysteem bouwen dat automatisch kan
bepalen of een e-mail spam is of niet. Je hebt een dataset met duizenden
e-mails die gelabeld zijn als "spam" of "geen spam". Het model leert de
kenmerken van spam e-mails (bijv. bepaalde woorden of patronen) en
gebruikt die informatie om nieuwe e-mails te classificeren als spam of niet.
Het model leert van gelabelde data en probeert vervolgens nieuwe data
probeert te voorspellen.
,Unsupervised Je wilt klanten groeperen op basis van hun koopgedrag
om gepersonaliseerde aanbiedingen te kunnen sturen, maar je hebt geen
vooraf gedefinieerde labels. Je hebt een dataset van klanten met
informatie over hun aankoopgeschiedenis (zoals frequentie, soort
producten, uitgaven), maar geen label zegt hoe klanten gegroepeerd
moeten worden. Het model analyseert de gegevens en groepeert klanten
op basis van overeenkomende patronen. Bijvoorbeeld, het ontdekt
groepen zoals "klanten die vaak dure elektronica kopen" en "klanten die
regelmatig goedkope huishoudelijke producten kopen." Het model ontdekt
een structuur in ongestructureerde, ongekende data.
Bij supervised learning kan er sprake zijn van verschillende soorten
problemen:
Regressieprobleem
- De uitvoer is continu
Classificatieprobleem
- Binaire classificatie: twee klassen
- Classificatie in meerdere klassen
- De output is een binaire of categorische waarde (gebaseerd op
een waarschijnlijkheid)
Voorbeelden:
Supervised
- Voorspellen van creditcardfraude (= classificatie)
- Spam uitfilteren (= classificatie)
- Handgeschreven afbeeldingen omzetten in tekst (= classificatie)
- Voorspellen van huizen-/vastgoed- en aandelenmarktprijzen (=
regressie)
Unsupervised
- Groepen klanten identificeren met een bepaald gedrag (= clusteren)
- Patronen identificeren zoals: als een klant X koopt, is er een neiging
om ook Y te kopen (= associatie)
Een aantal termen:
Input: kenmerk, eigenschap, variabele, covariaat
Output: afhankelijke variabele, responsvariabele, label
Feature selection: variabelenselectie
Feature engineering: variabele transformatie, dummy codering
Method: algoritme, benadering of techniek die wordt gebruikt om
een model op gegevens (de schatter)
Model: het getrainde resultaat van het toepassen van een methode
op een dataset (de schatter)
Training: een model leren voorspellingen te doen of beslissingen te
beslissingen te nemen door het gegevens te geven
Learning: het resultaat van het trainingsproces
Het trainen van een model:
Er zijn veel modellen
, Hoe complexer je model, hoe beter?
Hoe weten we hoe goed uw model is?
Hoe presteert je model op nieuwe gegevens?
Validatie van je model met ongeziene testgegevens
(Train Test Use)
De makkelijkste methode is de Lineare Regressie met 2 parameters [Fev =
β0+β1age]. Maar er is ook een lineare regressie met 3 parameters [Fev =
β0+β1age+β2age2].
Het aantal parameters in een model weerspiegelt de complexiteit en
flexibiliteit. Met meer parameters kan het model fijnere details en nuances
in de gegevens vastleggen.
Hoe complexer het model, hoe beter?
- Niet-lineaire termen (bijv. polynomen van hogere orde)
- Meer lagen in je netwerk
Hoe meer functies in je model, hoe beter?
NEE!
Pas op voor OVERFITTING!
Zorg ervoor dat je een goede balans zoekt tussen bias en variance (Loess
model)
Overfitting & underfitting
Overfitting = een te complex model (groot aantal parameters) om
willekeurige fluctuaties in de trainingsgegevens op te vangen gegevens
slechte prestaties op ongeziene gegevens
Underfitting = een te eenvoudig model om de onderliggende patronen in
de gegevens vast te leggen slechte prestaties op zowel de training en
ongeziene gegevens
Hoe complexer het model, hoe lager de bias (betere aanpassing aan de
trainingsgegevens) maar hoger de variantie (d.w.z. gevoeligheid voor
variaties in de trainingsgegevens)
Een eenvoudiger model heeft een hogere bias maar een lagere variantie
!! Bias en variance in evenwicht brengen
Voordelen van het kopen van samenvattingen bij Stuvia op een rij:
Verzekerd van kwaliteit door reviews
Stuvia-klanten hebben meer dan 700.000 samenvattingen beoordeeld. Zo weet je zeker dat je de beste documenten koopt!
Snel en makkelijk kopen
Je betaalt supersnel en eenmalig met iDeal, creditcard of Stuvia-tegoed voor de samenvatting. Zonder lidmaatschap.
Focus op de essentie
Samenvattingen worden geschreven voor en door anderen. Daarom zijn de samenvattingen altijd betrouwbaar en actueel. Zo kom je snel tot de kern!
Veelgestelde vragen
Wat krijg ik als ik dit document koop?
Je krijgt een PDF, die direct beschikbaar is na je aankoop. Het gekochte document is altijd, overal en oneindig toegankelijk via je profiel.
Tevredenheidsgarantie: hoe werkt dat?
Onze tevredenheidsgarantie zorgt ervoor dat je altijd een studiedocument vindt dat goed bij je past. Je vult een formulier in en onze klantenservice regelt de rest.
Van wie koop ik deze samenvatting?
Stuvia is een marktplaats, je koop dit document dus niet van ons, maar van verkoper MHofm. Stuvia faciliteert de betaling aan de verkoper.
Zit ik meteen vast aan een abonnement?
Nee, je koopt alleen deze samenvatting voor €4,74. Je zit daarna nergens aan vast.
