Uitgebreide samenvatting voor het tentamen Data Science over de onderwerpen DM en DEP in het Nederlands (belangrijke Engelse begrippen staan er wel in). Na elk onderwerp is er ook nog een overzicht belangrijkste punten voor het tentamen.
Inhoudsopgave
Topic Data Mining...........................................................................................2
Overzicht belangrijkste punten voor het tentamen.......................................................16
Topic DEP..................................................................................................... 23
Overzicht belangrijkste punten voor het tentamen.......................................................29
,Topic Data Mining
De basis van datamining:
Datamining is fundamenteel in Data Science
Wat: patronen, correlaties, afwijkingen, inzichten, trends ontdekken
uit (grote) datasets
Doel: inzicht krijgen in de gegevens voor besluitvorming,
voorspelling en kennisontdekking
Gerelateerd aan:
o Machine learning: het ontwikkelen van algoritmen waarmee
computers kunnen leren van gegevens en voorspellingen of
beslissingen kunnen maken
o Statistisch leren: een kader bieden voor het begrijpen en
analyseren van gegevens door relaties te modelleren en
voorspellingen te doen op basis van statistische principes en
technieken
o Kunstmatige intelligentie: intelligente systemen creëren die
autonoom taken kunnen uitvoeren
Het heeft/geeft veel gegevens
Ontdek patronen en modellen die:
o Geldig: met enige zekerheid gelden voor nieuwe gegevens
o Nuttig: het moet mogelijk zijn om er iets mee te doen
o Onverwacht: niet voor de hand liggend voor het systeem
o Begrijpelijk: mensen moeten het patroon kunnen interpreteren
Let op: als je er afval ingooit krijg je er ook afval uit (slechte data in,
slechte data uit)
Er zijn 2 types of Data Mining methodes: Supervised en unsupervised
learning
Bij supervised learning wordt een model getraind voor het
voorspellen of te schatten (een output gebaseerd op een of meer
inputs)
- Trainingsgegevens bevatten de gewenste output / labels
Bij unsupervised learning is het doel om te leren over relaties en
structuur van de gegevens.
- Trainingsgegevens bevatten geen gewenste output/ ongelabeld
(hier zijn er dus nog geen labels)
Voorbeelden:
Supervised Je wilt een e-mailsysteem bouwen dat automatisch kan
bepalen of een e-mail spam is of niet. Je hebt een dataset met duizenden
e-mails die gelabeld zijn als "spam" of "geen spam". Het model leert de
kenmerken van spam e-mails (bijv. bepaalde woorden of patronen) en
gebruikt die informatie om nieuwe e-mails te classificeren als spam of niet.
Het model leert van gelabelde data en probeert vervolgens nieuwe data
probeert te voorspellen.
,Unsupervised Je wilt klanten groeperen op basis van hun koopgedrag
om gepersonaliseerde aanbiedingen te kunnen sturen, maar je hebt geen
vooraf gedefinieerde labels. Je hebt een dataset van klanten met
informatie over hun aankoopgeschiedenis (zoals frequentie, soort
producten, uitgaven), maar geen label zegt hoe klanten gegroepeerd
moeten worden. Het model analyseert de gegevens en groepeert klanten
op basis van overeenkomende patronen. Bijvoorbeeld, het ontdekt
groepen zoals "klanten die vaak dure elektronica kopen" en "klanten die
regelmatig goedkope huishoudelijke producten kopen." Het model ontdekt
een structuur in ongestructureerde, ongekende data.
Bij supervised learning kan er sprake zijn van verschillende soorten
problemen:
Regressieprobleem
- De uitvoer is continu
Classificatieprobleem
- Binaire classificatie: twee klassen
- Classificatie in meerdere klassen
- De output is een binaire of categorische waarde (gebaseerd op
een waarschijnlijkheid)
Voorbeelden:
Supervised
- Voorspellen van creditcardfraude (= classificatie)
- Spam uitfilteren (= classificatie)
- Handgeschreven afbeeldingen omzetten in tekst (= classificatie)
- Voorspellen van huizen-/vastgoed- en aandelenmarktprijzen (=
regressie)
Unsupervised
- Groepen klanten identificeren met een bepaald gedrag (= clusteren)
- Patronen identificeren zoals: als een klant X koopt, is er een neiging
om ook Y te kopen (= associatie)
Een aantal termen:
Input: kenmerk, eigenschap, variabele, covariaat
Output: afhankelijke variabele, responsvariabele, label
Feature selection: variabelenselectie
Feature engineering: variabele transformatie, dummy codering
Method: algoritme, benadering of techniek die wordt gebruikt om
een model op gegevens (de schatter)
Model: het getrainde resultaat van het toepassen van een methode
op een dataset (de schatter)
Training: een model leren voorspellingen te doen of beslissingen te
beslissingen te nemen door het gegevens te geven
Learning: het resultaat van het trainingsproces
Het trainen van een model:
Er zijn veel modellen
, Hoe complexer je model, hoe beter?
Hoe weten we hoe goed uw model is?
Hoe presteert je model op nieuwe gegevens?
Validatie van je model met ongeziene testgegevens
(Train Test Use)
De makkelijkste methode is de Lineare Regressie met 2 parameters [Fev =
β0+β1age]. Maar er is ook een lineare regressie met 3 parameters [Fev =
β0+β1age+β2age2].
Het aantal parameters in een model weerspiegelt de complexiteit en
flexibiliteit. Met meer parameters kan het model fijnere details en nuances
in de gegevens vastleggen.
Hoe complexer het model, hoe beter?
- Niet-lineaire termen (bijv. polynomen van hogere orde)
- Meer lagen in je netwerk
Hoe meer functies in je model, hoe beter?
NEE!
Pas op voor OVERFITTING!
Zorg ervoor dat je een goede balans zoekt tussen bias en variance (Loess
model)
Overfitting & underfitting
Overfitting = een te complex model (groot aantal parameters) om
willekeurige fluctuaties in de trainingsgegevens op te vangen gegevens
slechte prestaties op ongeziene gegevens
Underfitting = een te eenvoudig model om de onderliggende patronen in
de gegevens vast te leggen slechte prestaties op zowel de training en
ongeziene gegevens
Hoe complexer het model, hoe lager de bias (betere aanpassing aan de
trainingsgegevens) maar hoger de variantie (d.w.z. gevoeligheid voor
variaties in de trainingsgegevens)
Een eenvoudiger model heeft een hogere bias maar een lagere variantie
!! Bias en variance in evenwicht brengen
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller MHofm. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $5.07. You're not tied to anything after your purchase.
