Samenvatting Data science
Hoofdstuk 1: Introductie
- data science is een verzameling technieken die worden gebruikt om waarde
uit data te halen.
- Data science-technieken zijn afhankelijk van het vinden van bruikbare
patronen, verbanden en relaties binnen data.
- Data science wordt ook vaak kennisontdekking, machine learning,
voorspellende analyse en datamining genoemd.
Het proces van datawetenschap is echter niet veranderd sinds die vroege dagen en
zal in de nabije toekomst waarschijnlijk niet veel veranderen. om zinvolle resultaten
te krijgen van welke gegevens dan ook, is nog steeds een grote inspanning vereist
om de gegevens voor te bereiden, op te schonen, te scrubben of te standaardiseren,
voordat de leeralgoritmen ze kunnen beginnen te verwerken.
Als het gaat om de data science-technieken, zijn er dan een aantal kernprocedures
en principes die men moet beheersen?
- Het blijkt dat een grote meerderheid van de datawetenschappers tegenwoordig een
handvol zeer krachtige technieken gebruiken om hun doelen te bereiken: Decision
trees, regression models, deep learning en clustering.
Zoals bij alle 20/80-regels, is de lange staart, die uit een groot aantal
gespecialiseerde technieken bestaat, waar de waarde ligt, en afhankelijk van wat
nodig is, kan de beste benadering een relatief obscure techniek of combinatie zijn
van verschillende niet zo vaak gebruikte procedures.
Paragraaf 1.1: Ai, machine learning, and data sience
Bij Artificial intelligence gaat het erom dat machines menselijk gedrag kunnen
nabootsen, met name cognitieve functie (facial recognition).
Machine learning kan worden beschouwd als een subveld of als een van de
hulpmiddelen van kunstmatige intelligentie, en biedt machines het vermogen om te
leren van ervaring. De ervarring van deze machines komt voort uit data, deze data
wordt ook wel training data genoemd.
Data science is de zakelijke toepassing van machine learning, artificial intelligence
en andere kwantitatieve velden zoals statistiek, visualisatie en wiskunde.
,Paragraaf 1.2: What is Data sience?
Data kan variëren van enkele numierke waarnemingen tot miljoenen waarnemingen
met duizenden variabel. Data science maakt gebruik van bepaalde gespecialiseerde
rekenmethoden om zinvolle en bruikbare structuren binnen een dataset te
ontdekken.
we kunnen datawetenschap verder definiëren door enkele van de belangrijkste
kenmerken en motivaties ervan te onderzoeken. (Zie volgende paragraven die
betrekking hebben op paragraaf 1.2).
paragraaf 1.2.1: Extracting Meaningful Patterns
Data science omvat inferentie en iteratie van veel verschillende hypothesen. een
van de belangrijkste aspecten van data science is het proces van generalisatie van
patronen uit een dataset. De generalisatie moet geldig zijn, niet voor de dataset die
wordt gebruikt om het patroon te observeren, maar ook voor nieuwe ongeziene
gegevens.
De term novel geeft aan dat data science meestal betrokken is bij het vinden van
voorheen onbekende patronen in data.
Paragraaf 1.2.2 Building representatieve models
In statistieken is een model de weergave tussen variabelen in een dataset. het
beschrijft hoe een of meer variabelen in de gegevens verband houden met andere
variabelen. modeling is een proces waarbij een representatieve abstracion wordt
opgebouwd uit de geobserveerde dataset
Data science is het proces van het bouwen van een representatief model dat past bij
de observatiedata.
Paragraaf 1.2.3 Combination of statics, machine learning, and computing.
,Bij het streven naar het extraheren van nuttige en relevante informatie uit grote
datasets, leent data scinece computationele technieken uit de disciplines statistiek,
machine learning, experimenten en databasetheorieën.
Voorkennis genereren over de data en de bedrijfsprocessen wordt ook wel Subject
matter expertise genoemd.
Paragraaf 1.2.4 Learning algorithms
We kunnen data science ook definiëren als een proces van het ontdekken van
voorheen onbekende patronen in data met behulp van automatic iterative
methodes.
Sommige algoritmen zijn gebaseerd op de fundamenten van bayesiaanse
probabilistische theorieën en regressieanalyse. Deze iteratieve algoritmen
automatiseren het zoekproces naar een optimale oplossing voor een gegeven
dataprobleem.
Paragraaf 1.2.5 associated fields
Er zijn een paar gerelateerde velden waarop data science sterk vertrouwt. Dit zijn de
technieken die worden gebruikt in de stappen van een data science-proces en in
samenhang met de term 'data science'.
- Descriptive statistics: Gemiddelde, standaarddeviatie etc. helpt om de
structuur van de data set te begrijpen.
- Exploratory visualization: Door gegevens in visuele coördinaten uit te
drukken, kunnen gebruikers patronen en relaties in de gegevens vinden en
grote gegevenssets begrijpen.
- Dimensional slicing Online analytische verwerking (OLAP) -toepassingen,
die veel voorkomen in organisaties, bieden voornamelijk informatie over de
gegevens door middel van dimensionale segmentering, filtering en pivotering.
- Hypothesis testing: Hierbij worden genoeg experimentele gegevens
verzameld om te evalueren of een hypothese voldoende bewijs heeft om te
worden ondersteund.
- Data engineering: is het proces van het zoeken, organiseren, samenstellen,
opslaan en distribueren van gegevens voor effectieve analyse en gebruik.
- Business intelligence: helpt organisaties om gegevens effectief te
consumeren.
Paragraaf 1.3: Case for data science
Data science; is zo'n paradigma dat grote volumes met meerdere attributen aankan
en complexe algoritmen inzet om naar patronen in data te zoeken.
Paragaaf 1.3.1 volume:
De enorme hoeveelheid gegevens die door organisaties wordt vastgelegd, neemt
exponentieel toe. de snelle daling van de opslagkosten en de vooruitgang bij het
vastleggen van elke transactie en gebeurtenis, gecombineerd met de zakelijke
behoefte om zoveel mogelijk gebruik te maken van gegevens, creëert een sterke
motivatie om meer gegevens dan ooit op te slaan
, Paragraaf 1.3.2 Dimensions:
De drie kenmerken van het fenomeen big data zijn hoog volume, hoge snelheid en
grote variëteit. De verscheidenheid aan gegevens heeft betrekking op de vele
soorten waarden, gegevensformaten en de toepassing van de gegevens.
Paragraaf 1.4 Data science classification
Data science-problemen kunnen grofweg worden onderverdeeld in gesuperviseerde
of niet-gesuperviseerde leermodellen. gesuperviseerde of gestuurde data science
probeert een functie of relatie af te leiden op basis van gelabelde trainingsdata en
gebruikt deze functie om nieuwe niet-gelabelde data in kaart te brengen.
Data problemen kunnen ook geclassificeerd worden in de volgende taken:
Classification and regression technieken voorspellen een doelvariabele op basis
van invoervariabelen. de voorspelling is gebaseerd op een gegeneraliseerd model
dat is opgebouwd uit een eerder bekende dataset.
Deep learning: is een meer geavanceerd kunstmatig neuraal netwerk dat in
toenemende mate wordt gebruikt voor classificatie- en regressieproblemen.
Clustering: is het proces waarbij de natuurlijke groeperingen in een dataset worden
geïdentificeerd.
Association analysis: identificeert samengestelde bundels van data.
Recommendation engines: zijn de systemen die items aanbevelen aan gebruikers
gebaseerd op individuelen voorkeuren.
Anomaly: of uitbijterdetectie identificeert de datapunten die significant verschillen
van andere datapunten in een dataset.
