The summery contains all the lectures of the course Foundations of Databases of the minor Data Science in Business. The elaborated slides and the summary slides, as well as some coding examples are included.
Lecture 1
Data engineering
- Data engineers are the designers, builders, and managers of the information or ‘big data’
infrastructure
o They develop the architecture that helps analyze and process data in the way the
organization needs it
o And they make sure those systems are performing smoothly
Hierarchy of needs
Stages in a Big Data pipeline
,General pipeline components
Data engineering and processing:
- Underlies (necessary for) Data Science and data-driven decision making
- Has other positive effects on data processing
Data mesh
Main purpose of a database: storing data and processing it into information
Terminology
- Data: given facts, denoted e.g. by sequences of characters or numbers
- Information: the interpretation of data within a certain context
- Database: a collection of permanently and digitally stored data
, Relational database
- Relationships
- Rows and columns
o Row, records, or tuples
o Columns, or attributes
- General language: SQL
Database Management System
- Providing one logical structure for everyone
- Applications access data at the same time
Different models for organizing data
- A database model is a collection of rules with which it is possible to describe the structure,
the consistency rules, and the behavior of a database
- The database model describes how data are to be structured in a database system and, thus,
in a database management system
NoSQL databases: common classifications
- Column store or column-oriented database
o Data is structured in columns
o Name, value, timestamp
- Document store or document-oriented database
o Data is structured in documents
o Typically in some standard format or encoding
- Key-value store/database
o Data is structured into associative array
o Like a dictionary or hash table
o A collection of objects, which in turn have many different fields within them, each
containing data
- Graph database
o Data is structured in nodes, edges and properties describing the nodes
Structured vs. unstructured data
- Unstructured data
o Text files
- Structured files
o XML, database
Voordelen van het kopen van samenvattingen bij Stuvia op een rij:
Verzekerd van kwaliteit door reviews
Stuvia-klanten hebben meer dan 700.000 samenvattingen beoordeeld. Zo weet je zeker dat je de beste documenten koopt!
Snel en makkelijk kopen
Je betaalt supersnel en eenmalig met iDeal, creditcard of Stuvia-tegoed voor de samenvatting. Zonder lidmaatschap.
Focus op de essentie
Samenvattingen worden geschreven voor en door anderen. Daarom zijn de samenvattingen altijd betrouwbaar en actueel. Zo kom je snel tot de kern!
Veelgestelde vragen
Wat krijg ik als ik dit document koop?
Je krijgt een PDF, die direct beschikbaar is na je aankoop. Het gekochte document is altijd, overal en oneindig toegankelijk via je profiel.
Tevredenheidsgarantie: hoe werkt dat?
Onze tevredenheidsgarantie zorgt ervoor dat je altijd een studiedocument vindt dat goed bij je past. Je vult een formulier in en onze klantenservice regelt de rest.
Van wie koop ik deze samenvatting?
Stuvia is een marktplaats, je koop dit document dus niet van ons, maar van verkoper njjfikkers. Stuvia faciliteert de betaling aan de verkoper.
Zit ik meteen vast aan een abonnement?
Nee, je koopt alleen deze samenvatting voor €5,92. Je zit daarna nergens aan vast.
