Maschinelles Lernen
Einführung
- Was ist Lernen?
- Bessere Leistungen erzielen, wenn in der Zukunft eine gleiche oder ähnliche
Aufgabe ausgeführt wird.
- Typische Lernaufgaben:
- Klassifikation (Überwachtes Lernen)
- Clustering (Unüberwachtes Lernen)
- Verstärkendes Lernen
- Basis des Lernens:
- Erfahrung E (aus Trainingsdaten)
- Lernaufgabe T (Lernziel)
- Qualitätsmaß P
- Modell (Abstraktion der Daten)
- Basis des Lernens ist Erfahrung E (in Form von Trainingsdaten)
- Instanz = ein Element eines Datensatzes
- Lernaufgabe T definiert das Lernziel
- Hypothese = Modell das auf Gültigkeit überprüft werden muss
Induktives Lernen
- Eine Hypothese die mit Hilfe von Trainingsdaten sich der Zielfunktion annähert,
kann sich dieser auch durch unbeobachtet/unbekannte Beispiele annähern
- Daten bestehen aus (vielen) beschreibenden Attributen (Features: nominal, ordinal,
metrisch)
- Lernziel (Zielattribut) besteht aus einer Menge an zulässigen Werten
- Induktives Lernen = Verallgemeinern aus Beispielen, Vorhersage für unbekannte
Beispiele aus Trainingsdaten
- Beispiel "Enjoy Sport" Trainingsdaten
- gegebene Werte:
, - Instanzen X: Tage durch Attribute Sky, Temp, …, Forecast beschrieben
- Zielfunktion c: EnjoySport: X → {0,1} (ja,nein)
- Hypothesen H: Regeln nach vorgegebenen Format
- Trainingsbeispiele D: positive und negative Beispiele der Zielfunktion:
{x1 , c(x1)}, …, {xn , c(xn)}
- gesucht:
- Hypothese h in H, so dass h x = c(x) ∀ x ∈D, d.h. alle Trainingsbeispiele
werden korrekt vorhergesagt
Find-S Algorithmus
- Start mit spezifischster Hypothese:
- WENN ∅ DANN ES=yes SONST ES=no
- Verallgemeinern durch positive Trainingsbeispiele
- Eigenschaften
- Find-S findet garantiert die spezifischste Hypothese ℎ ∈ 𝐻, die mit allen
positiven Trainingsbeispielen konsistent ist
- h ist auch mit allen negativen Trainingsbeispielen konsistent
- Probleme
- Unklar, ob Find-S das Zielkonzept wirklich gelernt hat (Es könnte noch andere
passende Hypothesen geben)
, - Kann nicht erkennen, ob die Trainingsdaten inkonsistent sind (Da
negative Trainingsbeispiele nicht beachtet werden)
- Bias: Annahme dass Hypothesenraum H das Zielkonzept c enthält
Hypothesenraum
- mit Verzerrung:
- keine disjunktiven Zielkonzepte enthalten (x OR y)
- keine Konsistente Hypothese für alle Beispiele
- Konjunktionen nicht aussagekräftig genug
- z.B.: <x,z> + ; <y,z> –
- ohne Verzerrung:
- wähle einen Hypothesenraum H der alle vermittelbaren Konzepte enthält (H
= Potenzmenge aller Instanzen) → Problem: wir können nicht mehr
verallgemeinern, da alle Zielkonzepte enthalten sind
- man müsste auf jedes positive Beispiel trainieren, um das Zielkonzept zu
erlernen
Induktive Verzerrung
- gegeben:
- L – Lernalgorithmus, X – Instanzen, c – Zielkonzept
- Dc = { <x, c(x)> } – Trainingsbeispiele
- L(xi, Dc) – Klassifikation der Instanz xi durch L nach Training auf den Daten Dc
- Definition:
- Die induktive Verzerrung von L ist jede minimale Menge von Behauptungen
B, so dass für jedes Zielkonzept c und dazugehörenden Trainingsbeispiele Dc
gilt: ∀ xi ∈ X: (B∧ Dc ∧ xi ) ⊢ L(xi ,Dc) wobei A ⊢ B Bedeutet, dass aus A B
Logisch folgt.
- Unter einer induktiven Verzerrung versteht man die
Annahmen/Behauptungen, die ein Lernalgorithmus machen muss, um aus
Trainingsbeispielen verallgemeinern zu können.
→ induktive Verzerrung beschreibt die minimalen Menge an
Behauptungen, die ein Algorithmus benötigt um mit den Trainingsdaten
eine Instanz zu klassifizieren
Lerner mit unterschiedlicher Verzerrung
- Lerner der auswendig lernt:
- Speichert Beispiele und klassifiziert x wenn es einem der Beispiele entspricht
- KEINE induktive Verzerrung → da er nicht verallgemeinern kann
- Find-S-Algorithmus
- Verzerrung: Zielkonzept muss in Hypothesenraum liegen
- alle Instanzen sind negativ (0) bis das Gegenteil gelernt wurde (1)
, KLASSIFIKATION / ÜBERWACHTES LERNEN
- Vordefinierte Menge an Klassen = Zielattribute (zu erkennende Klassen)
- Zielattribute bei Klassifikation diskret
- Kontinuierliches Zielattribut (Regression)
- Datensatz = Trainingsdaten
- enthalten beschreibende Attribute für jede Instanz (Klasse) in Form eines
Eigenschafts Vektors
- Lernaufgabe: Lerne aus den beschreibenden Attributen das Zielattribut, um
dieses nur mit den beschreibenden Attributen vorhersagen zu können
- Attribute
- nominal (Nur auf Gleichheit prüfbar)
- ordinal (Natürliche Ordnung)
- metrisch (Aussagekräftige numerische Differenz zwischen Werten)
.
- Phasen
- Lernphase:
- Lernen der Abbildung: Vorhersage der Zielattribute mit Hilfe der
beschreibenden Attribute der Trainingsdaten
- Vorhersagephase:
- Vorhersage einer Klasse für neue Instanzen mit unbekanntem
Zielattribut auf Basis der Eingabe der beschreibenden Attribute
