Generalisierung im Machine Learning: Bias-Variance-Tradeoff und Overfitting

KI-Tagesseminar · 1 Tag

Warum Modelle auf neuen Daten scheitern und wie Sie das diagnostizieren und beheben

Das nehmen Sie mit

• Trainings- und Testfehler sicher auseinanderhalten und Unter- wie Überanpassung früh erkennen.
• L1/L2, Dropout, Early Stopping und Kreuzvalidierung passend zum Problem einsetzen.
• Double Descent und das Generalisierungsverhalten tiefer Netze in die klassische Theorie einordnen.
• Eine Diagnose-Checkliste, mit der sich Modelle vor Überanpassung bewahren lassen.

Ablauf

1. Teil 1

   Modul 1 – Ausgangslage: Lernen aus Daten und der Begriff der Generalisierung

   • Hypothesenraum und Modellkomplexität: wie viel Flexibilität ein Modell mitbringt
   • Trainingsfehler und Testfehler getrennt betrachten und ihre Lücke deuten
   • Generalisierung als Leistung auf Daten, die das Modell nie gesehen hat
   • Demonstration live: Ein Modell memoriert seine Trainingsbeispiele und versagt bei neuen
   • Ihre Projekte: an welchen Stellen Modelle bisher nicht gehalten haben, was sie versprachen
2. Teil 2

   Modul 2 – Bias-Variance-Tradeoff: Den Vorhersagefehler zerlegen

   • Den erwarteten Fehler in Bias, Varianz und Rauschanteil aufspalten
   • Unteranpassung und Überanpassung an Lernkurven und Fehlerverläufen erkennen
   • Übung: Bias und Varianz an Modellen unterschiedlicher Komplexität sichtbar machen
   • Die passende Komplexität finden, auch wenn ein anderes Modell auf dem Trainingsset genauer ist
3. Teil 3

   Modul 3 – Regularisierung: Überanpassung gezielt bremsen

   • L1/L2-Regularisierung, Dropout und Early Stopping in Wirkung und Einsatzfeld verglichen
   • Kreuzvalidierung korrekt aufsetzen, damit keine Testinformation ins Training gelangt
   • Mehr Daten oder ein kleineres Modell: das Verhältnis von Datenmenge zu Modellgröße
   • Übung: Ein überangepasstes Modell schrittweise regularisieren und den Testfehler verfolgen
   • Robustheit auf neuen Daten statt Bestwerten auf dem Trainingsset als Ziel
4. Teil 4

   Modul 4 – Neuere Sicht: Generalisierung großer und tiefer Netze

   • Double Descent: wenn der Testfehler bei wachsender Modellgröße erneut fällt
   • Erklärungsansätze, weshalb tiefe Netze trotz enormer Parameterzahl generalisieren
   • Übung: Die Generalisierung eines Modells anhand seiner Fehlerkurven diagnostizieren
   • Aktuelle Forschung einordnen: wo klassische Faustregeln weiter gelten und wo Ausnahmen auftreten
5. Teil 5

   Modul 5 – Anwendung: Diagnose, Modellwahl und nächste Schritte

   • Fallstudie: Ein überangepasstes Modell analysieren und wieder generalisierungsfähig machen
   • Diagnose-Checkliste für Über- und Unteranpassung in laufenden Projekten
   • Was Sie in Ihrer Modellentwicklung künftig anders angehen
   • Modellwahl auf das Verständnis von Komplexität und Generalisierung stützen
   • Fahrplan zu robusteren Modellen im eigenen Team