KI-Technik & Entwicklung

Entropie, Kompression, Perplexität: Informationstheorie für ML-Modelle

Kreuzentropie als Loss, Information Gain im Entscheidungsbaum, Perplexität bei Sprachmodellen: Viele Kennzahlen im Machine Learning stammen aus der Informationstheorie. An einem Seminartag erschließen Sie diese Grundlage systematisch, von Entropie und KL-Divergenz über die Idee „Lernen ist Kompression“ bis zur informationstheoretischen Bewertung von LLMs. Rechenübungen und eine Vergleichsfallstudie zeigen, wie die Maße in der Projektarbeit greifen. Modellgüte und Features beurteilen Sie danach auf einer fundierten Basis.

Für wen

Technisch interessierte Fachleute und Data Scientists, die die informationstheoretischen Wurzeln des Machine Learning durchdringen wollen.

KI-Tagesseminar · 1 Tag

Information messen, Lernen als Kompression begreifen, Modelle fundiert vergleichen

Das nehmen Sie mit

  • Entropie, Kreuzentropie und KL-Divergenz berechnen und ihren Bezug zu Loss-Funktionen erläutern.
  • Information Gain und Mutual Information für Entscheidungsbäume und Feature-Auswahl nutzen.
  • Perplexität deuten und Sprachmodelle informationstheoretisch gegeneinander bewerten.
  • Ein klares Bild davon, was informationstheoretische Maße über ein Modell aussagen und was nicht.

Ablauf

  1. Teil 1

    Modul 1 – Grundmaße: Information in Zahlen fassen

    • Entropie als mittlerer Informationsgehalt einer Quelle, gemessen in Bit
    • Kreuzentropie und KL-Divergenz als Abstand zwischen zwei Verteilungen
    • Verbindung zu den Loss-Funktionen beim Training von Klassifikatoren und Sprachmodellen
    • Live-Demo: Den Informationsgehalt einer Nachricht bestimmen
    • Einstieg: wofür Sie Informationstheorie in Ihrer KI-Arbeit brauchen
  2. Teil 2

    Modul 2 – Lernen als Kompression: Vorhersage und Beschreibungslänge

    • Ein Modell fasst die Regelmäßigkeiten eines Datensatzes in knapper Form zusammen
    • Minimum Description Length als Prinzip der Modellauswahl
    • Weshalb wer gut vorhersagt auch gut komprimiert, und umgekehrt
    • Übung: Kompressionsrate und Modellgüte zueinander in Beziehung setzen
  3. Teil 3

    Modul 3 – Werkzeuge im ML-Alltag: Information Gain und Mutual Information

    • Information Gain als Kriterium für die Splits in Entscheidungsbäumen
    • Mutual Information, um aussagekräftige Features für ein Modell auszuwählen
    • Übung: Entropie und Information Gain für einen kleinen Beispieldatensatz berechnen
    • Vom Maß zum Feature Engineering: Merkmale auf ihren Informationsbeitrag prüfen
    • Weitere nützliche Hilfsmittel aus der Informationstheorie im Überblick
  4. Teil 4

    Modul 4 – LLMs informationstheoretisch: Perplexität und Modellwissen

    • Perplexität herleiten und als Maß dafür lesen, wie überrascht ein Modell vom nächsten Token ist
    • Was ein Sprachmodell über Sprache „weiß“, aus informationstheoretischer Perspektive
    • Übung: Sprachmodelle über Kreuzentropie und Perplexität bewerten
    • Modellvergleiche auf ein nachvollziehbares Fundament stellen
  5. Teil 5

    Modul 5 – Einordnung: Grenzen der Maße und Transfer in Projekte

    • Grenzen: was informationstheoretische Kennzahlen über ein Modell nicht erfassen
    • Fallstudie: Zwei Modelle methodisch einwandfrei gegeneinander vergleichen
    • Konzepte des Tages in Ihre eigene Modellbewertung übertragen
    • Kernbegriffe in einer Zusammenschau festhalten
    • Ihr Lernpfad für die weitere Beschäftigung mit Informationstheorie

VoraussetzungenEtwas Übung mit Mathematik und Statistik hilft beim Folgen der Herleitungen. Programmierwissen braucht es dafür nicht.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen