Generative Modelle verstehen: GPT, Diffusion, GANs und VAEs im Vergleich

KI-Tagesseminar · 1 Tag

Wie Modelle Verteilungen lernen und daraus Text und Bilder erzeugen

Das nehmen Sie mit

• Den Unterschied zwischen diskriminativen und generativen Modellen erklären und die großen Modellfamilien zuordnen.
• Temperatur, Top-k und Top-p gezielt einstellen, weil klar ist, was sie in der Wahrscheinlichkeitskette bewirken.
• Den Diffusionsprozess vom Rauschen zum Bild Schritt für Schritt nachvollziehen.
• Für ein konkretes Ziel zwischen autoregressiven Modellen, Diffusion, GANs und VAEs begründet wählen und Risiken benennen.

Ablauf

1. Teil 1

   Modul 1 – Grundbegriffe: Was ein generatives Modell vom diskriminativen unterscheidet

   • Diskriminative Modelle ziehen Grenzen zwischen Klassen, generative bilden die Daten selbst nach
   • Eine Wahrscheinlichkeitsverteilung aus Beispielen schätzen und neue Stichproben daraus ziehen
   • Landkarte der Modellfamilien: autoregressive Modelle, Diffusion, GANs, VAEs
   • Vorführung: Ein gemeinsames Generierungsprinzip erzeugt einmal Text und einmal ein Bild
   • Ihr Ausgangspunkt: welchen Modelltyp Sie für Projekt oder Weiterbildung durchdringen möchten
2. Teil 2

   Modul 2 – Autoregressive Modelle: Text als Kette bedingter Wahrscheinlichkeiten

   • Wie GPT einen Satz Token für Token aus der Wahrscheinlichkeit des jeweils nächsten Tokens aufbaut
   • Sampling-Verfahren im Detail: Temperatur, Top-k und Top-p (Nucleus Sampling)
   • Was die schrittweise Erzeugung gut leistet und an welchen Stellen sie an Grenzen stößt
   • Übung: Temperatur, Top-k und Top-p verstellen und beobachten, wie vorhersehbar oder variabel der Text wird
3. Teil 3

   Modul 3 – Diffusionsmodelle: Bilder aus schrittweise entferntem Rauschen

   • Vorwärtsprozess: einem Trainingsbild in vielen kleinen Schritten Rauschen beimischen
   • Rückwärtsprozess: ein Netz lernt, dieses Rauschen wieder herauszurechnen
   • Vom reinen Zufallsrauschen zum fertigen Motiv: der Generierungsablauf im Überblick
   • Übung: Die Zwischenstufen eines Diffusionslaufs nachverfolgen und deuten
   • Gründe für die hohe Bildqualität, die Diffusionsmodelle erreichen
4. Teil 4

   Modul 4 – Weitere Familien: GANs, VAEs und multimodale Ansätze

   • GANs mit Generator und Diskriminator und VAEs mit latentem Raum nebeneinandergestellt
   • Multimodale Generierung: Modelle, die Text, Bild und weitere Modalitäten verbinden
   • Stärken und Schwächen jeder Modellfamilie in einer Vergleichsübersicht
   • Übung: Für vorgegebene Anwendungsfälle die passende Modellfamilie auswählen und begründen
   • Kriterien, an denen sich das geeignete Verfahren für eine Generierungsaufgabe festmachen lässt
5. Teil 5

   Modul 5 – Einordnung: Modellwahl, Risiken und eigener Lernpfad

   • Fallstudie: Für ein konkretes Generierungsziel ein Modell auswählen und die Entscheidung herleiten
   • Grenzen und Risiken generativer Modelle, etwa erfundene Inhalte und verzerrte Ausgaben
   • Das Modellverständnis in bessere Anweisungen, Parameterwahl und Werkzeugauswahl übersetzen
   • Neue Modellgenerationen einordnen und aktuelle Entwicklungen verfolgen
   • Persönlicher Lernpfad: welche Modellfamilie Sie als Nächstes vertiefen