KI-Technik & Entwicklung

Transformer nachgerechnet: Tokens, Self-Attention und Sampling in LLMs

ChatGPT und andere LLMs wirken oft rätselhaft, obwohl jeder Rechenschritt dahinter nachvollziehbar ist. Der Tag führt Entwicklerinnen und technisch Interessierte vom Zerlegen eines Satzes in Tokens über Embeddings und Self-Attention bis zum vollständigen Transformer-Block und zur Wahl des nächsten Tokens. Attention wird von Hand berechnet, ein Block skizziert, eine Modellentscheidung in einer Fallstudie zurückverfolgt. So können Sie Fähigkeiten und Grenzen von Sprachmodellen begründen und sie bewusster einsetzen.

Für wen

Entwicklerinnen und Entwickler sowie technisch Interessierte, die den Aufbau heutiger großer Sprachmodelle im Detail nachvollziehen wollen.

KI-Tagesseminar · 1 Tag

Vom Token bis zur generierten Antwort: die Architektur von LLMs Schritt für Schritt

Das nehmen Sie mit

  • Self-Attention mit Query, Key und Value haben Sie an einem kleinen Beispiel von Hand berechnet.
  • Encoder-, Decoder- und reine Decoder-Modelle können Sie unterscheiden und einem Einsatzzweck zuordnen.
  • Wie Temperatur, Top-k und Top-p die Ausgabe verändern, erklären Sie aus der Wahrscheinlichkeitsverteilung heraus.
  • Ihr LLM-Verständnis übersetzen Sie in einen besseren Umgang mit ChatGPT und vergleichbaren Systemen.

Ablauf

  1. Teil 1

    Modul 1 – Eingabe: Wie aus Text Vektoren werden

    • Standortbestimmung: Was an LLMs für Sie bislang nach Zauberei aussieht
    • Tokenisierung: Text in Teilwörter zerlegen und in Zahlen übersetzen
    • Vorführung: Ein Beispielsatz wird sichtbar in seine Tokens aufgespalten
    • Embeddings: Bedeutungsnähe als Abstand im semantischen Raum
    • Positionskodierung: woher das Modell die Reihenfolge der Tokens kennt
  2. Teil 2

    Modul 2 – Attention: Wie Tokens einander gewichten

    • Self-Attention als Abfolge einzelner Rechenschritte
    • Query, Key und Value an einem kurzen Satz veranschaulicht
    • Übung: Sie berechnen die Attention-Gewichte eines Mini-Beispiels von Hand
    • Weshalb Attention die Sprachverarbeitung grundlegend verändert hat
  3. Teil 3

    Modul 3 – Architektur: Der Transformer-Block und seine Varianten

    • Multi-Head Attention und Feed-Forward-Schicht im Zusammenspiel
    • Residualverbindungen (Residuals) und Normalisierung für stabiles Rechnen über viele Schichten
    • Encoder, Decoder und reine Decoder-Modelle: Aufbau und typische Verwendung
    • Übung: Sie zeichnen einen Transformer-Block mit allen Teilschritten auf
    • Gleichartige Blöcke übereinanderstapeln: so entsteht die Tiefe eines Modells
  4. Teil 4

    Modul 4 – Generierung: Vom gestapelten Block zur Antwort eines LLM

    • Vorhersage des nächsten Tokens als Grundprinzip jeder Textausgabe
    • Was sich ändert, wenn Modelle und Datenmengen skaliert werden
    • Sampling-Parameter Temperatur, Top-k und Top-p und ihr Einfluss auf die Ausgabe
    • Fähigkeiten und Grenzen eines LLM aus seiner Funktionsweise heraus einordnen
  5. Teil 5

    Modul 5 – Einordnung: Architekturwissen für die Nutzung von Sprachmodellen

    • Ein Mini-Transformer im Überblick: was er mit wenigen Schichten bereits kann
    • Fallstudie: Eine konkrete Modellentscheidung wird Schritt für Schritt zurückverfolgt
    • Wie das Verständnis der Architektur zu gezielterem Einsatz von Sprachmodellen führt
    • Bilanz: Was Sie über ChatGPT und vergleichbare Systeme nun begründet sagen können
    • Fahrplan zur Vertiefung Ihres LLM-Verständnisses

VoraussetzungenHilfreich sind Grundkenntnisse in Mathematik oder Statistik. Programmieren müssen Sie nicht zwingend können.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen