KI-Technik & Entwicklung

Große Sprachmodelle von innen: Transformer, Training und Prompting

ChatGPT und vergleichbare Systeme beruhen auf einer Architektur, die sich mit etwas Mathematik gut nachvollziehen lässt. Der Tag führt von Word Embeddings über den Transformer und das Training großer Modelle bis zur Frage, was zwischen Prompt und Antwort tatsächlich berechnet wird. Den Abschluss bildet ein Praxisteil, in dem Sie Prompting-Techniken vergleichen und eigene Prompts testen. Wer teilgenommen hat, kann Stärken, Fehlerquellen und Halluzinationen von LLMs aus ihrer Bauweise heraus erklären.

Für wen

Interessierte aus allen Berufsfeldern, die große Sprachmodelle von Grund auf begreifen möchten, insbesondere technisch orientierte Personen, die die Funktionsweise von LLMs im Detail kennen wollen.

KI-Tagesseminar · 1 Tag

Architektur, Training und Textgenerierung von LLMs nachvollziehen und Prompts gezielt bauen

Das nehmen Sie mit

  • Sie können erklären, wie ein Transformer mit Self-Attention, Multi-Head Attention und positionalen Encodings Zusammenhänge im Text abbildet.
  • Sie kennen die Phasen, Datenanforderungen und Rechenressourcen beim Training großer Sprachmodelle.
  • Sie verstehen Tokenisierung und Decoding-Strategien und können Halluzinationen technisch einordnen.
  • Sie setzen Systemprompts, Zero-Shot, Few-Shot und Chain-of-Thought bewusst ein und haben eigene Prompts erprobt.

Ablauf

  1. Teil 1

    Modul 1 – Vorgeschichte: Von Wortstatistik zu neuronalen Sprachmodellen

    • Begriffe sortieren: KI, ML und neuronale Netze als Ausgangsbasis für den ganzen Tag
    • N-Gramm-Modelle: das nächste Wort aus Häufigkeiten schätzen, und der Schritt zu neuronalen Sprachmodellen
    • Wörter als Vektoren darstellen: One-Hot-Kodierung, Word2Vec und GloVe im Vergleich
    • Wo klassische Modelle scheitern, etwa an kurzem Kontextfenster und fehlender Bedeutungsnähe
  2. Teil 2

    Modul 2 – Architektur: Wie der Transformer Bezüge im Text herstellt

    • Die Kernaussagen des Papiers „Attention is All You Need“ in der Übersicht
    • Self-Attention: wie jedes Token die übrigen Tokens eines Satzes gewichtet und weshalb das so wirksam ist
    • Multi-Head Attention: Aufbau, Zweck mehrerer paralleler Köpfe und Visualisierung ihrer Gewichtungen
    • Positionale Encodings: warum das Modell ohne sie keine Wortreihenfolge kennen würde
  3. Teil 3

    Modul 3 – Training: Was ein großes Sprachmodell lernt und was das erfordert

    • Trainingsdaten: benötigte Menge, Bandbreite der Textquellen und Schritte der Vorverarbeitung
    • Pretraining und Finetuning als zwei Trainingsphasen mit unterschiedlichem Ziel
    • Loss-Funktion, Optimierungsverfahren und Strategien zur Skalierung von Modellen
    • Rechenbedarf und typische Hürden beim LLM-Training
  4. Teil 4

    Modul 4 – Inferenz: Was in ChatGPT zwischen Prompt und Output geschieht

    • Die Verarbeitungskette in ChatGPT, vom eingegebenen Prompt bis zum erzeugten Text
    • Tokenisierung: wie Eingaben in Tokens zerlegt werden
    • Decoding-Strategien Greedy, Beam Search und Sampling und ihre Wirkung auf die Antwort
    • Einsatzfelder: Chatbots, Textproduktion, Code und Datenanalyse
    • Grenzen und Fehlerquellen, darunter Halluzinationen, aus der Funktionsweise heraus begründet
  5. Teil 5

    Modul 5 – Praxis: Prompts gestalten und ihre Wirkung kontrollieren

    • Prompt Engineering als Steuerung des zuvor betrachteten Generierungsprozesses
    • Systemprompts, Zero-Shot, Few-Shot und Chain-of-Thought einander gegenübergestellt
    • Bewährte Regeln: eindeutig formulieren, das Ziel benennen, in mehreren Durchgängen verfeinern
    • Übung: Eigene Prompts entwerfen, an einem Sprachmodell ausprobieren und anhand der Ausgaben nachschärfen

VoraussetzungenSolide mathematische Grundkenntnisse; Begriffe wie Matrixmultiplikation sollten Sie nicht abschrecken.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen