Große Sprachmodelle von innen: Embeddings, Attention und Training

KI-Tagesseminar · 9 Stunden

Wie LLMs Sprache darstellen, verarbeiten, lernen und erzeugen, mit Mathematik und Übungen

Das nehmen Sie mit

• Sie verstehen Embeddings, Self-Attention und den Aufbau eines GPT-Blocks und haben einen Attention Score selbst berechnet.
• Sie wissen, wie ein LLM trainiert wird und wie Sampling, Temperature und Prompt-Muster die Ausgabe beeinflussen.
• Sie kennen Halluzinationen, Bias, Prompt-Injektion und Jailbreaking sowie Verfahren wie Fine-Tuning, RAG und Quantisierung.
• Sie können die Architektur eines Sprachmodells knapp und korrekt erklären und daraus Grenzen für den Einsatz im Unternehmen ableiten.

Ablauf

1. Teil 1

   Modul 1 – Grundlagen: Von n-Grammen zu Wortvektoren

   • Entwicklungslinie der Sprachmodelle über n-Gramme und Word2Vec bis zu GPT
   • Sprache als Frage der Wahrscheinlichkeit, mit der ein Wort auf das vorige folgt
   • Wo LLMs heute eingesetzt werden und was sie in Arbeitswelt und Gesellschaft verändern
   • Beispiel: Eine Ausgabe von GPT-2 rekonstruieren und nachvollziehen
   • One-Hot-Encoding gegen Dense Embedding, Tokenisierung und Bedeutung als Nähe im Vektorraum
   • Rechnerische Basis: Kosinusabstand und Matrixmultiplikation
   • Übung: Einen Vektorraum mit Wortvektoren in 2D und 3D visualisieren
2. Teil 2

   Modul 2 – Architektur: Transformer-Bausteine und Attention

   • Encoder, Decoder und Self-Attention als Grundgerüst
   • Multi-Head-Attention und positionale Kodierung
   • Residuals, Layer Norms und Feedforward-Netze im Zusammenspiel
   • Visualisierung: Ein GPT-Block wird in seine Einzelteile zerlegt
   • Weshalb Attention die Verarbeitung mit RNN abgelöst hat
   • Skalierte Dot-Product Attention, Maskierung und Causal Attention
   • Rechenübung: Einen Attention Score von Hand ermitteln
3. Teil 3

   Modul 3 – Lernen und Erzeugen: Training, Sampling und Prompts

   • Trainingsdaten, Zielgröße und Cross-Entropy als Loss-Funktion
   • Optimierung über Backpropagation und Gradient Descent
   • Stellgrößen beim Training: GPU-Einsatz, Batch-Größe und Lernrate
   • Demo: Ein kleines LLM mit tinygrad oder transformers trainieren
   • Wie aus Logits Text wird: Temperature und die Sampling-Strategien Greedy, Top-k und Nucleus
   • Prompt Engineering mit Chain-of-Thought, Few-Shot und Zero-Shot
   • Übung: Die Modellausgabe durch unterschiedliche Promptvarianten lenken
4. Teil 4

   Modul 4 – Schwachstellen und Weiterentwicklung: Was LLMs nicht können und wohin es geht

   • Halluzinationen, Bias und Fehler beim Rechnen und logischen Schließen
   • Erklärbarkeit von Modellentscheidungen und Unsicherheit in den Ausgaben
   • Angriffe durch Prompt-Injektion und Jailbreaking
   • Diskussion: In welchem Sinn sich GPT „verstehen“ lässt
   • Modelle anpassen und erweitern: Fine-Tuning, Adapter, Retrieval-Augmented Generation
   • Aktuelle Entwicklungen: multimodale Modelle, Mixture of Experts, Quantisierung und Distillation
   • Beispiel: LLaMA, GPT und Mistral im Vergleich
5. Teil 5

   Modul 5 – Transfer: Das Wissen im Unternehmen nutzen

   • Die Architektur eines Modells gegenüber Fachabteilung oder Geschäftsleitung erklären
   • Grenzen von LLMs bei konkreten Vorhaben im Unternehmen erkennen
   • GenAI-Tools reflektiert einsetzen, gestützt auf das Verständnis ihrer Funktionsweise
   • Abschlussübung: Die Architektur eines LLM in drei Minuten erklären