KI-Technik & Entwicklung

LLM-Anwendungen gegen Angriffe härten: Prompt Injection bis Datenabfluss

Chatbots, RAG-Systeme und Assistenten mit Tool-Zugriff öffnen Angriffswege, die eine Firewall nicht sieht: manipulierte Eingaben, präparierte Dokumente, ausgelesene System-Prompts. Das Tagesseminar wendet sich an Entwickler und Sicherheitsverantwortliche und wechselt konsequent zwischen Angriff und Abwehr – Sie attackieren eine absichtlich verwundbare App, provozieren einen Datenabfluss und schließen die Lücken anschließend selbst. Am Ende steht ein mehrschichtiges Schutzkonzept, das Sie auf Ihre eigenen LLM-Anwendungen übertragen.

Für wen

Security-Engineers, Verantwortliche für IT-Sicherheit sowie Entwicklerinnen und Entwickler, die LLM-Anwendungen gegen Angriffe absichern wollen.

KI-Tagesseminar · 1 Tag

Angriffe auf LLM-Apps selbst ausführen und Schutz in Schichten aufbauen

Das nehmen Sie mit

  • Mit OWASP Top 10 und einer Bedrohungsmodellierung bewerten Sie, wie exponiert eine LLM-Anwendung ist.
  • Direkte und indirekte Prompt Injection haben Sie an einer verwundbaren App selbst durchgespielt.
  • System-Prompt-Leaks und Datenabfluss erkennen und schließen Sie mit Least Privilege und Grounding.
  • Guardrails und Input/Output-Filter setzen Sie als Teil einer gestaffelten Abwehr ein, nicht als alleinigen Schutz.

Ablauf

  1. Teil 1

    Modul 1 – Angriffsflächen: Wo LLM-Anwendungen verwundbar sind

    • Aufbau von LLM-Apps aus Modell, System-Prompt, Datenquellen und Tools – und die Schwachstellen an jeder Naht
    • Die Risikoklassen der OWASP Top 10 für LLM-Anwendungen im Überblick
    • Bedrohungsmodellierung bei KI-Systemen: Angreifer, Einfallstore und schützenswerte Daten bestimmen
    • Warum LLMs anders angreifbar sind: Anweisung und Daten lassen sich im Prompt nicht sauber trennen
    • Lagebild: Wie stark Ihre eigenen KI-Anwendungen nach außen exponiert sind
  2. Teil 2

    Modul 2 – Prompt Injection: manipulierte Anweisungen auf allen Wegen

    • Direkte Prompt Injection über die Eingabe und indirekte über eingelesene Inhalte unterscheiden
    • Angriffe über präparierte Dokumente bis hin zur unscheinbaren PDF, über Webseiten und Rückgaben von Tools
    • Übung: Eine absichtlich verwundbare App gezielt angreifen und ihre Anweisungen aushebeln
    • Weshalb Eingabefilter für sich genommen keinen ausreichenden Schutz bieten
  3. Teil 3

    Modul 3 – Jailbreaks und Datenabfluss: unbemerkte Lecks finden

    • Jailbreak-Techniken wie Rollenspiel oder Umformulierung und warum Blocklisten sie nicht aufhalten
    • Was Angreifer herauslösen können: System-Prompt-Leaks, Trainingsdaten-Extraktion
    • Vertrauliche Daten und Zugriffsrechte absichern, die einer Anwendung offenstehen
    • Übung: Einen Datenabfluss provozieren, die Ursache finden und das Leck schließen
    • Abflüsse, die in keinem Log auffallen, durch gezielte Prüfungen sichtbar machen
  4. Teil 4

    Modul 4 – Verteidigung: Schutzmaßnahmen in Schichten aufbauen

    • Ineinandergreifende Schutzlagen: Guardrails, Input/Output-Filter, Grounding
    • Least Privilege bei Tools und Datenzugriffen: jede Funktion nur mit den Rechten, die sie braucht
    • Übung: Schutzmaßnahmen in die Übungs-App einbauen und mit den Angriffen aus Modul 2 und 3 testen
    • Mehrere gestaffelte Maßnahmen statt eines einzelnen Filters als Grundprinzip
    • Fahrplan: welche Absicherung Ihre LLM-Anwendung zuerst erhält und wie sie überprüft wird

VoraussetzungenVorausgesetzt wird, dass Sie den Aufbau von LLM-Anwendungen grundsätzlich kennen; Python-Kenntnisse erleichtern die Übungen.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen