Qualität, Sicherheit & Compliance

Penetrationstests für LLM-Anwendungen: den OWASP-Katalog praktisch nutzen

Ein Chatbot mit angebundener Wissensdatenbank oder ein Agent mit Zugriff auf Ticketsystem und E-Mail öffnet Angriffswege, die ein klassischer Web-Pentest nicht abdeckt. Dieser Tag richtet sich an Penetration-Tester, Security-Analysten und AppSec-Teams, die solche Systeme methodisch angreifen wollen. Sie arbeiten mit dem OWASP-LLM-Top-10-Katalog sowie mit garak, PyRIT und Promptfoo, greifen in zwei Übungen eine RAG-Anwendung und einen Agenten an und schreiben anschließend einen Bericht, mit dem Entwicklerteams weiterarbeiten können.

Für wen

Penetration-Tester, Security-Analystinnen und -Analysten sowie Verantwortliche für Anwendungssicherheit, die KI-Anwendungen methodisch auf Schwachstellen untersuchen wollen.

KI-Tagesseminar · 1 Tag

LLM-Systeme methodisch angreifen und Befunde in umsetzbare Berichte übersetzen

Das nehmen Sie mit

  • Für Chatbot, RAG-Suche oder Agent legen Sie Testumfang und Bedrohungsmodell fest.
  • Testfälle entlang der OWASP Top 10 für LLM-Anwendungen führen Sie mit garak, PyRIT und Promptfoo nachstellbar durch.
  • Prompt Injection, Datenabfluss und überzogene Agentenrechte haben Sie in Übungen selbst ausgenutzt.
  • Ein Pentest-Bericht mit gewichteten Befunden und Empfehlungen sowie ein Plan für Folgetests liegen als Muster vor.

Ablauf

  1. Teil 1

    Modul 1 – Einordnung: Was einen KI-Pentest vom klassischen Test trennt

    • Sprache als Angriffsfläche, wechselnde Antworten auf gleiche Eingaben: Abgrenzung zum Web-Pentest
    • Zielsysteme in Ihrem Haus sammeln: Support-Chatbot, interne RAG-Suche, Agent mit Schreibrechten
    • Scoping: Modellanbieter, Systemprompt, Datenquellen und angebundene Tools in den Testumfang aufnehmen
    • Bedrohungsmodell für LLM-Systeme: Angreiferrollen, Vertrauensgrenzen, schutzbedürftige Daten
  2. Teil 2

    Modul 2 – Methodik: Prüfleitfaden und Testwerkzeuge

    • Der OWASP-LLM-Top-10-Katalog als Gerüst für Testfälle und Prüfprotokoll
    • garak, PyRIT und Promptfoo: wofür sich welches Werkzeug eignet und wie sie sich ergänzen
    • Wiederholbarkeit sichern: feste Testsätze, festgehaltene Modellversion, protokollierte Antworten statt Zufallsfunden
  3. Teil 3

    Modul 3 – Angriffe: Eingaben manipulieren, Ausgaben ausnutzen

    • Prompt Injection direkt und versteckt in Dokumenten, Jailbreaks nach Mustern durchspielen
    • Insecure Output Handling: Modellantworten, die ungeprüft in HTML, SQL oder Shell-Befehle fließen
    • Tool-Missbrauch: das Modell zu Funktionsaufrufen bewegen, die der angemeldeten Person nicht zustehen
    • Übung: Eine RAG-Anwendung über eine präparierte Quelldatei angreifen und jeden Treffer nachstellbar belegen
  4. Teil 4

    Modul 4 – Tiefe: Datenabfluss, Lieferkette und Agentenrechte

    • Sensitive Information Disclosure: Systemprompt, Kundendaten oder API-Schlüssel aus der Anwendung locken
    • Model Extraction: das Verhalten eines Modells über systematische Abfragen nachbilden
    • Supply-Chain-Risiken bei bezogenen Modellen, Plugins und Datensätzen
    • Excessive Agency: Agenten mit zu weiten Rechten, zu vielen Tools oder ohne Freigabeschritt
    • Übung: Die Berechtigungsgrenzen eines Agenten ausloten und jede Überschreitung festhalten
    • Schwachstellen abseits der Eingabezeile, etwa in Konfiguration, Schnittstellen und Datenhaltung
  5. Teil 5

    Modul 5 – Bericht: Befunde gewichten, Behebung anstoßen, Nachtests planen

    • Schweregrad und Ausnutzbarkeit einstufen und daraus eine Reihenfolge für die Behebung ableiten
    • Empfehlungen so formulieren, dass Entwicklerteams sie direkt als Tickets übernehmen und umsetzen
    • Übung: Einen Pentest-Bericht zu einer KI-App mit Belegen, Einstufung und Gegenmaßnahmen verfassen
    • Folgetests einplanen, ausgelöst etwa durch Modellwechsel, neue Tools oder zusätzliche Datenquellen

VoraussetzungenPraxis im Penetration Testing oder in der Anwendungssicherheit wird erwartet.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen