KI-Technik & Entwicklung

KI-Agenten verlässlich machen: Evals, Red Teaming und Monitoring

Ein Agent, der selbständig Tools aufruft und über viele Schritte plant, verhält sich bei jedem Lauf etwas anders – feste Soll-Ist-Vergleiche greifen da zu kurz. Das Tagesseminar richtet sich an Teams, die solche Systeme bauen oder verantworten, und führt durch drei Prüfebenen: Evaluation mit eigenen Datensätzen, gezielte Angriffe im Red Teaming und Beobachtung im laufenden Betrieb. Sie verlassen den Tag mit einer selbst aufgesetzten Eval-Suite, einem eingerichteten Monitoring und einer Reihenfolge, in der Sie diese Bausteine in Ihre Entwicklung übernehmen.

Für wen

QA-Engineers, Product Owner von Agenten-Anwendungen sowie Entwicklerinnen und Entwickler, die Qualität und Sicherheit ihrer Agenten planmäßig absichern wollen.

KI-Tagesseminar · 1 Tag

Agenten messbar prüfen, gezielt angreifen und im Betrieb überwachen

Das nehmen Sie mit

  • Für einen Beispielagenten haben Sie eine Eval-Suite mit Aufgaben, Erwartungen und Metriken aufgebaut.
  • LLM-as-a-Judge setzen Sie dort ein, wo ein Bewertungsmodell belastbar urteilt, und erkennen seine Fallstricke.
  • Durch eigenes Red Teaming wissen Sie, über welche Kanäle Prompt Injection einen Agenten erreicht und wie Sandboxing gegenhält.
  • Ein Monitoring mit Tracing steht, das Regressionen nach Modell- oder Prompt-Updates sichtbar macht.

Ablauf

  1. Teil 1

    Modul 1 – Ausgangslage: Warum Agenten sich klassischen Tests entziehen

    • Bestandsaufnahme: Mit welchen Verfahren Ihr Team Agenten derzeit prüft und wo Lücken bleiben
    • Nichtdeterminismus: Derselbe Auftrag liefert bei zwei Läufen unterschiedliche Wege und Ergebnisse
    • Lange Trajektorien mit vielen Tool-Aufrufen, dazu Seiteneffekte wie versendete Mails oder geänderte Daten
    • Typische Fehlerbilder: Schleifen ohne Abbruch, Tool-Missbrauch und schleichende Zielabweichung
    • Weshalb Unit-Testing mit festen Soll-Ausgaben bei agentischem Verhalten zu kurz greift
    • Test-Pyramide für agentische Systeme: welche Prüfebene welchen Anteil der Testfälle übernimmt
  2. Teil 2

    Modul 2 – Evaluation: Agentenverhalten mit Eval-Datensätzen messen

    • Eval-Datensätze anlegen: Testaufgaben formulieren, erwartetes Verhalten festhalten, Metriken bestimmen
    • LLM-as-a-Judge: was ein bewertendes Modell zuverlässig einschätzt und wo sein Urteil kippt
    • Übung: Für einen Beispielagenten eine Eval-Suite mit Testaufgaben und Bewertungsregeln aufsetzen
    • Messwerte als Grundlage, bevor einem Agenten weitere Aufgaben anvertraut werden
  3. Teil 3

    Modul 3 – Sicherheit: Angriffswege schließen, bevor der Agent live geht

    • Prompt Injection: eingeschleuste Anweisungen in Webseiten, Dokumenten und Tool-Ausgaben
    • Sandboxing, Berechtigungsgrenzen und Budgets begrenzen, was ein fehlgeleiteter Agent auslösen kann
    • Übung: Red Teaming – den Beispielagenten gezielt angreifen und gefundene Schwachstellen dokumentieren
    • Wiederkehrende Sicherheitslücken agentischer Systeme im Überblick
    • Mindestschutz, der vor dem Produktivstart eines Agenten umgesetzt sein muss
  4. Teil 4

    Modul 4 – Betrieb: Agentenläufe beobachten und Fehler aufarbeiten

    • Tracing und Observability mit LangSmith und OpenTelemetry: jeden Zwischenschritt eines Agentenlaufs einsehen
    • Regression-Erkennung: Eval-Suite nach jedem Modell- oder Prompt-Update automatisch erneut ausführen
    • Incident-Prozesse für Agentenfehler: Meldung, Eingrenzung, Ursachenanalyse
    • Übung: Monitoring für einen Agenten einrichten und Kennzahlen für Warnmeldungen festlegen
    • Fahrplan: welche Test-, Sicherheits- und Betriebsbausteine Ihr Team als Erstes einführt

VoraussetzungenSie haben bereits LLM-Anwendungen entwickelt; diese Praxis wird vorausgesetzt.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen