KI-Werkzeuge

Promptfoo: Regressionstests für Prompts und Modellwechsel aufbauen

Eine Anweisung wird umformuliert oder ein Modell gegen ein neueres getauscht, und erst Wochen später fällt auf, dass bestimmte Anfragen schlechter beantwortet werden. Promptfoo ist ein quelloffenes Testwerkzeug, mit dem Sie solche Änderungen vorher gegen eine feste Sammlung von Testfällen laufen lassen. Das Tool-Training richtet sich an Teams, die KI-Anwendungen produktiv betreiben. Am Ende ist eine Anwendung Ihres Hauses mit Testfällen abgesichert, und der Testlauf gehört fest zum Ablauf vor jeder Änderung.

Für wen

Fachleute aus IT, Qualitätsmanagement und Fachbereichen, die KI-Anwendungen im laufenden Betrieb verantworten und neue Anweisungsfassungen oder Modellwechsel absichern sollen.

KI-Tool-Training · 1 Tag

Neue Promptfassungen und Modelle messbar prüfen, bevor sie live gehen

Das nehmen Sie mit

  • Eine lauffähige Promptfoo-Installation mit einer ersten Testsammlung aus Ihrem Arbeitsalltag
  • Eine produktive Anweisung Ihres Hauses, die vor jeder Änderung automatisch gegengeprüft wird
  • Ein nachvollziehbarer Prüfnachweis für Aufsicht und interne Revision
  • Klarheit über Prüftiefe, laufende Ausgaben, Rechtsfragen und Zuständigkeit im Team

Ablauf

  1. Teil 1

    Einheit 1 – Ausgangsfrage: Weshalb Stichproben im Chat nicht genügen

    • Promptfoo per Kommandozeile installieren; Aufbau der Konfiguration aus Anweisungen, Modellen und Testfällen
    • Ein paar gelungene Chatantworten sagen nichts darüber aus, wie die nächsten hundert Anfragen ausfallen
    • Testfälle aus realen Anfragen gewinnen, etwa typischen Kundenmails, Sonderfällen und bekannten Ausreißern
    • Promptfoo im Werkzeugkasten: Es baut keine KI-Anwendung, sondern sichert ihren Betrieb und ihre Qualität ab
  2. Teil 2

    Einheit 2 – Testlauf: Erwartungen festlegen und Varianten vergleichen

    • Je Testfall beschreiben, was eine brauchbare Antwort enthalten muss oder keinesfalls enthalten darf
    • Zwei Fassungen einer Anweisung und mehrere Modelle in einem Durchgang nebeneinander antreten lassen
    • Die Ergebnisübersicht auswerten und Fälle finden, die eine neue Fassung bisher bestanden hat und nun verfehlt
    • Übung: Eine Beispielanweisung mit fünf Testfällen anlegen, gegen zwei Modelle prüfen und das Resultat deuten
  3. Teil 3

    Einheit 3 – Ernstfall: Eine produktive Anweisung Ihres Hauses absichern

    • Eine laufende Anweisung, etwa zur Einordnung eingehender Tickets, bekommt eine feste Testsammlung
    • Ein geplanter Umstieg auf ein anderes Modell wird durchgetestet, bevor irgendjemand ihn freigibt
    • Den Testlauf als Pflichtschritt vor jeder neuen Promptfassung in den bestehenden Änderungsablauf einfügen
    • Übung: Für die Anwendung oder Anweisung, die Sie mitbringen, entsteht eine Testsammlung samt erstem Prüflauf
  4. Teil 4

    Einheit 4 – Absicherung: Prüftiefe, Nachweise, Recht und Kosten

    • Prüfumfang nach Risiko bemessen: eine interne Formulierungshilfe braucht weniger Fälle als Kundenantworten
    • Testläufe und ihre Ergebnisse so festhalten, dass Aufsicht und Revision die Prüfung nachvollziehen
    • KI-Verordnung, Umgang mit personenbezogenen Testdaten und Mitbestimmung bei der Einführung klären
    • Laufende Ausgaben, vor allem Modellaufrufe je Testdurchgang, beziffern und den Ausstieg vorzeichnen
  5. Teil 5

    Einheit 5 – Verankerung: Testsammlungen als Teamaufgabe

    • Festlegen, wer Testfälle pflegt und Ergebnisse vor einer Änderung abnimmt
    • Konfigurationen, Testfälle und Benennungsregeln zentral ablegen, sodass alle im Team darauf aufbauen
    • Erkennen, wann eine KI-Anwendung ihre Testfälle trotz Nachbesserung nie erreicht und eingestellt gehört
    • Die nächste Anwendung für Tests benennen und den Einrichtungsaufwand in Stunden schätzen

VoraussetzungenSie bringen eine eigene KI-Anwendung oder eine regelmäßig genutzte Anweisung mit und können sich in der Kommandozeile grundlegend bewegen.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen