KI-Werkzeuge

Langfuse: Kosten und Antwortqualität produktiver KI-Anwendungen messen

Sobald eine KI-Anwendung im Haus produktiv läuft, fragt die Leitung nach Kosten pro Vorgang, nach Fehlerquoten und danach, ob ein anderes Modell günstiger wäre. Langfuse zeichnet dafür Anfragen, Antworten, Kosten und Laufzeiten auf und lässt sich auf einem eigenen Server im Firmennetz betreiben. Sie binden an diesem Tag eine bestehende Anwendung an, werten eine Betriebswoche aus und beurteilen einen Modellwechsel anhand der Zahlen. Danach ist geregelt, wie lange Aufzeichnungen liegen bleiben und wer sie einsehen darf, und für Messung und Berichte ist eine feste Zuständigkeit benannt.

Für wen

Fachleute aus dem IT-Betrieb sowie Projektleitungen, die eine produktive KI-Anwendung verantworten und der Leitung Zahlen zu Aufwand und Ergebnisgüte vorlegen müssen.

KI-Tool-Training · 1 Tag

Eine eigene KI-Anwendung an Langfuse anbinden und ihren Betrieb mit Zahlen belegen

Das nehmen Sie mit

  • Eine Langfuse-Installation im Firmennetz, an die Ihre bestehende KI-Anwendung angebunden ist
  • Routine im Lesen von Kosten je Fall, Ausreißern und Fehlerbildern sowie im Kombinieren menschlicher und automatischer Bewertungen
  • Eine ausgewertete Betriebswoche und eine zahlenbasierte Einschätzung zu einem Modellwechsel
  • Regeln für Personenbezug, Aufbewahrung und Zugriff, eine Kostenrechnung und eine verantwortliche Person

Ablauf

  1. Teil 1

    Einheit 1 – Ausgangslage: Messbarkeit als Betriebsbedingung und die Installation

    • Ohne Messwerte bleiben Kosten, Antwortqualität und Laufzeit einer produktiven KI-Anwendung im Dunkeln
    • Was Langfuse festhält: jede Anfrage, die Antwort des Modells, angefallene Kosten und Laufzeit
    • Langfuse mit Docker auf einem Server im Firmennetz aufsetzen; eine Grafikkarte wird dafür nicht benötigt
    • Platz im Werkzeugkasten: laufende KI-Anwendungen betreiben und ihre Qualität sichern
  2. Teil 2

    Einheit 2 – Bedienung: Anbinden, auswerten, bewerten

    • Eine vorhandene KI-Anwendung so anbinden, dass ihre Modellaufrufe in Langfuse erscheinen
    • Dashboards deuten: Kosten pro Vorgang, Ausreißer bei Laufzeit oder Verbrauch, wiederkehrende Fehlerbilder
    • Antworten durch Fachleute bewerten lassen und diese Urteile mit automatischen Prüfungen verbinden
    • Übung: Eine Beispielanwendung anschließen und ihre ersten Aufzeichnungen in der Oberfläche durchgehen
  3. Teil 3

    Einheit 3 – Echtbetrieb: Eine Anwendung des Hauses unter Beobachtung

    • Eine produktive Anwendung des Hauses, etwa einen internen Auskunftsassistenten, an Langfuse anschließen
    • Die Aufzeichnungen einer Betriebswoche auswerten: welche Fälle teuer, langsam oder fehlerhaft waren
    • Einen erwogenen Modellwechsel anhand von Kosten- und Qualitätszahlen begründen oder verwerfen
    • Übung: Die mitgebrachte Anwendung wird angebunden und eine erste Auswertung für die Leitung erstellt
  4. Teil 4

    Einheit 4 – Absicherung: Aufzeichnungen, Rechtsrahmen und Betriebskosten

    • Personenbezogene Angaben in aufgezeichneten Anfragen erkennen und den Umgang damit verbindlich festlegen
    • Speicherdauer der Aufzeichnungen bestimmen und regeln, wer darauf zugreifen darf
    • Datenschutzbeauftragte, Betriebsrat und KI-Verordnung einbeziehen, bevor Nutzeranfragen gespeichert werden
    • Laufende Kosten für Server und Pflege je Monat beziffern und einen Ausstiegsweg beschreiben
  5. Teil 5

    Einheit 5 – Routine: Wer misst und wer der Leitung berichtet

    • Eine verantwortliche Person im IT-Betrieb für Langfuse, Auswertungen und Leitungsberichte bestimmen
    • Bewertungsschemata, Bezeichnungen für Anwendungen und Berichtsvorlagen als Konvention festhalten
    • Grenzwerte vereinbaren, ab denen ein Anwendungsfall als gescheitert gilt, etwa dauerhaft steigende Kosten je Fall
    • Eine zweite Anwendung zur Anbindung vormerken und den Arbeitsaufwand dafür schätzen

VoraussetzungenEine bereits laufende KI-Anwendung Ihres Hauses, ein Docker-fähiger Server und grundlegende Erfahrung in der Systemadministration.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen