KI-Werkzeuge

vLLM: Sprachmodelle im Rechenzentrum für ganze Abteilungen bereitstellen

Ein Sprachmodell auf einem einzelnen Arbeitsplatz reicht nicht mehr, sobald Dutzende Beschäftigte gleichzeitig Anfragen stellen. Dieses Tool-Training richtet sich an Systemadministration und IT-Betrieb, wenn sie mit vLLM Modelle als Dienst im eigenen Rechenzentrum betreiben wollen. Sie legen die Hardware aus, starten ein Modell als Dienst, lesen Wartezeit und Durchsatz ab und stellen ein Modell unter realistischer Last für eine Abteilung bereit. Anschließend können Sie Eigenbetrieb und verbrauchsabhängige Abrechnung belastbar vergleichen und den Dienst geordnet übernehmen.

Für wen

Systemadministration und IT-Betrieb von Unternehmen, die Sprachmodelle vielen Beschäftigten zugleich aus dem eigenen Rechenzentrum zur Verfügung stellen wollen.

KI-Tool-Training · 1 Tag

Modelldienst mit vLLM aufsetzen, unter Last testen und wirtschaftlich betreiben

Das nehmen Sie mit

  • Ein Modell, das als vLLM-Dienst läuft und über eine Schnittstelle ansprechbar ist
  • Eine Hardwareauslegung und Lasttestergebnisse, die zur Nutzerzahl Ihrer Abteilung passen
  • Ein Kostenvergleich zwischen Eigenbetrieb und Abrechnung nach Verbrauch samt Wiederanlaufkonzept
  • Festgelegte Betriebsverantwortung, dokumentierte Startkonfigurationen und eine bezifferte Ausbaustufe

Ablauf

  1. Teil 1

    Einheit 1 – Bedarf: Vom Einzelplatz zum zentralen Modellserver

    • Erkennen, ab welcher Nachfrage ein Modell auf einem einzelnen Arbeitsplatzrechner nicht mehr genügt
    • vLLM installieren und ein Modell als dauerhaft laufenden Dienst starten
    • Hardware dimensionieren: Grafikspeicher, Wahl der Grafikkarte und erwarteter Durchsatz
    • Rolle im Werkzeugkasten: Sprachmodelle im hauseigenen Rechenzentrum statt beim Cloudanbieter
  2. Teil 2

    Einheit 2 – Dienstbetrieb: Schnittstelle, parallele Anfragen, Kennzahlen

    • Die Schnittstelle von vLLM so nutzen, dass sie den Zugang zu einem externen Anbieter ersetzt
    • Viele Anfragen zugleich: wie vLLM sie intern verarbeitet und den Grafikspeicher aufteilt
    • Wartezeit bis zur Antwort, Durchsatz und Auslastung der Grafikkarte aus den Messwerten ablesen
    • Übung: einen Modelldienst starten, Testanfragen senden und die Messwerte beobachten
  3. Teil 3

    Einheit 3 – Produktivstart: Ein Modell versorgt eine Abteilung

    • Ein Modell für eine Abteilung, etwa Kundenservice oder Personalwesen, produktiv bereitstellen
    • Lasttest mit so vielen gleichzeitigen Nutzern, wie die Abteilung tatsächlich hat
    • Open WebUI bzw. eine hauseigene Anwendung an den vLLM-Dienst anschließen
    • Übung: Das Szenario aus Ihrem Haus mit vLLM bereitstellen, unter Last prüfen und an eine Oberfläche anbinden
  4. Teil 4

    Einheit 4 – Betriebssicherheit: Ausfälle, Kostenrechnung, Rechtsrahmen

    • Verfügbarkeit planen: was bei Absturz oder Neustart geschieht und wie der Dienst wieder anläuft
    • Eigene Hardware und Betrieb gegen eine verbrauchsabhängige Abrechnung beim Anbieter rechnen
    • Anforderungen aus KI-Verordnung und DSGVO sowie Beteiligung des Betriebsrats am Modellserver
    • Laufende Monatskosten des Eigenbetriebs kennen und einen geordneten Rückzug vorbereiten
  5. Teil 5

    Einheit 5 – Betriebsmodell: Zuständigkeit, Standards, Ausbau

    • Im IT-Betrieb festlegen, wer Dienst, Updates und Modellwechsel verantwortet
    • Startkonfigurationen und Namenskonventionen für Modelldienste im Team dokumentieren
    • Hinweise, dass sich der Eigenbetrieb nicht rechnet: niedrige Auslastung, Wartezeiten trotz Ausbau
    • Den Aufwand der nächsten Ausbaustufe beziffern, zum Beispiel weitere Abteilung oder zusätzliches Modell

VoraussetzungenBenötigt werden ein Linux-Server, bestückt mit einer leistungsstarken Consumer-Grafikkarte, und Linux-Kenntnisse. Sie kennen sich mit Docker und dem Einrichten von Systemdiensten aus.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen