Öffentliche Verwaltung

Souveräne KI für Behörden: offene Sprachmodelle im eigenen Betrieb

Viele Behörden möchten Sprachmodelle nutzen, ohne Bürger- und Verfahrensdaten an Cloud-Anbieter außerhalb ihrer Kontrolle zu geben. Dieses Tagesseminar richtet sich an IT-Fachleute in Verwaltung und öffentlichen IT-Dienstleistern und behandelt Open-Source-Modelle, Betriebsmodelle vom Haus-Rechenzentrum bis zur souveränen Cloud, Hardware-Dimensionierung und Inference-Server. In Übungen stellen Sie ein Modell mit Ollama bereit und bauen einen lokalen Chatbot mit RAG; am Ende stehen Governance-Fragen und ein Fahrplan zur eigenen Plattform.

Für wen

IT-Verantwortliche, Administratorinnen und Administratoren sowie IT-Architektinnen und -Architekten in Behörden und bei öffentlichen IT-Dienstleistern, die Sprachmodelle datenschutzkonform in eigener Regie betreiben wollen.

KI-Tagesseminar · 1 Tag

Open-Source-LLMs auswählen, dimensionieren und in der eigenen Infrastruktur betreiben

Das nehmen Sie mit

  • Eine begründete Einschätzung, welche Verwaltungsdaten im Haus bleiben müssen und welche Modelle dafür in Frage kommen
  • Eine selbst erstellte Hardware-Dimensionierung samt Kostenrahmen für einen konkreten Anwendungsfall
  • Praktische Erfahrung mit Ollama und einem lokalen Chatbot, der Verwaltungswissen per RAG einbindet

Ablauf

  1. Teil 1

    Modul 1 – Ausgangslage: Warum Behörden über Eigenbetrieb nachdenken

    • Risiken externer Cloud-Dienste: Datenabfluss, Lock-in beim Anbieter, Rechtslage bei Datenübermittlungen in Drittländer (Schrems II)
    • Digitale Souveränität als strategisches Ziel öffentlicher Verwaltungen und ihre Anforderungen an die IT-Planung
    • Bestandsaufnahme: Welche Daten Ihrer Behörde, etwa Sozial-, Steuer- oder Meldedaten, das Haus nicht verlassen dürfen
  2. Teil 2

    Modul 2 – Modelle: Offene LLMs im Vergleich

    • Welche offenen Modelle für Verwaltungen in Betracht kommen, darunter Llama, Mistral und Teuken
    • Leistungsvergleich mit kommerziellen Diensten: wo offene Modelle mithalten und wo sie zurückliegen
    • Qualität lokaler Modelle nüchtern einschätzen, bevor Erwartungen an Fachanwendungen entstehen
  3. Teil 3

    Modul 3 – Betriebsmodelle: Infrastruktur, Hardware und Kosten

    • On-Premise im eigenen Haus, kommunale Rechenzentren oder souveräne Clouds: Varianten und Abgrenzung
    • Hardware-Anforderungen: GPU-Sizing nach Modellgröße und Nutzerzahl, Kostenabschätzung für die Beschaffung
    • Inference-Server im Vergleich: vLLM, Ollama und Hugging Face TGI
    • Kosten des Eigenbetriebs gegen die Einsparungen bei Lizenzen und Nutzungsentgelten rechnen
    • Übung: Ein passendes Setup für einen Anwendungsfall der Verwaltung dimensionieren
  4. Teil 4

    Modul 4 – Bereitstellen: Vom lokalen Modell zum Verwaltungs-Chatbot

    • Übung: Ein Open-Source-LLM mit Ollama auf einem lokalen System bereitstellen und erste Anfragen stellen
    • RAG mit lokalen Modellen: Dienstanweisungen, Satzungen und Formularwissen anbinden, ohne dass Daten das Netz verlassen
    • Übung: Einen lokalen Chatbot aufbauen, der Fragen zu Verwaltungsinhalten aus eigenen Dokumenten beantwortet
  5. Teil 5

    Modul 5 – Betrieb und Governance: Absichern, wirtschaftlich bewerten, planen

    • Zugriffskontrolle, Protokollierung und Mandantenfähigkeit, wenn mehrere Ämter oder Kommunen eine Plattform teilen
    • Modell-Updates einspielen und die Antwortqualität nach jedem Wechsel absichern
    • Sicherheit der Plattform nach BSI-Grundschutz
    • Wirtschaftlichkeit: Eigenbetrieb im Vergleich zu souveränen SaaS-Angeboten
    • Fahrplan zur souveränen KI-Plattform: Reihenfolge der Ausbaustufen für Ihre Behörde

VoraussetzungenSie bringen IT-Grundkenntnisse mit; Erfahrung im Betrieb von Servern erleichtert die Übungen.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen