KI-Werkzeuge

Ollama: Sprachmodelle lokal laden und Eingaben im Hausnetz behalten

Dieser Tag richtet sich an Unternehmen und Behörden, die mit Sprachmodellen arbeiten möchten, deren Eingaben aber das Hausnetz nicht verlassen dürfen. Sie installieren Ollama, laden Modelle auf eigene Hardware, lernen Parameter und die HTTP-Schnittstelle kennen und setzen einen eigenen Vorgang mit einem lokalen Modell um. Danach wissen Sie, welche Modellgröße auf Ihrer Hardware trägt, was Lizenzen und Recht verlangen und wer den Betrieb im Haus übernimmt.

Für wen

Verantwortliche für IT und Datenschutz sowie Fachverantwortliche aus Unternehmen und Behörden, die Sprachmodelle nutzen möchten und dabei sicherstellen müssen, dass keine Daten an externe Anbieter gehen.

KI-Tool-Training · 1 Tag

Ollama installieren, Modelle passend zur Hardware wählen und datensicher im Haus nutzen

Das nehmen Sie mit

  • Eine lauffähige Ollama-Installation mit einem Modell, das zu Ihrer Hardware passt
  • Eine belastbare Einschätzung, wie gut ein lokales Modell Ihren Vorgang gegenüber einem Cloudmodell löst
  • Klarheit zu Modelllizenzen und monatlichen Kosten sowie zu Mitbestimmung, KI-Verordnung und Datenschutz
  • Festgelegte Zuständigkeit, Teamvorlagen und ein geschätzter nächster Ausbauschritt

Ablauf

  1. Teil 1

    Einheit 1 – Einordnung: Wann ein lokales Modell die passende Wahl ist

    • Ollama neben Cloud-Diensten: Rechenleistung, Modellpflege und Updates liegen beim Haus statt beim Anbieter
    • Welche Modelle zu welcher Ausstattung passen – vom Notebook ohne Grafikkarte bis zum Server
    • Modelle mit 3B, 8B oder 14B Parametern: was sie bei Zusammenfassung und Textentwurf praktisch schaffen
  2. Teil 2

    Einheit 2 – Einrichten: Ollama installieren, Modelle verwalten, Parameter setzen

    • Ollama auf Windows, macOS oder Linux aufspielen, Rechner ohne Grafikkarte eingeschlossen
    • Modelle herunterladen, zwischen ihnen umschalten und nicht mehr benötigte löschen
    • Systemprompt, Temperatur und Kontextlänge passend zur jeweiligen Aufgabe festlegen
    • Über die HTTP-Schnittstelle von Ollama eigene Anwendungen und Skripte anbinden
    • Übung: Ollama einrichten, ein Modell laden und mit eigenem Systemprompt erste Anfragen stellen
  3. Teil 3

    Einheit 3 – Praxistest: Ihr Vorgang läuft auf einem lokalen Modell

    • Ein mitgebrachter Anwendungsfall, etwa Protokolle zusammenfassen oder Anschreiben entwerfen, läuft über Ollama
    • Antworten des lokalen Modells neben die eines Cloudmodells legen und nüchtern beurteilen
    • Antwortzeiten messen und daraus ableiten, welche Hardware der Einsatz braucht
    • Übung: Ihr Fall wird mit einem lokalen Modell bearbeitet, gemessen und ausgewertet
  4. Teil 4

    Einheit 4 – Absichern: Lizenzen, Rechtsrahmen und laufende Kosten

    • Bei lokal geladenen Modellen bleiben Eingaben im Hausnetz – das entschärft viele Datenschutzbedenken
    • Modelllizenzen prüfen: frei herunterladbar heißt nicht automatisch für gewerbliche Nutzung freigegeben
    • Mitbestimmung, Datenschutz und KI-Verordnung: was vor dem Einsatz lokaler Modelle zu klären ist
    • Monatliche Kosten für Hardware und Betreuung beziffern und einen geordneten Ausstiegsweg festlegen
  5. Teil 5

    Einheit 5 – Verankern: Zuständigkeit und Regeln für den lokalen Modellbetrieb

    • Für Ollama-Installation, Modellbestand und Freigabe neuer Modelle eine Ansprechperson im Haus bestimmen
    • Bewährte Systemprompts und Parameter je Aufgabe als Modelfile sichern und nach Teamregel benennen
    • Abbruchkriterien vereinbaren, falls Antwortqualität oder Rechenzeit des lokalen Modells nicht ausreichen
    • Ausbau skizzieren, etwa ein zweites Modell oder eine Anbindung per HTTP-Schnittstelle, samt Aufwand in Personentagen

VoraussetzungenRechner mit 16 GB Arbeitsspeicher oder mehr und Administratorrechten zur Installation. Eine handelsübliche Grafikkarte beschleunigt die Arbeit, ist aber nicht erforderlich.

AbschlussTeilnahmezertifikat mit digitalem Badge

Thema anfragen