KI-Technik & Entwicklung

ML-Datenpipelines aufbauen: Features konsistent für Training und Inferenz

Manuell gezogene CSV-Exporte und Feature-Berechnungen, die im Notebook anders laufen als im Produktivsystem, sind eine häufige Ursache für Modelle, die im Betrieb schlechter abschneiden als im Test. Für Data Engineers und ML-Engineers behandelt dieser Tag den Weg von der Rohquelle bis zum Feature Store: Batch und Streaming, Orchestrierung mit Airflow, Transformation mit dbt, Verarbeitung mit Spark. Ein Schwerpunkt liegt auf der Konsistenz zwischen Training und Inferenz, ein weiterer auf Monitoring, Kosten und Wartung. Zurück im Team können Sie eine Pipeline entwerfen, die reproduzierbare Features liefert und im Betrieb überwacht wird.

Für wen

Data Engineers und ML-Engineers, die belastbare Datenpipelines für das Training und die Inferenz von ML-Modellen errichten wollen.

KI-Tagesseminar · 1 Tag

Von der Rohquelle zum Feature Store, reproduzierbar und betriebsfest

Das nehmen Sie mit

  • Batch- oder Streaming-Verarbeitung und ein passendes Architekturmuster wählen Sie nach den Anforderungen von Training und Inferenz.
  • Eine Pipeline mit Ingestion, Transformation und Orchestrierung haben Sie selbst modelliert und Airflow, dbt sowie Spark darin eingeordnet.
  • Training-Serving-Skew vermeiden Sie durch einheitlich definierte Features und einen Feature Store mit konsistenter Online- und Offline-Sicht.
  • Monitoring, Tests, Data Contracts und Kostenbetrachtung fließen in einen Umsetzungsplan für Ihre Pipeline ein.

Ablauf

  1. Teil 1

    Modul 1 – Architektur: Was ML-Pipelines leisten müssen

    • Batch oder Streaming: nächtliches Neutraining und Echtzeit-Vorhersagen stellen verschiedene Anforderungen
    • Was Training und Inferenz jeweils von den Daten brauchen: Historie, Latenz, Aktualität
    • Gängige Architekturmuster für ML-Datenflüsse im Überblick
    • Live-Demo: Aus einer Rohquelle entsteht Schritt für Schritt ein verwendbares Feature
    • Heutige Datenflüsse skizzieren: Quellsysteme, Übergaben, manuelle Zwischenschritte
  2. Teil 2

    Modul 2 – Aufbau: Daten einsammeln, umformen, orchestrieren

    • Ingestion aus Quellsystemen, anschließende Transformation und die Orchestrierung aller Schritte
    • Airflow für die Ablaufsteuerung, dbt für Transformationen in SQL, Spark für große Datenmengen
    • Übung: Sie modellieren eine Pipeline vom Quellsystem bis zur fertigen Trainingstabelle
    • Robustheit früh einplanen: Wiederanläufe und reproduzierbare Läufe ersetzen manuelle Exporte
  3. Teil 3

    Modul 3 – Features: Eine Berechnung für Training und Betrieb

    • Feature Engineering reproduzierbar gestalten: Berechnungslogik versionieren statt in Notebooks verstreuen
    • Feature Stores und die Übereinstimmung zwischen Online- und Offline-Speicher
    • Training-Serving-Skew: woran man ihn erkennt und wie er sich verhindern lässt
    • Übung: Ein Feature einmal definieren und identisch für Training und Inferenz bereitstellen
  4. Teil 4

    Modul 4 – Betrieb: Überwachen, skalieren, warten

    • Data Contracts, Tests und Monitoring für jede Stufe der Pipeline
    • Rechenlast und Speicher: Skalierung und Kosten realistisch einschätzen
    • Fallstudie: Eine ML-Pipeline geht in den Produktivbetrieb
    • Wartung im Alltag: Schemaänderungen in Quellsystemen, Ausfälle, Zuständigkeiten
    • Umsetzungsplan: welche Datenstrecke zuerst auf eine robuste Pipeline umgestellt wird

VoraussetzungenVorausgesetzt werden Python-Kenntnisse und ein Grundverständnis von Datenbanken.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen