Belastbare Trainingsdaten: Datenqualität in ML-Projekten prüfen und sichern
Lückenhafte Pflichtfelder, doppelte Kundensätze oder vertauschte Einheiten fallen im Projektalltag oft erst auf, wenn ein Modell unerklärlich schlecht vorhersagt. Für Data Engineers, Data Scientists und Analysten geht es an diesem Tag darum, Datenqualität messbar zu machen, Datensätze mit Python systematisch zu bereinigen und Prüfungen dauerhaft in die Pipeline einzubauen. Zwei Übungen und eine Fallstudie zu einem Qualitäts-Gate verbinden die Methoden mit der Praxis. Mit nach Hause nehmen Sie Qualitätstests, klare Zuständigkeiten über Data Contracts und einen Plan, welche Datenquelle Sie als erste absichern.
- Dauer1 Tag
- OrtBei Ihnen vor Ort oder live-online
- TeilnehmendeNur Ihr Team, keine offenen Termine
- BereichKI-Technik & Entwicklung, Qualität, Sicherheit & Compliance, Büro, Organisation & IT
Für wen
Data Engineers, Data Scientists und Analysten, die Datenqualität als tragende Grundlage ihrer KI-Projekte verlässlich herstellen wollen.
KI-Tagesseminar · 1 Tag
Datensätze messen, bereinigen und mit Tests und Monitoring dauerhaft absichern
Das nehmen Sie mit
- Fehler in Trainingsdaten ordnen Sie den Dimensionen der Datenqualität und der jeweiligen Pipeline-Stufe zu.
- Profiling, Qualitätsmetriken und eine skriptbasierte Bereinigung haben Sie an einem Beispieldatensatz selbst durchgeführt.
- Qualitätstests mit Great Expectations oder vergleichbaren Werkzeugen sowie Drift-Erkennung lassen sich in Ihre Pipelines einbauen.
- Data Contracts und ein Qualitäts-Gate geben Ihrem Team eine verbindliche Regel, welche Daten ins Training dürfen.
Ablauf
- Teil 1
Modul 1 – Ausgangspunkt: Was fehlerhafte Daten ein ML-Projekt kosten
- Garbage in, garbage out: wie mangelhafte Datensätze Laufzeit, Budget und Modellgüte belasten
- Vollständigkeit, Korrektheit, Konsistenz und Aktualität als Dimensionen der Datenqualität
- Fehlerquellen entlang der Pipeline: Erfassung, Übernahme aus Quellsystemen, Transformation, Labeling
- Live-Demo: Schon ein fehlerhafter Datensatzimport verschlechtert ein trainiertes Modell sichtbar
- Eigene Datenlage einschätzen: Wie belastbar sind die Bestände Ihrer laufenden oder geplanten Projekte
- Teil 2
Modul 2 – Messen und bereinigen: Vom Profil zum sauberen Datensatz
- Profiling: Verteilungen, Nullwerte, Wertebereiche und Kardinalitäten eines Datensatzes erfassen
- Qualitätsmetriken festlegen, etwa Anteil leerer Pflichtfelder oder Quote doppelter Einträge
- Standardisierung von Formaten und Schreibweisen, Deduplizierung über Schlüssel und Ähnlichkeit
- Übung: Einen Beispieldatensatz in Python profilieren, Dubletten entfernen und Formate vereinheitlichen
- Bereinigung als wiederholbares Skript anlegen statt Einzelkorrekturen von Hand in der Tabelle
- Teil 3
Modul 3 – Überwachung: Tests, Monitoring und Drift
- Automatisierte Tests vor dem Training und Data Quality Monitoring im laufenden Betrieb kombinieren
- Data Drift und Concept Drift: veränderte Eingangsdaten von veränderten Zusammenhängen unterscheiden
- Great Expectations und vergleichbare Werkzeuge für regelbasierte Datenprüfungen
- Übung: Prüfregeln für Schema, Wertebereiche und Eindeutigkeit als Qualitätstests festlegen
- Schwellenwerte und Alarme, mit denen die erreichte Qualität auch nach Monaten erhalten bleibt
- Teil 4
Modul 4 – Verankerung: Zuständigkeiten, Quality Gate und Teamkultur
- Data Contracts zwischen liefernden Fachteams und dem ML-Team, Verantwortliche je Datenquelle
- Prüfungen direkt in die Pipelines integrieren, damit fehlerhafte Lieferungen früh gestoppt werden
- Fallstudie: Ein Qualitäts-Gate entscheidet, ob neue Trainingsdaten in ein KI-Projekt übernommen werden
- Datenqualität als gemeinsame Aufgabe von Fachbereich, Data Engineering und Data Science etablieren
- Planung: welche Datenquelle zuerst Metriken, Tests und eine verantwortliche Stelle bekommt
VoraussetzungenSie bringen Grundkenntnisse in Datenverarbeitung und Python mit.
AbschlussTeilnahmezertifikat und digitales Badge