Zum Inhalt springen
Search the hub
Feature-Definition und Trainingsdaten-Contracts

Feature-Definition und Trainingsdaten-Contracts

Feature-Bedeutung, Label-Ursprung und Trainingsfenster vor dem Modelltraining in durchsetzbare Contracts binden.

Category
Data Governance
Reading time
6 min
Published
Tags
ml feature-definition training-data data-contracts labels
Download PDF

Ein Feature ohne Definition ist eine Vermutung mit Spaltennamen. Training ohne Daten-Contract mischt still Labels, Fenster und Populationen, die später nicht reproduzierbar sind. Governance beginnt, wenn Bedeutung und Trainingseingaben durchsetzbare Artefakte werden.

Die Definition steht im Notebook-Kommentar, der gestrige Extrakt wird ohne Fenster wiederverwendet, Labels gelten als verlässliche Referenz ohne Guideline-Version. Dieser Teil bindet Definition, Label-Provenance und Trainingsfenster — bevor Zugriff, Model Card und Drift-Gates darauf aufsetzen.

Begriffe vor dem Lesen

  • Data Owner — Fachlich verantwortliche Rolle für Zweck, Bedeutung, Risikoakzeptanz und Freigabe.

  • Data Steward — Rolle, die Definitionen, Prüfungen, Konflikte und Nachweise im Alltag pflegt.

  • Data Custodian — Technische Rolle, die Zugriffe, Laufzeit, Sperren und Protokollierung umsetzt.

  • Feature — Eine aus Daten gebildete Eingangsgröße für ein Modell, etwa Bestellungen der letzten 30 Tage. Name, Berechnung und Zeitpunkt gehören zur Definition.

  • Label — Das bekannte oder später beobachtete Ergebnis, aus dem ein Modell beim Training lernt.

  • Trainingsdatenvertrag — Versionierte Vereinbarung über Population, Zeitraum, Features, Labels, Ausschlüsse und erlaubten Zweck eines Trainingslaufs.

  • Point-in-Time-Korrektheit (PIT) — Ein Trainingsdatensatz verwendet nur Informationen, die zum damaligen Entscheidungszeitpunkt bereits bekannt waren.

  • Drift — Messbare Veränderung von Daten, Beziehungen oder Modellverhalten gegenüber dem freigegebenen Ausgangszustand.

Entscheidung

Vor jedem produktiven Training:

  1. die Feature-Definition hält fachliche Bedeutung, Formel oder Quell-Transform, Einheiten, Null-Politik und Bezugs- und Detailebene fest;
  2. der Trainingsdaten-Contract hält Population, Fenster, Label-Ursprung, Ausschlussregeln und erlaubte Feature-Versionen fest;
  3. der Data Owner genehmigt Bedeutung und erlaubten Trainingszweck; der Steward pflegt Definitionen; der Custodian setzt Schema- und Ingest-Gates durch;
  4. Label-Quellen tragen dieselbe Provenance-Pflicht wie Features — Labels sind ebenfalls Datenprodukte;
  5. jede materielle Änderung an Definition oder Trainingsfenster wird versioniert und mit Auswirkungen auf Nutzende versehen.

Kein Trainingslauf ohne definierte Feature-Versionen oder mit abgelaufenem Contract.

Definitions- und Contract-Workflow

1. Definitionskarte schreiben

Der Steward schreibt eine Karte, die eine Domänenexpertin in einem Satz verteidigen kann: Entity-Key, Beobachtungszeit, Null-Politik, Spätankünfte. Der Data Owner genehmigt Bedeutung und Trainingszweck. Definition nur im Code-Kommentar macht jede Pipeline zur Auslegungssache.

2. Offline-Transform und Online-Serving trennen

Wenn Offline und Online divergieren, dokumentieren Steward und Model-Team die bewusste Lücke plus Abnahmetest. Stiller Skew ist ein Incident mit Verzögerung, keine „bekannte Eigenheit“. Wer die Lücke nicht schreibt, invalidiert später jede Aussage zur Modellbewertung.

3. Trainingsdatensatz vertraglich festlegen

Population in/out, Datumsfenster, Sampling-Regel, Leakage-Checks und verbotene Joins. Fitness-Gates aus Fit for AI hängen am Contract, nicht am Notebook-Dateinamen. Ein Extrakt ohne definiertes Fenster und Verfügbarkeitsprüfung lässt Leakage-Risiken ungeklärt; das allein beweist noch keinen tatsächlichen Informationsabfluss. Der Trainingsnachweis muss den damals nutzbaren Feature-Stand prüfen, einschließlich Spätankünften und Korrekturen. Siehe PIT-Abnahme und Grenzen.

4. Labels binden

Wer hat mit welcher Guideline-Version wann gelabelt — und mit welchem Qualitätssample? Mehrdeutige Labels brauchen Steward-Triage vor dem Training. „verlässliche Referenz“ ohne Provenance macht Modelle unvergleichbar.

5. Trainingslauf durch eine verbindliche Prüfung absichern

Der Custodian blockiert Jobs ohne Feature-Versions-Tags oder mit abgelaufenem Contract. Ausnahmen tragen Ablauf und Owner. Mündliche Freigabe im Chat ist kein Gate — der nächste Trainingslauf erbt die Lücke.

Handoffs

Von An Artefakt
Data Owner Steward Genehmigte Definition + Trainingszweck
Steward Labeling / Domänenexperten Label-Guideline + Abnahmesample
Steward Custodian Schema, Null-Politik, Versions-Tags
Model-Team Steward Trainings-Contract-Antrag (Fenster, Population)
Custodian Data Owner Gate-Evidenz für den Trainingslauf

Anti-Patterns

  • Features nur in Code-Kommentaren definieren
  • Gestrigen Trainingsextrakt ohne Fenster-Vereinbarung wiederverwenden
  • Labels als „verlässliche Referenz“ ohne Provenance behandeln
  • Online- und Offline-Logik ohne dokumentierte Lücke divergieren lassen
  • Trainingszweck mündlich im Chat freigeben

Erster Praxistest

Nehmt einen realen, begrenzten Nutzungspfad. Führt die folgenden Schritte mit den tatsächlich verantwortlichen Rollen und Systemen aus. Der Test ist erst abgeschlossen, wenn Entscheidung, technische Wirkung und Nachweis zusammenpassen.

  1. Definitionskarten für fünf Produktions-Features veröffentlichen.
  2. Einen Trainingsdaten-Contract an den nächsten geplanten erneuten Trainingslauf hängen.
  3. Einen blockierenden Check für fehlende Feature-Versions-Tags bei der Übernahme in den Trainingslauf ergänzen.
  4. Zwanzig Labels samplen und Guideline-Version plus Widerspruchsrate dokumentieren.

Den Vertrag mit KNIME umsetzen

KNIME kann die vereinbarte Spaltenauswahl, Prüfungen und Trennung von Datenbeständen als nachvollziehbaren Ablauf ausführen. Eine genehmigte Datei oder Datenbankabfrage liefert die Eingabe. Der Vertrag bleibt dennoch zuständig für Zweck, Vorhersagezeitpunkt, erlaubte Nutzung und Verantwortliche; ein erfolgreicher Lesezugriff ist keine Trainingsfreigabe.

Für den Nachweis müssen Datenstand, Sichtversion, Workflow-/Regelversion, Splitkonzept und verwendender Trainingslauf verbunden sein. Ein Entzug der Quellberechtigung entfernt vorhandene Exporte oder trainierte Modelle nicht automatisch. Benennt dafür einen Rücknahmeweg und die betroffenen Empfänger.

Die Praxisergänzungen beginnen mit Datenaufnahme für AI, prüft Splitüberlappung und Leakage und endet mit einem versionierten Freigabepaket. Sie konkretisiert den Vertrag, ohne Eignung oder Fairness allein aus einem grünen Workflow abzuleiten.

Praxis mit KNIME: geeignete AI-Daten

Der Fall: ein guter Score aus den falschen Daten

Der Aufnahmevertrag steht. Nun muss ausgeschlossen werden, dass derselbe Fall in mehreren Teilbeständen landet oder eine erst später bekannte Information als Feature genutzt wird. Ein zufälliger Zeilensplit allein löst diese Probleme nicht. Die AWS-Praxisreferenz zu Splits und Leakage beschreibt diese Risiken; die folgende Tabelle ist unser eigener kleiner Kontrollfall.

Kontrollbestand statt Modellversprechen

Kontrolldaten herunterladen · Sollprüfungen. Sechs synthetische Zeilen mit sample_id, entity_id, split und feature_ready werden als bereits zugewiesener Split gelesen. Wir testen die Zuweisung, wir behaupten keinen automatischen KNIME-Split.

sample_id entity_id split feature_ready
S1 E1 train yes
S2 E2 train yes
S3 E1 test yes
S4 E3 validation no
S5 E4 test yes
S6 E5 validation yes

Für diesen Kontrollfall gilt die ausdrückliche Regel: Eine Entität darf nur in einem Teilbestand vorkommen. Bei echten Zeitreihen kann ein anderes, begründetes Zeitkonzept erforderlich sein. Diese Regel nicht ungeprüft auf jedes Forecasting übertragen.

Prüfungen in KNIME umsetzen

  1. Mit CSV Reader Spalten und sechs Zeilen kontrollieren. Zulässige Splitwerte sind train, validation, test.
  2. Mit GroupBy je entity_id die Zahl unterschiedlicher Splits ermitteln. E1 hat zwei: Der Bestand verletzt die Gruppenregel. Anzahl betroffener Entitäten: 1; Anzahl betroffener Zeilen: 2.
  3. Mit Row Filter feature_ready ungleich yes prüfen. S4 ist 1 weiterer blockierender Fall: Das Merkmal wäre zum Vorhersagezeitpunkt nicht bereit.
  4. Zeilenzahlen je Split vergleichen: 2 / 2 / 2. Gleiche Größen beweisen keine Eignung, ausreichende Stichprobe oder faire Abdeckung. In diesem fehlerhaften Kontrollbestand wird nichts zum Training freigegeben.
  5. Im echten Workflow datenabhängige Vorverarbeitung nur am Trainingsbestand anpassen und den ermittelten Stand auf Validation/Test anwenden. Fachlich relevante Gruppen, Zeiträume und Fehlerbilder separat bewerten.

Entscheidung und Grenze

Der Data Steward dokumentiert die Befunde; der Model Owner entscheidet das passende Splitkonzept mit der Fachseite. Ein kleiner bestandener Kontrollfall ist kein Modellqualitäts- oder Fairnessnachweis. Bei Ungleichgewicht, neuer Population oder geänderten Zeitannahmen sind zusätzliche Tests nötig.

Abnahme: Regel, Befund, Korrektur und neuer Prüfstand sind nachvollziehbar. Stop: Splitüberlappung oder Informationen aus der Zukunft. Erst ein korrigierter, erneut geprüfter Datenstand geht an die AI-Datenfreigabe.

ML feature platform governance

Part 2 of 5

View series

Knowledge check

Tour