Feature-Definition und Trainingsdaten-Contracts
Feature-Bedeutung, Label-Ursprung und Trainingsfenster vor dem Modelltraining in durchsetzbare Contracts binden.
Ein Feature ohne Definition ist eine Vermutung mit Spaltennamen. Training ohne Daten-Contract mischt still Labels, Fenster und Populationen, die später nicht reproduzierbar sind. Governance beginnt, wenn Bedeutung und Trainingseingaben durchsetzbare Artefakte werden.
Die Definition steht im Notebook-Kommentar, der gestrige Extrakt wird ohne Fenster wiederverwendet, Labels gelten als verlässliche Referenz ohne Guideline-Version. Dieser Teil bindet Definition, Label-Provenance und Trainingsfenster — bevor Zugriff, Model Card und Drift-Gates darauf aufsetzen.
Begriffe vor dem Lesen
-
Data Owner — Fachlich verantwortliche Rolle für Zweck, Bedeutung, Risikoakzeptanz und Freigabe.
-
Data Steward — Rolle, die Definitionen, Prüfungen, Konflikte und Nachweise im Alltag pflegt.
-
Data Custodian — Technische Rolle, die Zugriffe, Laufzeit, Sperren und Protokollierung umsetzt.
-
Feature — Eine aus Daten gebildete Eingangsgröße für ein Modell, etwa Bestellungen der letzten 30 Tage. Name, Berechnung und Zeitpunkt gehören zur Definition.
-
Label — Das bekannte oder später beobachtete Ergebnis, aus dem ein Modell beim Training lernt.
-
Trainingsdatenvertrag — Versionierte Vereinbarung über Population, Zeitraum, Features, Labels, Ausschlüsse und erlaubten Zweck eines Trainingslaufs.
-
Point-in-Time-Korrektheit (PIT) — Ein Trainingsdatensatz verwendet nur Informationen, die zum damaligen Entscheidungszeitpunkt bereits bekannt waren.
-
Drift — Messbare Veränderung von Daten, Beziehungen oder Modellverhalten gegenüber dem freigegebenen Ausgangszustand.
Entscheidung
Vor jedem produktiven Training:
- die Feature-Definition hält fachliche Bedeutung, Formel oder Quell-Transform, Einheiten, Null-Politik und Bezugs- und Detailebene fest;
- der Trainingsdaten-Contract hält Population, Fenster, Label-Ursprung, Ausschlussregeln und erlaubte Feature-Versionen fest;
- der Data Owner genehmigt Bedeutung und erlaubten Trainingszweck; der Steward pflegt Definitionen; der Custodian setzt Schema- und Ingest-Gates durch;
- Label-Quellen tragen dieselbe Provenance-Pflicht wie Features — Labels sind ebenfalls Datenprodukte;
- jede materielle Änderung an Definition oder Trainingsfenster wird versioniert und mit Auswirkungen auf Nutzende versehen.
Kein Trainingslauf ohne definierte Feature-Versionen oder mit abgelaufenem Contract.
Definitions- und Contract-Workflow
1. Definitionskarte schreiben
Der Steward schreibt eine Karte, die eine Domänenexpertin in einem Satz verteidigen kann: Entity-Key, Beobachtungszeit, Null-Politik, Spätankünfte. Der Data Owner genehmigt Bedeutung und Trainingszweck. Definition nur im Code-Kommentar macht jede Pipeline zur Auslegungssache.
2. Offline-Transform und Online-Serving trennen
Wenn Offline und Online divergieren, dokumentieren Steward und Model-Team die bewusste Lücke plus Abnahmetest. Stiller Skew ist ein Incident mit Verzögerung, keine „bekannte Eigenheit“. Wer die Lücke nicht schreibt, invalidiert später jede Aussage zur Modellbewertung.
3. Trainingsdatensatz vertraglich festlegen
Population in/out, Datumsfenster, Sampling-Regel, Leakage-Checks und verbotene Joins. Fitness-Gates aus Fit for AI hängen am Contract, nicht am Notebook-Dateinamen. Ein Extrakt ohne definiertes Fenster und Verfügbarkeitsprüfung lässt Leakage-Risiken ungeklärt; das allein beweist noch keinen tatsächlichen Informationsabfluss. Der Trainingsnachweis muss den damals nutzbaren Feature-Stand prüfen, einschließlich Spätankünften und Korrekturen. Siehe PIT-Abnahme und Grenzen.
4. Labels binden
Wer hat mit welcher Guideline-Version wann gelabelt — und mit welchem Qualitätssample? Mehrdeutige Labels brauchen Steward-Triage vor dem Training. „verlässliche Referenz“ ohne Provenance macht Modelle unvergleichbar.
5. Trainingslauf durch eine verbindliche Prüfung absichern
Der Custodian blockiert Jobs ohne Feature-Versions-Tags oder mit abgelaufenem Contract. Ausnahmen tragen Ablauf und Owner. Mündliche Freigabe im Chat ist kein Gate — der nächste Trainingslauf erbt die Lücke.
Handoffs
| Von | An | Artefakt |
|---|---|---|
| Data Owner | Steward | Genehmigte Definition + Trainingszweck |
| Steward | Labeling / Domänenexperten | Label-Guideline + Abnahmesample |
| Steward | Custodian | Schema, Null-Politik, Versions-Tags |
| Model-Team | Steward | Trainings-Contract-Antrag (Fenster, Population) |
| Custodian | Data Owner | Gate-Evidenz für den Trainingslauf |
Anti-Patterns
- Features nur in Code-Kommentaren definieren
- Gestrigen Trainingsextrakt ohne Fenster-Vereinbarung wiederverwenden
- Labels als „verlässliche Referenz“ ohne Provenance behandeln
- Online- und Offline-Logik ohne dokumentierte Lücke divergieren lassen
- Trainingszweck mündlich im Chat freigeben
Erster Praxistest
Nehmt einen realen, begrenzten Nutzungspfad. Führt die folgenden Schritte mit den tatsächlich verantwortlichen Rollen und Systemen aus. Der Test ist erst abgeschlossen, wenn Entscheidung, technische Wirkung und Nachweis zusammenpassen.
- Definitionskarten für fünf Produktions-Features veröffentlichen.
- Einen Trainingsdaten-Contract an den nächsten geplanten erneuten Trainingslauf hängen.
- Einen blockierenden Check für fehlende Feature-Versions-Tags bei der Übernahme in den Trainingslauf ergänzen.
- Zwanzig Labels samplen und Guideline-Version plus Widerspruchsrate dokumentieren.
Den Vertrag mit KNIME umsetzen
KNIME kann die vereinbarte Spaltenauswahl, Prüfungen und Trennung von Datenbeständen als nachvollziehbaren Ablauf ausführen. Eine genehmigte Datei oder Datenbankabfrage liefert die Eingabe. Der Vertrag bleibt dennoch zuständig für Zweck, Vorhersagezeitpunkt, erlaubte Nutzung und Verantwortliche; ein erfolgreicher Lesezugriff ist keine Trainingsfreigabe.
Für den Nachweis müssen Datenstand, Sichtversion, Workflow-/Regelversion, Splitkonzept und verwendender Trainingslauf verbunden sein. Ein Entzug der Quellberechtigung entfernt vorhandene Exporte oder trainierte Modelle nicht automatisch. Benennt dafür einen Rücknahmeweg und die betroffenen Empfänger.
Die Praxisergänzungen beginnen mit Datenaufnahme für AI, prüft Splitüberlappung und Leakage und endet mit einem versionierten Freigabepaket. Sie konkretisiert den Vertrag, ohne Eignung oder Fairness allein aus einem grünen Workflow abzuleiten.
Praxis mit KNIME: geeignete AI-Daten
Der Fall: ein guter Score aus den falschen Daten
Der Aufnahmevertrag steht. Nun muss ausgeschlossen werden, dass derselbe Fall in mehreren Teilbeständen landet oder eine erst später bekannte Information als Feature genutzt wird. Ein zufälliger Zeilensplit allein löst diese Probleme nicht. Die AWS-Praxisreferenz zu Splits und Leakage beschreibt diese Risiken; die folgende Tabelle ist unser eigener kleiner Kontrollfall.
Kontrollbestand statt Modellversprechen
Kontrolldaten herunterladen · Sollprüfungen. Sechs synthetische Zeilen mit sample_id, entity_id, split und feature_ready werden als bereits zugewiesener Split gelesen. Wir testen die Zuweisung, wir behaupten keinen automatischen KNIME-Split.
| sample_id | entity_id | split | feature_ready |
|---|---|---|---|
| S1 | E1 | train | yes |
| S2 | E2 | train | yes |
| S3 | E1 | test | yes |
| S4 | E3 | validation | no |
| S5 | E4 | test | yes |
| S6 | E5 | validation | yes |
Für diesen Kontrollfall gilt die ausdrückliche Regel: Eine Entität darf nur in einem Teilbestand vorkommen. Bei echten Zeitreihen kann ein anderes, begründetes Zeitkonzept erforderlich sein. Diese Regel nicht ungeprüft auf jedes Forecasting übertragen.
Prüfungen in KNIME umsetzen
- Mit CSV Reader Spalten und sechs Zeilen kontrollieren. Zulässige Splitwerte sind
train,validation,test. - Mit GroupBy je
entity_iddie Zahl unterschiedlicher Splits ermitteln. E1 hat zwei: Der Bestand verletzt die Gruppenregel. Anzahl betroffener Entitäten: 1; Anzahl betroffener Zeilen: 2. - Mit Row Filter
feature_readyungleichyesprüfen. S4 ist 1 weiterer blockierender Fall: Das Merkmal wäre zum Vorhersagezeitpunkt nicht bereit. - Zeilenzahlen je Split vergleichen: 2 / 2 / 2. Gleiche Größen beweisen keine Eignung, ausreichende Stichprobe oder faire Abdeckung. In diesem fehlerhaften Kontrollbestand wird nichts zum Training freigegeben.
- Im echten Workflow datenabhängige Vorverarbeitung nur am Trainingsbestand anpassen und den ermittelten Stand auf Validation/Test anwenden. Fachlich relevante Gruppen, Zeiträume und Fehlerbilder separat bewerten.
Entscheidung und Grenze
Der Data Steward dokumentiert die Befunde; der Model Owner entscheidet das passende Splitkonzept mit der Fachseite. Ein kleiner bestandener Kontrollfall ist kein Modellqualitäts- oder Fairnessnachweis. Bei Ungleichgewicht, neuer Population oder geänderten Zeitannahmen sind zusätzliche Tests nötig.
Abnahme: Regel, Befund, Korrektur und neuer Prüfstand sind nachvollziehbar. Stop: Splitüberlappung oder Informationen aus der Zukunft. Erst ein korrigierter, erneut geprüfter Datenstand geht an die AI-Datenfreigabe.
ML feature platform governance
Part 2 of 5
View series