Feature-Drift, Incident-Gates und Retirement
Veränderungen und Störungen erkennen, Training oder produktive Berechnung gezielt stoppen und Feature-Versionen geordnet außer Betrieb nehmen.
Features altern: Verteilungen verändern sich und Quellen können ausfallen. Ohne automatische Stopps arbeitet ein Modell mit unbemerkt schlechter werdenden Daten weiter. Wird eine Feature-Version ohne Information an ihre Nutzenden stillgelegt, entstehen häufig Schattenkopien und nicht mehr betreute Abhängigkeiten.
Die Nullrate verdoppelt sich über Nacht. Das Modell berechnet trotzdem weiter, während die Betriebsübersicht noch einen unauffälligen Zustand zeigt. Niemand ist für die Warnung verantwortlich. Wird anschließend eine Tabelle ohne Hinweis gelöscht, entsteht am nächsten Tag oft eine unkontrollierte Kopie. Dieser Teil schließt die Serie mit klaren Stopps, aktualisierten Nachweisen und einer geordneten Außerbetriebnahme.
Begriffe vor dem Lesen
-
Data Owner — Fachlich verantwortliche Rolle für Zweck, Bedeutung, Risikoakzeptanz und Freigabe.
-
Data Steward — Rolle, die Definitionen, Prüfungen, Konflikte und Nachweise im Alltag pflegt.
-
Data Custodian — Technische Rolle, die Zugriffe, Laufzeit, Sperren und Protokollierung umsetzt.
-
Feature — Eine aus Daten gebildete Eingangsgröße für ein Modell, etwa Bestellungen der letzten 30 Tage. Name, Berechnung und Zeitpunkt gehören zur Definition.
-
Label — Das bekannte oder später beobachtete Ergebnis, aus dem ein Modell beim Training lernt.
-
Trainingsdatenvertrag — Versionierte Vereinbarung über Population, Zeitraum, Features, Labels, Ausschlüsse und erlaubten Zweck eines Trainingslaufs.
-
Point-in-Time-Korrektheit (PIT) — Ein Trainingsdatensatz verwendet nur Informationen, die zum damaligen Entscheidungszeitpunkt bereits bekannt waren.
-
Drift — Messbare Veränderung von Daten, Beziehungen oder Modellverhalten gegenüber dem freigegebenen Ausgangszustand.
Entscheidung
Für Produktions-Features und -Modelle:
- Signale für Veränderung und Aktualität mit Schwellen und verantwortlichen Rollen definieren;
- Schwere eines Vorfalls klassifizieren: warnen, eingeschränkt weiterarbeiten, Training stoppen oder produktive Berechnung stoppen;
- Steward triagiert; Data Owner akzeptiert Restrisiko oder ordnet Stopp an; Custodian führt Gate und Rollback aus;
- jeder Stopp aktualisiert die Modelldokumentation und das Verzeichnis der Nutzenden;
- die Außerbetriebnahme braucht eine Informationsfrist, einen benannten Nachfolger sowie die Löschung oder Archivierung erzeugter Datensätze.
Kein Training und keine produktive Berechnung auf einer fehlerhaften Quelle, nur weil das Modell technisch noch läuft.
Drift- und Retirement-Workflow
1. Signale instrumentieren
Nullrate, Volumen, Schema-Bruch, Verteilungsdistanz und Quell-Lag — gebunden an Feature-ID und Version. Der Custodian liefert das Rohsignal; der Steward besitzt den Alert. Alerts ohne verantwortlichen Steward sind Lärm, kein Gate.
2. Reaktion nach Auswirkung festlegen
Das Training kann gestoppt werden, während im Betrieb die letzte nachweislich funktionierende Version weiterläuft; bei schweren Fehlern stoppt beides. Data Owner und Steward dokumentieren das Standardverhalten je Risikoklasse. Fehlt diese Vorgabe, muss der Bereitschaftsdienst unter Zeitdruck improvisieren.
3. Incident-Pfad fahren
Ticket, Schwere, Interim-Control, Root Cause, Aktualisierung des Nachweispakets und Post-Incident-Review. Artefakt ist Feature-Version, Detection-Zeit, Entscheidung und Rollback-Nachweis. Wer nur „das Modell läuft noch“ sieht, übersieht stille Degradation.
4. Fix vs. Retire entscheiden
Wenn sich die Quellbedeutung dauerhaft ändert: versionieren oder retire. Dieselbe ID nicht still umdefinieren. Der Data Owner schließt die Option; der Steward benachrichtigt Nutzende. Eine stillgelegte ID für neue Bedeutung wiederzuverwenden zerstört Lineage.
5. Geordnet außer Betrieb nehmen
Nutzende benachrichtigen, Writes einfrieren, mit Aufbewahrungsfrist archivieren, Zugriff entziehen und aus Listen erlaubter Trainingsquellen entfernen. Custodian liefert Ausführungs-Evidenz. Tabellenlöschen ohne Notice erzeugt die nächste Schattenkopie. Permanenter Degrade-Modus ohne Ablauf ist Retirement-Verweigerung.
Handoffs
| Von | An | Artefakt |
|---|---|---|
| Custodian | Steward | Drift-/Incident-Alert + Rohsignal |
| Steward | Data Owner | Schwere-Vorschlag + Optionen (fix / degrade / retire) |
| Data Owner | Custodian | Gate-Entscheidung + Restrisiko-Akzeptanz |
| Steward | Nutzende | Meldung eines Vorfalls / Retirement-Notice |
| Custodian | Steward | Ausführungs-Evidenz (Gate, Archiv, Zugriffsregel-Revoke) |
Anti-Patterns
- Alerts ohne verantwortlichen Steward
- Training und produktive Berechnung auf kaputter Quelle fortsetzen, „weil das Modell noch läuft“
- Eine stillgelegte Feature-ID für neue Bedeutung wiederverwenden
- Retirement durch Tabellenlöschen ohne Nutzer-Hinweis
- Permanenter Degrade-Modus ohne Ablaufdatum
Erster Praxistest
Nehmt einen realen, begrenzten Nutzungspfad. Führt die folgenden Schritte mit den tatsächlich verantwortlichen Rollen und Systemen aus. Der Test ist erst abgeschlossen, wenn Entscheidung, technische Wirkung und Nachweis zusammenpassen.
- Drei Drift-/Frische-Signale auf einem kritischen Feature aktivieren.
- Warn- vs. Block-Defaults mit dem Data Owner dokumentieren.
- Einen Incident proben: Train blocken, die letzte nachweislich funktionierende Version im Betrieb halten, Nachweispaket aktualisieren.
- Ein ungenutztes Produktions-Feature mit Nutzende-Notice retire oder formal waiven.
ML feature platform governance
Part 5 of 5
View series