Model Cards als Betriebsevidenz
Model Cards als lebendige Evidence Packs betreiben — verknüpft mit Feature-Versionen, Ownern und Release-Gates, nicht als statische PDFs.
Eine Modellbeschreibung, die niemand aktualisiert, ist nur eine Broschüre. Ein belastbares Nachweispaket verbindet die freigegebene Modellversion mit den verwendeten Feature-Versionen, dem Trainingsdatenvertrag, bekannten Grenzen und der Freigabeverantwortung.
Ein Scoring-Release hängt an einer Wiki-Card vom letzten Jahr. Die Feature-Pins fehlen, Accuracy steht als Headline, verbotene Nutzungen liegen in einem Anhang. Der Custodian kann den Config-Hash nicht prüfen. Dieser Teil macht die Card zum Gate-Artefakt — nicht zur Broschüre.
Begriffe vor dem Lesen
-
Data Owner — Fachlich verantwortliche Rolle für Zweck, Bedeutung, Risikoakzeptanz und Freigabe.
-
Data Steward — Rolle, die Definitionen, Prüfungen, Konflikte und Nachweise im Alltag pflegt.
-
Data Custodian — Technische Rolle, die Zugriffe, Laufzeit, Sperren und Protokollierung umsetzt.
-
Feature — Eine aus Daten gebildete Eingangsgröße für ein Modell, etwa Bestellungen der letzten 30 Tage. Name, Berechnung und Zeitpunkt gehören zur Definition.
-
Label — Das bekannte oder später beobachtete Ergebnis, aus dem ein Modell beim Training lernt.
-
Trainingsdatenvertrag — Versionierte Vereinbarung über Population, Zeitraum, Features, Labels, Ausschlüsse und erlaubten Zweck eines Trainingslaufs.
-
Point-in-Time-Korrektheit (PIT) — Ein Trainingsdatensatz verwendet nur Informationen, die zum damaligen Entscheidungszeitpunkt bereits bekannt waren.
-
Drift — Messbare Veränderung von Daten, Beziehungen oder Modellverhalten gegenüber dem freigegebenen Ausgangszustand.
Entscheidung
Der Konfigurationshash identifiziert einen geprüften Stand; er beweist weder Modellgüte noch Vollständigkeit. Freigabe und Evaluation bleiben eigene Prüfungen. Bei zusätzlichen Retrieval- oder Prompt-Pfaden werden deren Versionen passend mitgeführt. Die Release-Sperre ist das interne Muster; eine Ausnahme braucht Mandat und Frist und hebt bindende Anforderungen nicht auf.
Jede produktive Modellversion erhält ein Model Nachweispaket mit:
- intendierter Nutzung und verbotenen Nutzungen;
- Trainingsdaten-Contract-ID und Feature-Versions-Set;
- Evaluationszusammenfassung mit bekannten Lücken und Fairness-/Limitations-Hinweisen wo nötig;
- Data-Owner-Freigabe zum Geschäftsrisiko; Steward-Vollständigkeitscheck; Custodian-Konfigurations-Hash des Betriebs;
- Human-Review-Anforderungen für wirkungsstarke Outputs (angelehnt an Fit for AI).
Release ohne aktuelles Pack ist blockiert, sofern keine befristete Ausnahme existiert.
Evidenz-Workflow
1. Card an Versionen binden
Modell-ID plus Version müssen exakte Feature-Versionen und das Trainingsfenster referenzieren. „Latest Features“ ist keine Evidenz. Der Steward prüft die Pins gegen den Store aus Teil 3; ohne Pins ist Accuracy eine Headline ohne Reproduzierbarkeit.
2. Invent und Operate trennen
Research-Notizen dürfen informell sein. Produktions-Release braucht die Pack-Felder oben. Eine immergrüne Card für alle Versionen macht das Gate wertlos, sobald das erste erneuten Trainingslauf läuft.
3. Review-Kadenz halten
Steward triggert Review bei materieller Feature-Änderung, Drift-Incident oder Kalenderintervall. Data Owner bestätigt Risiko erneut bei Nutzungserweiterung. Emoji-Freigabe zählt nicht — Artefakt ist der Vollständigkeitscheck mit Risikofragen.
4. Limits für Nutzende sichtbar machen
Nachgelagerte Teams müssen verbotene Nutzungen und bekannte Lücken sehen — nicht nur Accuracy-Headlines. Der Steward veröffentlicht Limits an das primäre Nutzende-Team. Versteckte Anhänge, die niemand liest, sind kein Gate.
5. Dort speichern, wo Release prüft
Custodian verifiziert Pack-ID und Config-Hash in der Deployment-Pipeline. Ein loses PDF im Chat zählt nicht. Nach dem ersten Launch die Card optional machen heißt, den nächsten Incident ohne Nachweise zu fahren.
Handoffs
| Von | An | Artefakt |
|---|---|---|
| Model-Team | Steward | Entwurf Model Nachweispaket |
| Steward | Data Owner | Vollständigkeitscheck + Risikofragen |
| Data Owner | Custodian | Freigabe zur Weitergabe + ggf. Ausnahme |
| Custodian | Operations | Config-Hash + Pack-ID in Deploy-Evidenz |
| Nutzende | Steward | Antrag auf Nutzungserweiterung |
Anti-Patterns
- Eine immergrüne Model Card für alle Versionen
- Accuracy-Metriken ohne Feature-Versions-Pins
- Freigabe durch die verantwortliche Person per Emoji-Reaktion
- Verbotene Nutzungen in einem Anhang verstecken, den niemand liest
- Die Card nach dem ersten Launch optional machen
Erster Praxistest
Nehmt einen realen, begrenzten Nutzungspfad. Führt die folgenden Schritte mit den tatsächlich verantwortlichen Rollen und Systemen aus. Der Test ist erst abgeschlossen, wenn Entscheidung, technische Wirkung und Nachweis zusammenpassen.
- Die Card eines Produktionsmodells in ein versioniertes Nachweispaket mit Feature-Pins überführen.
- Einen Deploy-Check ergänzen, der Pack-ID verlangt.
- Ein Steward-Vollständigkeitsreview mit Data-Owner-Risikobestätigung fahren.
- Verbotene Nutzungen an das primäre Nutzende-Team kommunizieren.
ML feature platform governance
Part 4 of 5
View series