Model Cards als Betriebsevidenz
Model Cards als lebendige Evidence Packs betreiben — verknüpft mit Feature-Versionen, Ownern und Release-Gates, nicht als statische PDFs.
Eine Model Card, die niemand aktualisiert, ist eine Broschüre. Betriebsevidenz verknüpft Modellversion, Feature-Versionen, Trainings-Contract, bekannte Grenzen und wer releasen darf.
Ein Scoring-Release hängt an einer Wiki-Card vom letzten Jahr. Die Feature-Pins fehlen, Accuracy steht als Headline, verbotene Nutzungen liegen in einem Anhang. Der Custodian kann den Config-Hash nicht prüfen. Dieser Teil macht die Card zum Gate-Artefakt — nicht zur Broschüre.
Vorher: Zugriff, Lineage und Point-in-Time-Korrektheit. Weiter: Drift-, Incident-Gates und Retirement.
z verknüpft Modellversion, Feature-Versionen, Trainings-Contract, bekannte Grenzen und wer releasen darf.
Lösung: Jede produktive Modellversion erhält ein versioniertes Model Evidence Pack mit intendierter und verbotener Nutzung, Trainings-Contract-ID, Feature-Versions-Set, Eval-Limits, Data-Owner-Freigabe, Steward-Vollständigkeitscheck und Custodian-Config-Hash. Release ohne aktuelles Pack ist blockiert.
In einem Satz: Kein Production-Release ohne versioniertes Evidence Pack mit Feature-Pins, Owner und Limits.
Entscheidung
Jede produktive Modellversion erhält ein Model Evidence Pack mit:
- intendierter Nutzung und verbotenen Nutzungen;
- Trainingsdaten-Contract-ID und Feature-Versions-Set;
- Evaluationszusammenfassung mit bekannten Lücken und Fairness-/Limitations-Hinweisen wo nötig;
- Data-Owner-Freigabe zum Geschäftsrisiko; Steward-Vollständigkeitscheck; Custodian-Konfigurations-Hash des Betriebs;
- Human-Review-Anforderungen für wirkungsstarke Outputs (angelehnt an Fit for AI).
Release ohne aktuelles Pack ist blockiert, sofern keine befristete Ausnahme existiert.
Evidenz-Workflow
1. Card an Versionen binden
Modell-ID plus Version müssen exakte Feature-Versionen und das Trainingsfenster referenzieren. „Latest Features“ ist keine Evidenz. Der Steward prüft die Pins gegen den Store aus Teil 3; ohne Pins ist Accuracy eine Headline ohne Reproduzierbarkeit.
2. Invent und Operate trennen
Research-Notizen dürfen informell sein. Produktions-Release braucht die Pack-Felder oben. Eine immergrüne Card für alle Versionen macht das Gate wertlos, sobald das erste Retrain läuft.
3. Review-Kadenz halten
Steward triggert Review bei materieller Feature-Änderung, Drift-Incident oder Kalenderintervall. Data Owner bestätigt Risiko erneut bei Nutzungserweiterung. Emoji-Freigabe zählt nicht — Artefakt ist der Vollständigkeitscheck mit Risikofragen.
4. Limits für Consumer sichtbar machen
Nachgelagerte Teams müssen verbotene Nutzungen und bekannte Lücken sehen — nicht nur Accuracy-Headlines. Der Steward veröffentlicht Limits an das primäre Consumer-Team. Versteckte Anhänge, die niemand liest, sind kein Gate.
5. Dort speichern, wo Release prüft
Custodian verifiziert Pack-ID und Config-Hash in der Deployment-Pipeline. Ein loses PDF im Chat zählt nicht. Nach dem ersten Launch die Card optional machen heißt, den nächsten Incident ohne Evidence zu fahren.
Handoffs
| Von | An | Artefakt |
|---|---|---|
| Model-Team | Steward | Entwurf Model Evidence Pack |
| Steward | Data Owner | Vollständigkeitscheck + Risikofragen |
| Data Owner | Custodian | Release-Freigabe + ggf. Ausnahme |
| Custodian | Operations | Config-Hash + Pack-ID in Deploy-Evidenz |
| Consumer | Steward | Antrag auf Nutzungserweiterung |
Anti-Patterns
- Eine immergrüne Model Card für alle Versionen
- Accuracy-Metriken ohne Feature-Versions-Pins
- Freigabe durch die verantwortliche Person per Emoji-Reaktion
- Verbotene Nutzungen in einem Anhang verstecken, den niemand liest
- Die Card nach dem ersten Launch optional machen
Umsetzung im Alltag
Dieser Einstieg ist kein Kalenderzwang und keine Leseliste. Nimm einen echten Fall, an dem sich die Entscheidung prüfen lässt.
Arbeitsweise: Nutze den verlinkten Plan als Arbeitsfläche für Owner, Termine und offene Punkte. Die fachliche Entscheidung muss trotzdem in der Story verständlich bleiben.
Starte mit dem kleinsten Fall, der fachlich wichtig genug ist. Prüfe danach, ob die Entscheidung wirklich auffindbar, umsetzbar und auditierbar ist. Rollenklärung: Wer hilft wem an der Quelle.
- Die Card eines Produktionsmodells in ein versioniertes Evidence Pack mit Feature-Pins überführen.
- Einen Deploy-Check ergänzen, der Pack-ID verlangt.
- Ein Steward-Vollständigkeitsreview mit Data-Owner-Risikobestätigung fahren.
- Verbotene Nutzungen an das primäre Consumer-Team kommunizieren.
ML feature platform governance
Part 4 of 5
View series