Zum Inhalt springen
Search the hub
Model Cards als Betriebsevidenz

Model Cards als Betriebsevidenz

Model Cards als lebendige Evidence Packs betreiben — verknüpft mit Feature-Versionen, Ownern und Release-Gates, nicht als statische PDFs.

Category
Data Governance
Reading time
4 min
Published
Tags
ml model-cards evidence release-gates ai-governance
Download PDF

Eine Modellbeschreibung, die niemand aktualisiert, ist nur eine Broschüre. Ein belastbares Nachweispaket verbindet die freigegebene Modellversion mit den verwendeten Feature-Versionen, dem Trainingsdatenvertrag, bekannten Grenzen und der Freigabeverantwortung.

Ein Scoring-Release hängt an einer Wiki-Card vom letzten Jahr. Die Feature-Pins fehlen, Accuracy steht als Headline, verbotene Nutzungen liegen in einem Anhang. Der Custodian kann den Config-Hash nicht prüfen. Dieser Teil macht die Card zum Gate-Artefakt — nicht zur Broschüre.

Begriffe vor dem Lesen

  • Data Owner — Fachlich verantwortliche Rolle für Zweck, Bedeutung, Risikoakzeptanz und Freigabe.

  • Data Steward — Rolle, die Definitionen, Prüfungen, Konflikte und Nachweise im Alltag pflegt.

  • Data Custodian — Technische Rolle, die Zugriffe, Laufzeit, Sperren und Protokollierung umsetzt.

  • Feature — Eine aus Daten gebildete Eingangsgröße für ein Modell, etwa Bestellungen der letzten 30 Tage. Name, Berechnung und Zeitpunkt gehören zur Definition.

  • Label — Das bekannte oder später beobachtete Ergebnis, aus dem ein Modell beim Training lernt.

  • Trainingsdatenvertrag — Versionierte Vereinbarung über Population, Zeitraum, Features, Labels, Ausschlüsse und erlaubten Zweck eines Trainingslaufs.

  • Point-in-Time-Korrektheit (PIT) — Ein Trainingsdatensatz verwendet nur Informationen, die zum damaligen Entscheidungszeitpunkt bereits bekannt waren.

  • Drift — Messbare Veränderung von Daten, Beziehungen oder Modellverhalten gegenüber dem freigegebenen Ausgangszustand.

Entscheidung

Der Konfigurationshash identifiziert einen geprüften Stand; er beweist weder Modellgüte noch Vollständigkeit. Freigabe und Evaluation bleiben eigene Prüfungen. Bei zusätzlichen Retrieval- oder Prompt-Pfaden werden deren Versionen passend mitgeführt. Die Release-Sperre ist das interne Muster; eine Ausnahme braucht Mandat und Frist und hebt bindende Anforderungen nicht auf.

Jede produktive Modellversion erhält ein Model Nachweispaket mit:

  1. intendierter Nutzung und verbotenen Nutzungen;
  2. Trainingsdaten-Contract-ID und Feature-Versions-Set;
  3. Evaluationszusammenfassung mit bekannten Lücken und Fairness-/Limitations-Hinweisen wo nötig;
  4. Data-Owner-Freigabe zum Geschäftsrisiko; Steward-Vollständigkeitscheck; Custodian-Konfigurations-Hash des Betriebs;
  5. Human-Review-Anforderungen für wirkungsstarke Outputs (angelehnt an Fit for AI).

Release ohne aktuelles Pack ist blockiert, sofern keine befristete Ausnahme existiert.

Evidenz-Workflow

1. Card an Versionen binden

Modell-ID plus Version müssen exakte Feature-Versionen und das Trainingsfenster referenzieren. „Latest Features“ ist keine Evidenz. Der Steward prüft die Pins gegen den Store aus Teil 3; ohne Pins ist Accuracy eine Headline ohne Reproduzierbarkeit.

2. Invent und Operate trennen

Research-Notizen dürfen informell sein. Produktions-Release braucht die Pack-Felder oben. Eine immergrüne Card für alle Versionen macht das Gate wertlos, sobald das erste erneuten Trainingslauf läuft.

3. Review-Kadenz halten

Steward triggert Review bei materieller Feature-Änderung, Drift-Incident oder Kalenderintervall. Data Owner bestätigt Risiko erneut bei Nutzungserweiterung. Emoji-Freigabe zählt nicht — Artefakt ist der Vollständigkeitscheck mit Risikofragen.

4. Limits für Nutzende sichtbar machen

Nachgelagerte Teams müssen verbotene Nutzungen und bekannte Lücken sehen — nicht nur Accuracy-Headlines. Der Steward veröffentlicht Limits an das primäre Nutzende-Team. Versteckte Anhänge, die niemand liest, sind kein Gate.

5. Dort speichern, wo Release prüft

Custodian verifiziert Pack-ID und Config-Hash in der Deployment-Pipeline. Ein loses PDF im Chat zählt nicht. Nach dem ersten Launch die Card optional machen heißt, den nächsten Incident ohne Nachweise zu fahren.

Handoffs

Von An Artefakt
Model-Team Steward Entwurf Model Nachweispaket
Steward Data Owner Vollständigkeitscheck + Risikofragen
Data Owner Custodian Freigabe zur Weitergabe + ggf. Ausnahme
Custodian Operations Config-Hash + Pack-ID in Deploy-Evidenz
Nutzende Steward Antrag auf Nutzungserweiterung

Anti-Patterns

  • Eine immergrüne Model Card für alle Versionen
  • Accuracy-Metriken ohne Feature-Versions-Pins
  • Freigabe durch die verantwortliche Person per Emoji-Reaktion
  • Verbotene Nutzungen in einem Anhang verstecken, den niemand liest
  • Die Card nach dem ersten Launch optional machen

Erster Praxistest

Nehmt einen realen, begrenzten Nutzungspfad. Führt die folgenden Schritte mit den tatsächlich verantwortlichen Rollen und Systemen aus. Der Test ist erst abgeschlossen, wenn Entscheidung, technische Wirkung und Nachweis zusammenpassen.

  1. Die Card eines Produktionsmodells in ein versioniertes Nachweispaket mit Feature-Pins überführen.
  2. Einen Deploy-Check ergänzen, der Pack-ID verlangt.
  3. Ein Steward-Vollständigkeitsreview mit Data-Owner-Risikobestätigung fahren.
  4. Verbotene Nutzungen an das primäre Nutzende-Team kommunizieren.

ML feature platform governance

Part 4 of 5

View series

Knowledge check

Tour