Zum Inhalt springen
Search the hub
DQ-Gates für AI-Fitness

DQ-Gates für AI-Fitness

Qualitäts- und Fitness-Gates für AI-Corpora — PII-Rate, Leakage, Noise, Drift — jenseits von BI-Scores, vor Retrieve oder Train.

Category
Data Governance
Reading time
8 min
Published
Tags
data-governance data-quality ai-governance training-data rag dq-gate stewardship
Download PDF

Was aus dem vorherigen Schritt ankommt

Ein vorbereiteter Snapshot ist vorhanden. Jetzt wird geprüft, ob seine vereinbarten Qualitäts- und Zweckbedingungen tatsächlich vor dem Ingest ausgewertet werden.

Ausgangspunkt: Aufräumen vor Retrieve oder Train.

Begriffe vor dem Lesen

  • Datenmüll — Daten, Dokumente oder Assets ohne belastbaren Zweck, zuständige Fachrolle, Aktualität, Herkunft oder Qualitätsnachweis.
  • KI-Suche — Retrieval-Augmented Generation: ein Modell ruft Inhalte zur Laufzeit ab, statt nur aus Training zu antworten.
  • Training — Nutzung von Daten, um Modellverhalten oder Features zu lernen.
  • Imputation / Schätzung — Ersetzen fehlender Werte durch abgeleitete Annahmen. Das muss sichtbar bleiben.
  • KI-Fitness — Eignung eines Assets für Retrieval, Training oder Agentennutzung mit Zweck, Qualität, Rechten und Nachweis.

Qualität, Quellkorrektur und AI-Nutzung

Datenqualität muss sichtbar machen, wo ein Problem behoben wurde. Wenn der Fehler im Quellsystem entsteht, ist die beste Behebung eine Korrektur an der Quelle oder mindestens ein dokumentierter Quellbefund mit Verantwortung. Wenn ETL oder ELT Werte nachgelagert bereinigt, schätzt, mappt oder filtert, braucht diese Änderung Nachweis: Regel, Grund, betroffene Felder, Version und erlaubte Nutzung.

Das ist besonders wichtig für AI. Retrieval, Training, Features und Agenten sehen oft nur das nachgelagerte Ergebnis. Ohne Kennzeichnung wissen sie nicht, ob ein Wert beobachtet, korrigiert, geschätzt, defaulted oder ausgeschlossen wurde. Governance muss Unsicherheit und Herkunft erhalten, statt sie hinter einem sauber wirkenden Datensatz zu verstecken.

Ein grüner BI-Qualitätsscore macht einen KI-Dokumentbestand nicht automatisch geeignet. Eine Tabelle kann für ein Dashboard ausreichend sein und trotzdem für KI-Suche oder Training ungeeignet bleiben, etwa weil personenbezogene Daten enthalten sind, Dubletten dominieren, ein alter Stand verwendet wird oder Schätzwerte nicht markiert sind.

KI-Fitness ist deshalb zweckgebunden: Was für eine interne beantwortete Suche erlaubt ist, kann für Training verboten sein. Was in einer Sandbox warnen darf, muss in Produktion blockieren.

Lifecycle-Gates stoppen Müll am Asset-Eingang — Müll mit Lifecycle-Gates verhindern. Hier sitzt das Gate am Corpus-Snapshot vor AI-Ingest.

Vorher: Aufräumen vor Retrieve oder Train. Weiter: PII vor AI-Ingestion stoppen.

Entscheidung

Bevor ein Snapshot aus Teil 2 in eine KI-Suche oder ein Training aufgenommen wird:

  1. Fitness-Gates auf dem Snapshot: Produktion blockiert bei harten Fehlern, Sandbox darf warnen.
  2. Startdimensionen: Hygiene-Entscheidung, Rate personenbezogener Daten oder Secrets, Dubletten, Trainings-Leakage, Unsicherheitslabel, Aktualität, Drift, Metadatenvertrag und ausgeschlossene Zwecke.
  3. Jobs lesen den Gate-Status: Ein PDF mit Freigabe reicht nicht, wenn die Pipeline es ignoriert.
  4. Ausnahmen laufen ab: Befristete Ausnahme mit Steward- und Datenschutzfreigabe, keine dauerhafte Hintertür.
  5. Verantwortung pro Gate: Eine verantwortliche Rolle je Prüfdimension, Steward für Fehlergründe, technischer Betreiber für Sperre. Fitness ist nicht dasselbe wie Model Evaluation — AI Eval.
Gate Fail wenn Gilt für
Hygiene-Disposition Quelle noch blocked / Orphan ohne Waiver beide
PII-/Secret-Rate über Zweck-Schwelle nach Scrub beide
Dedup / Near-Dup Duplikat-Masse über Schwelle beide
Leakage Train∩Eval oder Train∩Prod-Prompts über Policy Training
Freshness / Drift Quelle älter als Zweck-SLA oder Drift-Alert offen beide
Metadata-Vertrag Pflichtfelder im Profil fehlen beide

Gate-Workflow

1. Prüfungen und Verantwortliche mappen

Die zuständige Fachrolle macht jede Dimension messbar. Der Steward setzt Schwellen pro Zweck, zum Beispiel für KI-Suche anders als für Training. Ohne benannte Verantwortung bleibt „fit for AI“ nur eine Folienbehauptung — AI-Eignung ist mehr als ein Score.

2. Jobs an Status binden

Der technische Betreiber lässt Index- und Trainingspipelines nur freigegebene Snapshots lesen. Harte Fehler blockieren Produktion; Sandbox-Läufe werden sichtbar gewarnt. Ein Gate, das der Job ignoriert, ist Dekoration.

3. Fails handlungsfähig machen

Der Steward veröffentlicht Fehlergründe an die verantwortliche Rolle. Es darf keinen stillen Reject geben. Die zuständige Fachrolle entscheidet Korrektur oder befristete Ausnahme. Ein Fehler ohne Begründung erzeugt Schattenwege.

4. Drift an Rebuild hängen

Der Steward verknüpft offene Drift-Signale mit Rebuild-Triggern im Vorbereitungspaket. Hygiene-Signale wie verwaiste Assets oder häufige Gate-Fehler zeigen früh, dass der Dokumentbestand instabil wird — Hygiene Operating Scorecard. Drift Wochen nach Go-Live ohne Trigger ist ein stiller Bruch.

5. Pass und Fail belegen

Der technische Betreiber belegt beides: Ein fehlerhafter Snapshot wurde blockiert, ein bestandener Snapshot wurde mit Nachweis aufgenommen. Nachweise sind Zählwerte, IDs und Prüfergebnisse, keine Rohdaten mit personenbezogenen Informationen. Ohne diesen Gegenbeweis bleibt das Gate unbewiesen.

Praktische Übergabe

Von An Artefakt
Fitness-Verantwortung Steward Gate-Policy + Schwellen je Zweck
Steward Technischer Betreiber Check-Jobs an Snapshot-Release
Technischer Betreiber Corpus-Steward Fail-Reason + Nachweis-Pointer
Steward Privacy PII-Rate-Fail + Waiver-Antrag
Hygiene-Steward Fitness-Verantwortung Orphan-/Drift-Signale

Anti-Patterns

  • Warehouse-Completeness als KI-Freigabe lesen
  • Fine-Tune ohne Leakage-Check gegen Eval-Sets
  • Gates als PDF pflegen, Jobs den Snapshot trotzdem ziehen
  • Dauerwaivers statt befristeter Sign-offs
  • Fitness mit Model-Eval verwechseln

Im Alltag betreiben

Dieser Einstieg ist ein Arbeitsmuster, keine Kalenderübung und keine Leseliste. Nimm einen echten Fall, an dem sich die Entscheidung prüfen lässt.

Im verlinkten Arbeitsplan hältst du fest, wer die einzelnen Aufgaben übernimmt, bis wann sie erledigt werden und welche Entscheidungen noch offen sind.

  1. Starter-Gates auf messbare Checks und Verantwortung mappen; Schwellen je Zweck setzen.
  2. Prod-Ingest bei Hard Fail blocken; Warn in der Sandbox loggen.
  3. Fail-Reasons an Stewards publizieren.
  4. Ein failed Snapshot blocken und ein passed Snapshot mit Nachweis ingesten.

Die Übergabe am konkreten Fall prüfen

Verwende zwei synthetische Snapshots: einer erfüllt die festgelegten Bedingungen, der andere enthält einen absichtlich eingebauten harten Fehler. Dokumentiere Gate-Version, Lauf-ID und erwartete Reaktion. Zeige im Jobprotokoll, dass nur der bestandene Snapshot weiterläuft.

Wenn die Probe nicht trägt: Eine nicht ausgeführte Prüfung ist kein bestandenes Gate. Ein guter Datencheck belegt außerdem noch keine richtige KI-Antwort.

Stand nach der Probe Passender Anschluss
Ergebnis und verbleibende Grenzen sind geprüft und übergabefähig PII vor AI-Ingestion stoppen
Eine Grundlage für die Entscheidung bleibt offen Aufräumen vor Retrieve oder Train – offene Frage mit Zuständigkeit zurückgeben.

Die Prüfung beschreibt einen Beispielfall. Halte bei der eigenen Umsetzung fest, was tatsächlich geprüft wurde und welche Abweichungen noch offen sind.

Praxis mit KNIME: geeignete AI-Daten

Ein Datenpaket mit nachvollziehbarer Entscheidung

Nach der Splitprüfung liegt ein korrigierter Kandidat vor. Vor der Übergabe braucht er eine Version, eine benannte Nutzung und einen verantwortlichen Empfänger. Ein einzelnes approved=true ist dafür zu ungenau.

Das Freigabepaket gemeinsam prüfen

Bestandteil Zu dokumentieren
Datenstand Version, Herkunft, Zeitpunkt und reproduzierbarer Ausschnitt
Zweck Konkreter Use Case; Training und Retrieval getrennt
Merkmale / Ziel Bedeutung, bekannte Zeitpunkte und ausgeschlossene Felder
Prüfungen Regelversion, Splitkonzept, Befunde und behobene Blocker
Grenzen Nicht abgedeckte Populationen, ungeklärte Risiken und Restbedingungen
Entscheidung Entscheider, Datum, erlaubte Verwendung und Wiedervorlage
Empfänger Trainingslauf oder Retrieval-Ziel, Verantwortlicher und Kopien
Rücknahme Wer sperrt neue Nutzung, findet Kopien und stößt weitere Maßnahmen an?

KNIME erzeugt den vereinbarten Datenstand und das Prüfprotokoll. Die Eingabe kommt aus der genehmigten Datei oder Datenbank. Ein späteres Entziehen des Sichtzugriffs löscht weder vorhandene Exporte noch verändert es automatisch ein bereits trainiertes Modell. Deshalb müssen Datenkopien und verwendende Läufe auffindbar bleiben.

Übergabe in drei Proben

  1. Der Empfänger erhält nur die vereinbarten Merkmale und kann Daten- und Regelversion zuordnen. Ein Test der Leserechte erfolgt mit der tatsächlichen Ausführungsidentität.
  2. Eine neue Spalte oder veränderte Quellbedeutung wird als Änderung erkannt. Die Änderung wird erneut beurteilt und nicht automatisch durchgewinkt, nur weil der alte Workflow noch läuft.
  3. Eine fiktive Rücknahme wird durchgespielt: neue Nutzung stoppen, betroffene Kopien und Läufe identifizieren, Entscheidung über Löschung, erneutes Training oder andere Maßnahmen an zuständige Rollen übergeben. Keine pauschale automatische Modellbereinigung versprechen.

Nutzen und Change Management

Erfasst, wie viel Suche, manuelle Bereinigung und wiederholte Rückfragen vor und nach Einführung anfallen. Neue Prüf- und Pflegearbeit zählt mit. Die Fachseite bekommt einen Rückmeldeweg für veränderte Begriffe und Fehler. So entsteht eine nutzbare Lieferfähigkeit für geeignete Daten statt eines einmaligen „sauber“-Exports.

Abnahme: Zweck, Datenstand, Prüfergebnis und Empfänger sind eindeutig verbunden; der Rücknahmeweg ist praktisch nachvollziehbar. Stop: ungeklärte Nutzungsbedingungen oder nicht auffindbare Kopien. Ein Datenpaket allein genehmigt kein Modell und keine konkrete AI-Anwendung.

Für größere Landschaften schließen Metadaten für AI, RAG und Training und Feature-/Trainingsverträge an. Übergebt Datenversion, Nutzungsentscheidung, Prüfprotokoll und offene Bedingungen. Der Wissenshub bleibt die optionale Vertiefung.

Data Junk Before AI

Part 3 of 6

View series

Knowledge check

Tour