DQ-Gates für AI-Fitness
Qualitäts- und Fitness-Gates für AI-Corpora — PII-Rate, Leakage, Noise, Drift — jenseits von BI-Scores, vor Retrieve oder Train.
Was aus dem vorherigen Schritt ankommt
Ein vorbereiteter Snapshot ist vorhanden. Jetzt wird geprüft, ob seine vereinbarten Qualitäts- und Zweckbedingungen tatsächlich vor dem Ingest ausgewertet werden.
Ausgangspunkt: Aufräumen vor Retrieve oder Train.
Begriffe vor dem Lesen
- Datenmüll — Daten, Dokumente oder Assets ohne belastbaren Zweck, zuständige Fachrolle, Aktualität, Herkunft oder Qualitätsnachweis.
- KI-Suche — Retrieval-Augmented Generation: ein Modell ruft Inhalte zur Laufzeit ab, statt nur aus Training zu antworten.
- Training — Nutzung von Daten, um Modellverhalten oder Features zu lernen.
- Imputation / Schätzung — Ersetzen fehlender Werte durch abgeleitete Annahmen. Das muss sichtbar bleiben.
- KI-Fitness — Eignung eines Assets für Retrieval, Training oder Agentennutzung mit Zweck, Qualität, Rechten und Nachweis.
Qualität, Quellkorrektur und AI-Nutzung
Datenqualität muss sichtbar machen, wo ein Problem behoben wurde. Wenn der Fehler im Quellsystem entsteht, ist die beste Behebung eine Korrektur an der Quelle oder mindestens ein dokumentierter Quellbefund mit Verantwortung. Wenn ETL oder ELT Werte nachgelagert bereinigt, schätzt, mappt oder filtert, braucht diese Änderung Nachweis: Regel, Grund, betroffene Felder, Version und erlaubte Nutzung.
Das ist besonders wichtig für AI. Retrieval, Training, Features und Agenten sehen oft nur das nachgelagerte Ergebnis. Ohne Kennzeichnung wissen sie nicht, ob ein Wert beobachtet, korrigiert, geschätzt, defaulted oder ausgeschlossen wurde. Governance muss Unsicherheit und Herkunft erhalten, statt sie hinter einem sauber wirkenden Datensatz zu verstecken.
Ein grüner BI-Qualitätsscore macht einen KI-Dokumentbestand nicht automatisch geeignet. Eine Tabelle kann für ein Dashboard ausreichend sein und trotzdem für KI-Suche oder Training ungeeignet bleiben, etwa weil personenbezogene Daten enthalten sind, Dubletten dominieren, ein alter Stand verwendet wird oder Schätzwerte nicht markiert sind.
KI-Fitness ist deshalb zweckgebunden: Was für eine interne beantwortete Suche erlaubt ist, kann für Training verboten sein. Was in einer Sandbox warnen darf, muss in Produktion blockieren.
Lifecycle-Gates stoppen Müll am Asset-Eingang — Müll mit Lifecycle-Gates verhindern. Hier sitzt das Gate am Corpus-Snapshot vor AI-Ingest.
Vorher: Aufräumen vor Retrieve oder Train. Weiter: PII vor AI-Ingestion stoppen.
Entscheidung
Bevor ein Snapshot aus Teil 2 in eine KI-Suche oder ein Training aufgenommen wird:
- Fitness-Gates auf dem Snapshot: Produktion blockiert bei harten Fehlern, Sandbox darf warnen.
- Startdimensionen: Hygiene-Entscheidung, Rate personenbezogener Daten oder Secrets, Dubletten, Trainings-Leakage, Unsicherheitslabel, Aktualität, Drift, Metadatenvertrag und ausgeschlossene Zwecke.
- Jobs lesen den Gate-Status: Ein PDF mit Freigabe reicht nicht, wenn die Pipeline es ignoriert.
- Ausnahmen laufen ab: Befristete Ausnahme mit Steward- und Datenschutzfreigabe, keine dauerhafte Hintertür.
- Verantwortung pro Gate: Eine verantwortliche Rolle je Prüfdimension, Steward für Fehlergründe, technischer Betreiber für Sperre. Fitness ist nicht dasselbe wie Model Evaluation — AI Eval.
| Gate | Fail wenn | Gilt für |
|---|---|---|
| Hygiene-Disposition | Quelle noch blocked / Orphan ohne Waiver |
beide |
| PII-/Secret-Rate | über Zweck-Schwelle nach Scrub | beide |
| Dedup / Near-Dup | Duplikat-Masse über Schwelle | beide |
| Leakage | Train∩Eval oder Train∩Prod-Prompts über Policy | Training |
| Freshness / Drift | Quelle älter als Zweck-SLA oder Drift-Alert offen | beide |
| Metadata-Vertrag | Pflichtfelder im Profil fehlen | beide |
Gate-Workflow
1. Prüfungen und Verantwortliche mappen
Die zuständige Fachrolle macht jede Dimension messbar. Der Steward setzt Schwellen pro Zweck, zum Beispiel für KI-Suche anders als für Training. Ohne benannte Verantwortung bleibt „fit for AI“ nur eine Folienbehauptung — AI-Eignung ist mehr als ein Score.
2. Jobs an Status binden
Der technische Betreiber lässt Index- und Trainingspipelines nur freigegebene Snapshots lesen. Harte Fehler blockieren Produktion; Sandbox-Läufe werden sichtbar gewarnt. Ein Gate, das der Job ignoriert, ist Dekoration.
3. Fails handlungsfähig machen
Der Steward veröffentlicht Fehlergründe an die verantwortliche Rolle. Es darf keinen stillen Reject geben. Die zuständige Fachrolle entscheidet Korrektur oder befristete Ausnahme. Ein Fehler ohne Begründung erzeugt Schattenwege.
4. Drift an Rebuild hängen
Der Steward verknüpft offene Drift-Signale mit Rebuild-Triggern im Vorbereitungspaket. Hygiene-Signale wie verwaiste Assets oder häufige Gate-Fehler zeigen früh, dass der Dokumentbestand instabil wird — Hygiene Operating Scorecard. Drift Wochen nach Go-Live ohne Trigger ist ein stiller Bruch.
5. Pass und Fail belegen
Der technische Betreiber belegt beides: Ein fehlerhafter Snapshot wurde blockiert, ein bestandener Snapshot wurde mit Nachweis aufgenommen. Nachweise sind Zählwerte, IDs und Prüfergebnisse, keine Rohdaten mit personenbezogenen Informationen. Ohne diesen Gegenbeweis bleibt das Gate unbewiesen.
Praktische Übergabe
| Von | An | Artefakt |
|---|---|---|
| Fitness-Verantwortung | Steward | Gate-Policy + Schwellen je Zweck |
| Steward | Technischer Betreiber | Check-Jobs an Snapshot-Release |
| Technischer Betreiber | Corpus-Steward | Fail-Reason + Nachweis-Pointer |
| Steward | Privacy | PII-Rate-Fail + Waiver-Antrag |
| Hygiene-Steward | Fitness-Verantwortung | Orphan-/Drift-Signale |
Anti-Patterns
- Warehouse-Completeness als KI-Freigabe lesen
- Fine-Tune ohne Leakage-Check gegen Eval-Sets
- Gates als PDF pflegen, Jobs den Snapshot trotzdem ziehen
- Dauerwaivers statt befristeter Sign-offs
- Fitness mit Model-Eval verwechseln
Im Alltag betreiben
Dieser Einstieg ist ein Arbeitsmuster, keine Kalenderübung und keine Leseliste. Nimm einen echten Fall, an dem sich die Entscheidung prüfen lässt.
Im verlinkten Arbeitsplan hältst du fest, wer die einzelnen Aufgaben übernimmt, bis wann sie erledigt werden und welche Entscheidungen noch offen sind.
- Arbeitsplan — Datenmüll vor KI Starte mit dem kleinsten echten Fall, der fachlich wichtig genug ist. Prüfe danach, ob die Entscheidung wirklich auffindbar, umsetzbar und auditierbar ist. Rollenklärung: Wer hilft wem an der Quelle.
- Starter-Gates auf messbare Checks und Verantwortung mappen; Schwellen je Zweck setzen.
- Prod-Ingest bei Hard Fail blocken; Warn in der Sandbox loggen.
- Fail-Reasons an Stewards publizieren.
- Ein failed Snapshot blocken und ein passed Snapshot mit Nachweis ingesten.
Die Übergabe am konkreten Fall prüfen
Verwende zwei synthetische Snapshots: einer erfüllt die festgelegten Bedingungen, der andere enthält einen absichtlich eingebauten harten Fehler. Dokumentiere Gate-Version, Lauf-ID und erwartete Reaktion. Zeige im Jobprotokoll, dass nur der bestandene Snapshot weiterläuft.
Wenn die Probe nicht trägt: Eine nicht ausgeführte Prüfung ist kein bestandenes Gate. Ein guter Datencheck belegt außerdem noch keine richtige KI-Antwort.
| Stand nach der Probe | Passender Anschluss |
|---|---|
| Ergebnis und verbleibende Grenzen sind geprüft und übergabefähig | PII vor AI-Ingestion stoppen |
| Eine Grundlage für die Entscheidung bleibt offen | Aufräumen vor Retrieve oder Train – offene Frage mit Zuständigkeit zurückgeben. |
Die Prüfung beschreibt einen Beispielfall. Halte bei der eigenen Umsetzung fest, was tatsächlich geprüft wurde und welche Abweichungen noch offen sind.
Praxis mit KNIME: geeignete AI-Daten
Ein Datenpaket mit nachvollziehbarer Entscheidung
Nach der Splitprüfung liegt ein korrigierter Kandidat vor. Vor der Übergabe braucht er eine Version, eine benannte Nutzung und einen verantwortlichen Empfänger. Ein einzelnes approved=true ist dafür zu ungenau.
Das Freigabepaket gemeinsam prüfen
| Bestandteil | Zu dokumentieren |
|---|---|
| Datenstand | Version, Herkunft, Zeitpunkt und reproduzierbarer Ausschnitt |
| Zweck | Konkreter Use Case; Training und Retrieval getrennt |
| Merkmale / Ziel | Bedeutung, bekannte Zeitpunkte und ausgeschlossene Felder |
| Prüfungen | Regelversion, Splitkonzept, Befunde und behobene Blocker |
| Grenzen | Nicht abgedeckte Populationen, ungeklärte Risiken und Restbedingungen |
| Entscheidung | Entscheider, Datum, erlaubte Verwendung und Wiedervorlage |
| Empfänger | Trainingslauf oder Retrieval-Ziel, Verantwortlicher und Kopien |
| Rücknahme | Wer sperrt neue Nutzung, findet Kopien und stößt weitere Maßnahmen an? |
KNIME erzeugt den vereinbarten Datenstand und das Prüfprotokoll. Die Eingabe kommt aus der genehmigten Datei oder Datenbank. Ein späteres Entziehen des Sichtzugriffs löscht weder vorhandene Exporte noch verändert es automatisch ein bereits trainiertes Modell. Deshalb müssen Datenkopien und verwendende Läufe auffindbar bleiben.
Übergabe in drei Proben
- Der Empfänger erhält nur die vereinbarten Merkmale und kann Daten- und Regelversion zuordnen. Ein Test der Leserechte erfolgt mit der tatsächlichen Ausführungsidentität.
- Eine neue Spalte oder veränderte Quellbedeutung wird als Änderung erkannt. Die Änderung wird erneut beurteilt und nicht automatisch durchgewinkt, nur weil der alte Workflow noch läuft.
- Eine fiktive Rücknahme wird durchgespielt: neue Nutzung stoppen, betroffene Kopien und Läufe identifizieren, Entscheidung über Löschung, erneutes Training oder andere Maßnahmen an zuständige Rollen übergeben. Keine pauschale automatische Modellbereinigung versprechen.
Nutzen und Change Management
Erfasst, wie viel Suche, manuelle Bereinigung und wiederholte Rückfragen vor und nach Einführung anfallen. Neue Prüf- und Pflegearbeit zählt mit. Die Fachseite bekommt einen Rückmeldeweg für veränderte Begriffe und Fehler. So entsteht eine nutzbare Lieferfähigkeit für geeignete Daten statt eines einmaligen „sauber“-Exports.
Abnahme: Zweck, Datenstand, Prüfergebnis und Empfänger sind eindeutig verbunden; der Rücknahmeweg ist praktisch nachvollziehbar. Stop: ungeklärte Nutzungsbedingungen oder nicht auffindbare Kopien. Ein Datenpaket allein genehmigt kein Modell und keine konkrete AI-Anwendung.
Für größere Landschaften schließen Metadaten für AI, RAG und Training und Feature-/Trainingsverträge an. Übergebt Datenversion, Nutzungsentscheidung, Prüfprotokoll und offene Bedingungen. Der Wissenshub bleibt die optionale Vertiefung.
Data Junk Before AI
Part 3 of 6
View series