Trash In, Trash Out — Wenn KI Annahmen als Fakten übernimmt

Begriffe vor dem Lesen

• Datenmüll — Daten, Dokumente oder Assets ohne belastbaren Zweck, verantwortliche Person, Aktualität, Herkunft oder Qualitätsnachweis.
• KI-Suche — Retrieval-Augmented Generation: ein Modell ruft Inhalte zur Laufzeit ab, statt nur aus Training zu antworten.
• Training — Nutzung von Daten, um Modellverhalten oder Features zu lernen.
• Imputation / Schätzung — Ersetzen fehlender Werte durch abgeleitete Annahmen. Das muss sichtbar bleiben.
• KI-Fitness — Eignung eines Assets für Retrieval, Training oder Agentennutzung mit Zweck, Qualität, Rechten und Nachweis.

Qualität, Quellkorrektur und AI-Nutzung

Datenqualität muss sichtbar machen, wo ein Problem behoben wurde. Wenn der Fehler im Quellsystem entsteht, ist die beste Behebung eine Korrektur an der Quelle oder mindestens ein dokumentierter Quellbefund mit Owner. Wenn ETL oder ELT Werte nachgelagert bereinigt, schätzt, mappt oder filtert, braucht diese Änderung Evidence: Regel, Grund, betroffene Felder, Version und erlaubte Nutzung.

Das ist besonders wichtig für AI. Retrieval, Training, Features und Agenten sehen oft nur das nachgelagerte Ergebnis. Ohne Kennzeichnung wissen sie nicht, ob ein Wert beobachtet, korrigiert, geschätzt, defaulted oder ausgeschlossen wurde. Governance muss Unsicherheit und Herkunft erhalten, statt sie hinter einem sauber wirkenden Datensatz zu verstecken.

KI beginnt nicht mit Intelligenz — sondern mit Daten

KI übernimmt Annahmen aus CRM, Tickets und Excel genauso bereitwillig wie Fakten. Wer unklare Schätzwerte, Default-Nullen und veraltete Statuswerte in den Kontext mischt, bekommt selbstbewusste Antworten auf kaputte Grundlagen.

Unternehmen verbinden KI inzwischen mit fast allen Bereichen ihrer Datenlandschaft:

• Data Warehouses und Lakehouses
• Dokumenten und Wissensdatenbanken
• CRM-, ERP- und Ticketsystemen
• operativen Anwendungen und APIs
• Reports, Kennzahlen und semantischen Modellen
• E-Mails, Verträgen und Supporthistorien

Die zugrunde liegenden Daten sind nur selten eine direkte Abbildung der Realität.

Sie wurden meistens bereits:

• korrigiert
• standardisiert
• zusammengeführt
• gefiltert
• angereichert
• gemappt
• aggregiert
• imputiert
• geschätzt

Die meisten dieser Transformationen sind notwendig. Eine Datenplattform muss Formate harmonisieren, Systeme integrieren und Informationen für einen bestimmten Zweck aufbereiten.

Das Risiko beginnt dort, wo das Ergebnis vollständig und präzise aussieht, während seine Unsicherheit verschwunden ist.

Ein fehlender Wert ist sichtbar unbekannt. Ein geschätzter Wert kann sinnvoll sein, solange er eindeutig als Schätzung gekennzeichnet bleibt. Wird eine Schätzung jedoch wie eine beobachtete Tatsache gespeichert, kopiert und präsentiert, behandeln nachgelagerte Konsumenten eine Annahme möglicherweise als Wahrheit.

KI kann dieses Problem verstärken.

KI kann ableiten, was möglicherweise fehlt. Sie kann nicht wissen, ob diese Ableitung wahr ist.

Unternehmensdaten gelangen auf unterschiedlichen Wegen in KI

„Die KI wird mit Unternehmensdaten trainiert“ wird häufig als Sammelbegriff verwendet. Technisch existieren jedoch mehrere unterschiedliche Muster.

Modelltraining

Ein Modell wird mit Daten trainiert, um Muster zu erkennen und Vorhersagen zu erzeugen. Datenfehler, fehlende Abdeckung und versteckte Annahmen können das erlernte Verhalten direkt beeinflussen.

Fine-Tuning und Feature Engineering

Ein vorhandenes Modell wird mit unternehmensspezifischen Beispielen angepasst oder strukturierte Features werden für ein Machine-Learning-Modell erstellt. Qualität und Repräsentativität dieser Eingaben prägen die späteren Vorhersagen.

Retrieval-Augmented Generation

Ein Sprachmodell ruft Dokumente, Datensätze oder Wissensfragmente zur Laufzeit ab. Das Basismodell wird dabei nicht neu trainiert. Unvollständige, veraltete oder widersprüchliche Unternehmensinhalte können trotzdem zu irreführenden Antworten führen.

Agenten, Analytics und Entscheidungsunterstützung

KI-Systeme fragen Datenbanken ab, rufen APIs auf, interpretieren KPIs oder empfehlen Aktionen. Das Modell kann technisch funktionieren, während die zugrunde liegenden Geschäftsdaten, Definitionen oder Zugriffswege schwach bleiben.

Der Mechanismus unterscheidet sich. Das Governance-Prinzip bleibt gleich:

Qualität, Bedeutung und Herkunft der Eingaben begrenzen die Vertrauenswürdigkeit der Ausgaben.

Die gefährliche Umwandlung: unbekannt → geschätzt → Fakt

Datenpipelines müssen Lücken häufig schließen, damit Reports, Prozesse oder Modelle weiterarbeiten können.

Eine typische Kette sieht so aus:

1. Ein Pflichtwert fehlt in der Quelle.
2. Eine Transformation setzt einen Standard-, Mapping- oder Schätzwert ein.
3. Der korrigierte Datensatz wird in eine kuratierte Tabelle übernommen.
4. Die Kennzeichnung der Schätzung wird entfernt oder nie angelegt.
5. Der Wert wird in Features, Kennzahlen, Retrieval oder Modelleingaben weiterverwendet.
6. Die KI liefert eine Antwort, ohne sichtbar zu machen, dass ein Teil ihrer Grundlage nur abgeleitet wurde.

Der Downstream-Datensatz kann technisch vollständiger sein. Er ist dadurch nicht automatisch genauer.

Diese Unterscheidung ist entscheidend:

• Beobachtet bedeutet, dass der Wert aus einem Ereignis oder autoritativen System übernommen wurde.
• Korrigiert bedeutet, dass ein bekannter Fehler nach einer definierten Regel repariert wurde.
• Abgeleitet bedeutet, dass der Wert aus anderen Informationen berechnet wurde.
• Geschätzt oder imputiert bedeutet, dass der Wert wegen fehlender Informationen erschlossen wurde.
• Synthetisch bedeutet, dass der Wert generiert und nicht beobachtet wurde.
• Unbekannt bedeutet, dass keine verlässliche Evidenz vorhanden ist.

Diese Zustände dürfen nicht unbemerkt zu einem generischen „bereinigten“ Wert zusammenfallen.

Datenqualitätsprobleme werden auf unterschiedliche Weise zu KI-Problemen

Nicht jede Lücke muss gefüllt werden. Manchmal ist der genaueste Wert weiterhin unbekannt.

Für KI kann es sicherer sein, diese Unsicherheit zu erhalten, als künstliche Vollständigkeit zu erzeugen.

Halluzination ist ein zusätzliches Risiko — kein anderes Wort für schlechte Daten

Schlechte Datenqualität und Halluzinationen hängen zusammen, sind aber nicht dasselbe Problem.

Schwacher, widersprüchlicher oder unvollständiger Kontext kann die Wahrscheinlichkeit einer unbelegten oder irreführenden Antwort erhöhen. Ein generatives Modell kann jedoch auch dann falsche oder erfundene Inhalte erzeugen, wenn die verfügbaren Daten korrekt sind.

Mögliche Ursachen sind:

• der probabilistische Generierungsprozess
• mehrdeutige Anweisungen
• Abruf des falschen Kontextes
• fehlender oder abgeschnittener Kontext
• widersprüchliche Quellen
• schwaches Grounding
• ungeeignetes Modellverhalten für die Aufgabe
• fehlende Evaluation und Ausgabekontrollen

Bessere Daten sind deshalb notwendig, aber nicht ausreichend.

Eine saubere Tabelle macht aus einem Sprachmodell keine Datenbank. Eine dokumentierte Wissensbasis garantiert nicht, dass jede generierte Antwort auf ihr basiert. Retrieval-Augmented Generation kann bestimmte Risiken reduzieren, beseitigt unbelegte Generierung aber nicht vollständig.

Die Gefahr besteht häufig nicht darin, dass eine Antwort offensichtlich falsch aussieht.

Sie besteht darin, dass sie schlüssig, flüssig und überzeugend klingt.

Plausibilität ist kein Beleg. Selbstsicherheit ist keine Korrektheit.

Eine governed KI-Anwendung benötigt deshalb Kontrollen für beides:

1. Qualität und Herkunft ihrer Daten und
2. Zuverlässigkeit und erlaubte Nutzung ihrer erzeugten Ausgabe.

Schätzwerte sind kein Trash — unsichtbare Schätzwerte sind das Risiko

Geschäftsdaten werden nie vollkommen vollständig sein.

Forecasts, Allokationen, Imputationen und Näherungswerte sind legitime Bestandteile vieler Prozesse. Ein Planungsmodell ohne Schätzwerte wäre häufig nicht nutzbar. Historische Datensätze können selbst nach Verbesserung des Quellprozesses unvollständig bleiben.

Das Ziel besteht daher nicht darin, geschätzte Werte zu verbieten.

Ihr Status muss steuerbar bleiben.

Ein geschätzter oder imputierter Wert sollte mindestens folgende Metadaten besitzen:

Damit wird eine zentrale Unterscheidung möglich:

Eine governed Schätzung ist eine explizite fachliche Annahme. Eine ungekennzeichnete Schätzung wird zum versteckten Fakt.

Governance muss die vollständige KI-Kette abdecken

AI Governance darf nicht erst beim Modell beginnen.

Der vollständige Weg benötigt Kontrolle.

1. Governance von Quelle und Entstehungsprozess

Die Organisation muss wissen:

• welcher Prozess die Daten erzeugt
• welches System autoritativ ist
• wer die Quelle verantwortet
• welche Felder verpflichtend sind
• welche Fehler wiederholt auftreten
• welche Probleme am Entstehungsort behoben werden können

Eine Downstream-Korrektur kann den Betrieb vorübergehend schützen. Sie darf die ursprüngliche Ursache nicht unsichtbar machen.

Das passende Playbook The Missing Pieces – Part 1: Data Quality beschreibt den notwendigen Feedback Loop von Erkennung und Eindämmung über die Ursachenbehebung bis zur Validierung und zum kontrollierten Rückbau temporärer Workarounds.

2. Data-Product-Governance

Bevor Daten für KI freigegeben werden, müssen Teams Folgendes kennen:

• Verwendungszweck
• kritische Qualitätsdimensionen
• Qualitätsregeln und Schwellenwerte
• Anforderungen an Aktualität
• bekannte Einschränkungen
• fehlende Abdeckung
• Schätz- und Imputationslogik
• Zertifizierungsstatus
• Owner, Steward und technischer Betreiber
• Lineage und Version

Das umfassendere Betriebsmodell beschreibt Data Quality Governance: Qualität muss mit Verwendungszweck, messbaren Regeln, Verantwortung, Monitoring und kontinuierlicher Verbesserung verbunden werden.

3. Modell- und Retrieval-Governance

Die KI-Schicht benötigt eigene Kontrollen:

• Modell- und Konfigurationsversion
• Version der Trainings-, Fine-Tuning- oder Evaluationsdaten
• Retrieval-Quellen und Ranking-Logik
• Version von Prompt und Systemanweisung
• erlaubte und verbotene Anwendungsfälle
• Evaluationsszenarien
• bekannte Einschränkungen
• Ausgabeschwellen und Fallback-Verhalten
• Änderungs- und Releasehistorie

Ein Modellupdate, eine neue Embedding-Version, ein veränderter Suchindex oder eine Prompt-Anpassung kann das Verhalten verändern, obwohl die zugrunde liegenden Geschäftsdaten gleich geblieben sind.

4. Anwendungs- und Output-Governance

Die konsumierende Anwendung sollte festlegen:

• wann Quellnachweise angezeigt werden müssen
• wann das System eine Antwort ablehnen muss
• wann eine menschliche Prüfung verpflichtend ist
• welche Entscheidungen niemals automatisiert werden dürfen
• wie Nutzerfeedback erfasst wird
• wie schädliche oder falsche Ausgaben eskaliert werden
• welche Prompts, Quellen und Ergebnisse protokolliert werden
• wie personenbezogene und vertrauliche Daten geschützt werden

Die Frage lautet nicht nur, ob das Modell eine Antwort erzeugen kann.

Sie lautet, ob die Anwendung nachweisen kann, warum diese Antwort für diesen Zweck verwendet werden darf.

Ein praktisches Minimum vor der Verbindung von KI und Unternehmensdaten

Die Entscheidung vor dem Modell definieren

Klären:

• Welche Entscheidung oder Aktion soll die Ausgabe unterstützen?
• Wer bleibt verantwortlich?
• Welche Auswirkung haben ein False Positive, False Negative oder eine erfundene Antwort?
• Ist die Aufgabe informierend, beratend oder autonom?

Den Evidenzweg inventarisieren

Dokumentieren:

• Quellsysteme
• Transformationen
• fachliche Definitionen
• Schätzungen und Korrekturen
• Retrieval-Indizes
• Modell- und Prompt-Versionen
• konsumierende Anwendungen

Unsicherheit erhalten

Null-Indikatoren, Schätzkennzeichen, Ausnahmezustände oder Qualitätswarnungen dürfen nicht nur deshalb entfernt werden, weil die Eingabe dadurch einfacher zu verarbeiten ist.

Fakt und Annahme trennen

Soweit möglich, getrennte Felder oder Metadaten bereitstellen für:

• tatsächlichen Wert
• geschätzten Wert
• Schätzmethode
• Quellzeitpunkt
• Qualitätsstatus

Reale Fehlerszenarien testen

Die Evaluation sollte nicht nur ideale Beispiele enthalten:

• unvollständige Datensätze
• widersprüchliche Quellen
• veraltete Dokumente
• ungewöhnliche Kategorien
• Grenzfälle
• fehlende Evidenz
• angreifende oder mehrdeutige Prompts
• Fälle, in denen Nicht-Antworten das korrekte Verhalten ist

Nachvollziehbare Ausgaben verlangen

Bei faktenbasierten Unternehmensantworten sollte die Anwendung die relevante Quelle, den Datensatz, das Dokument oder die Kennzahlendefinition sichtbar machen können.

Ablehnung und Eskalation definieren

Ein vertrauenswürdiges System benötigt einen kontrollierten Weg zu Aussagen wie:

• unzureichende Evidenz
• Widerspruch zwischen Quellen
• Daten nicht aktuell
• Qualitätsschwelle unterschritten
• menschliche Prüfung erforderlich

Nach dem Release überwachen

Beobachten:

• Anteil belegter Antworten
• unbelegte Aussagen
• Retrieval-Fehler
• Verletzungen von Qualitätsregeln
• Nutzerkorrekturen
• wiederkehrende Fehlermuster
• Veränderungen nach Modell-, Prompt- oder Datenupdates

Was vermieden werden sollte

Eine kuratierte Tabelle als verifizierte Wahrheit behandeln

Eine Gold- oder Business-Schicht kann technisch sauber sein und trotzdem Schätzungen, geerbte Verzerrungen oder ungelöste Quellfehler enthalten.

Unsicherheit bei der Aufbereitung entfernen

Wer Schätzkennzeichen, Qualitätsstatus oder Quellreferenzen entfernt, macht Daten leichter konsumierbar, aber schwerer vertrauenswürdig.

Annehmen, dass RAG Halluzinationen beseitigt

Retrieval liefert Kontext. Das Modell kann weiterhin falschen Kontext auswählen, ihn ignorieren, fehlerhaft kombinieren oder über die vorhandene Evidenz hinaus generieren.

KI Quelldaten ohne Auditierbarkeit reparieren lassen

KI-gestützte Korrektur kann sinnvoll sein. Jede Änderung benötigt jedoch Nachvollziehbarkeit, Review-Regeln und eine klare Trennung von beobachteten Werten.

Nur durchschnittliche Performance messen

Ein hoher Durchschnitt kann schwere Fehler in seltenen, kritischen oder schwach repräsentierten Szenarien verdecken.

Für jeden Anwendungsfall dieselben Kontrollen verwenden

Ein Assistent für Textentwürfe und eine autonome Zahlungsentscheidung benötigen nicht dieselbe Evidenz, Prüfung und Governance.

Flüssige Sprache als Beweis interpretieren

Die Qualität der Formulierung sagt wenig über die Qualität der zugrunde liegenden Evidenz aus.

Die eigentliche Bedeutung von Trash In, Trash Out

„Trash In, Trash Out“ sollte nicht als Aussage verstanden werden, dass jeder unvollkommene Datensatz unbrauchbar ist.

Es ist eine Warnung vor Skalierung.

KI kann mehr Daten verarbeiten, mehr Signale verbinden und mehr Ausgaben erzeugen, als ein menschliches Team manuell bewältigen könnte. Das schafft Mehrwert. Es bedeutet zugleich, dass ungelöste Fehler, versteckte Annahmen und fehlender Kontext schneller vervielfältigt und überzeugender präsentiert werden können.

Governance verändert das Ergebnis, indem die Kette sichtbar bleibt:

• Quellqualität wird gemessen
• Lücken bleiben erkennbar
• Schätzwerte bleiben Schätzwerte
• Transformationen bleiben nachvollziehbar
• Verantwortung ist eindeutig
• Modelle werden für ihren vorgesehenen Zweck evaluiert
• Ausgaben zeigen Evidenz und Einschränkungen
• Fehler gelangen zurück zum Source-, Data-Product-, Modell- oder Application-verantwortliche Person

Das Ziel sind weder perfekte Daten noch risikofreie KI.

Das Ziel ist ein System, das zwischen Fakt, Ableitung, Schätzung und Unsicherheit unterscheiden kann.

Bessere Modelle ersetzen keine besseren Quellen.
Bessere Aufbereitung ersetzt keine Transparenz.
Bessere Antworten ersetzen keine Evidenz.

Verwandte Playbooks

• The Missing Pieces – Part 1: Data Quality — warum Downstream-Korrekturen einen Feedback Loop zur Quelle benötigen
• Data Quality Governance — das Betriebsmodell für zweckbezogene Qualität, Regeln, Verantwortung, Monitoring und Verbesserung
• Data Verantwortung & Stewardship — Data Owner, Steward, technischer Betreiber (nicht „Technischer verantwortliche Person“)
• Datenmüll vor KI — Hygiene-Schuld, Dokumentbestand-Prep, Fitness-Gates und Remediation wenn Müll oder personenbezogene Daten den KI-Kontext erreichen
• Machine Unlearning und KI-Remediation — Incident-Playbook wenn Kontamination schon in Indexen oder Modellen liegt

Weiterführende Ressourcen

• NIST KI Risk Management Framework
• NIST KI 600-1: Generative Artificial Intelligence Profile
• NIST KI RMF Playbook
• Datasheets for Datasets
• Model Cards for Model Reporting