Zum Inhalt springen
Search the hub
Werte, Zustände und Ausnahmen beschreiben

Werte, Zustände und Ausnahmen beschreiben

Eine verlässliche Entscheidung braucht mehr als einen Tabellennamen, ein Schema und ein grünes Dashboard. Sie braucht expliziten Kontext, Evidenz und überprüfbare Verantwortung.

Category
Data Governance
Reading time
5 min
Published
Tags
data-governance metadata data-quality data-products
Download PDF

Begriffe vor dem Lesen

  • Metadata — Daten über Daten: Definition, verantwortliche Person, Quelle, Lineage, Qualität, Klassifikation und Nutzungskontext.
  • Definition — Fachliche Bedeutung eines Feldes, Begriffs oder einer Kennzahl, inklusive Umfang und verantwortliche Person.
  • fachliche Zählebene / Körnung — Die Einheit einer Aussage, zum Beispiel eine Bestellung, eine Position, ein Kunde oder ein Snapshot.
  • Lineage — Nachvollziehbare Herkunft und Weitergabe von Daten über Quellen, Transformationen und Nutzung hinweg.
  • Nachweis — Nachweis, welche Definition, Version, Quelle oder Regel eine Aussage trägt.

Ausgangslage

Viele Datenfehler entstehen nicht durch falsche Zahlen, sondern durch falsch verstandene Werte. status = 3, active = false, ein leeres Datum oder eine fehlende Zeile können jeweils mehrere fachliche Bedeutungen besitzen. Nutzende ergänzen die Lücke mit plausiblen Annahmen: Null heißt unbekannt, false heißt inaktiv, der höchste Code ist der neueste Status, ein nicht mehr vorhandener Datensatz war nie relevant. Diese Annahmen funktionieren, bis ein Sonderfall auftritt.

Operative Systeme optimieren Codes oft für ihre eigenen Prozesse. Historische Migrationen bringen weitere Werte. Integrationen führen „unknown“, „other“ und technische Fehlercodes ein. Löschungen werden als Flag, Enddatum, Tombstone-Ereignis oder physische Abwesenheit repräsentiert. Ohne explizite Semantik kann dieselbe Population je nach Tool unterschiedlich gezählt werden.

Ein Werteprofil zeigt, welche Werte vorkommen. Es erklärt nicht, was sie bedeuten, welche Übergänge zulässig sind oder ob ein nicht beobachteter Wert künftig auftreten darf. Genau diese Aussagen müssen als wiederverwendbarer Vertrag dokumentiert werden.

Leitentscheidung

Für jedes entscheidungsrelevante Code-, Status-, Boolean-, Null- oder Löschfeld werden fünf Dinge explizit:

  1. Wertedomäne: Welche Werte sind zulässig und was bedeuten sie?
  2. Zustandsmodell: Welche Zustände und Übergänge sind fachlich möglich?
  3. Null-Semantik: Warum fehlt ein Wert, und ist das erwartet?
  4. Löschsemantik: Wie werden fachliche Beendigung, Soft-Delete und physische Löschung unterschieden?
  5. Ausnahmebehandlung: Wie werden unbekannte, ungültige, historische und manuell korrigierte Fälle behandelt?

Diese Dokumentation bleibt stackneutral. Sie kann als Referenztabelle, Schema-Enum, Datenvertrag, semantische Regel oder Catalog-Eigenschaft umgesetzt werden. Die fachliche Semantik bleibt dieselbe, auch wenn technische Repräsentationen wechseln.

Schaubild: Codes brauchen fachliche Semantik über Wertedomäne, Zustandsmodell, Null-Semantik, Löschsemantik und Ausnahmen

Ein Enum ist eine fachliche Zuordnung

Ein Enum besteht nicht nur aus Code und Label. Für jeden Wert sind mindestens nötig:

  • technischer Wert,
  • stabiler fachlicher Schlüssel,
  • verständliche Bezeichnung,
  • präzise Definition,
  • Ein- und Ausschlusskriterium,
  • Gültigkeitszeitraum,
  • zulässige Nutzung,
  • Vorgänger- oder Nachfolgerwert bei Ablösung.

Beispiel für einen Auftragsstatus:

  • PENDING: Bestellung erfasst, aber noch nicht verbindlich bestätigt.
  • CONFIRMED: Annahme bestätigt; fachlicher Auftrag entstanden.
  • FULFILLED: alle nicht stornierten Positionen vollständig erfüllt.
  • CANCELLED: Auftrag vor vollständiger Erfüllung wirksam beendet.

„Cancelled = storniert“ ist zu wenig. Es muss klar sein, ob Teilstorno, Rückgabe nach Erfüllung oder technischer Abbruch dazugehören. Labels dürfen lokalisiert werden; der stabile fachliche Schlüssel sollte unverändert bleiben.

Codes nicht nach ihrem Aussehen interpretieren

Numerische Codes wirken geordnet, besitzen aber nicht automatisch eine Rangfolge. 1, 2, 3 können Kategorien, Prozessschritte oder historisch vergebene IDs sein. Dokumentiere, ob eine Ordnung existiert und welche Vergleiche zulässig sind.

Dasselbe gilt für Strings. A, I, D können active, inactive, deleted bedeuten, aber auch regionale Varianten. Nutzende dürfen Bedeutung nicht aus Namen erraten. Ein Mapping sollte an der autoritativen Quelle gepflegt und in nachgelagerte Systeme übertragen werden.

Wenn verschiedene Quellen dasselbe Konzept anders codieren, behalte Rohcode und harmonisierten Schlüssel getrennt:

  • source_status_code: originaler Wert,
  • canonical_status: vereinheitlichte fachliche Kategorie,
  • mapping_version: verwendete Zuordnungsregel,
  • mapping_status: gemappt, unbekannt, mehrdeutig oder manuell überschrieben.

So bleibt Herkunft nachvollziehbar, ohne jede Analyse mit Quellvarianten zu belasten.

Zustände brauchen Übergänge

Eine Werteliste erklärt noch keinen Lebenszyklus. Ein Zustandsmodell beschreibt, welche Übergänge zulässig, reversibel und zeitlich relevant sind. Ein Vertrag kann von aktiv zu ausgesetzt, gekündigt und beendet wechseln. Ob eine Reaktivierung möglich ist, entscheidet über Retention- und Churn-Logik.

Dokumentiere je Übergang:

  • Ausgangs- und Zielzustand,
  • auslösendes Ereignis,
  • fachlicher Wirksamkeitszeitpunkt,
  • verantwortliches System oder Rolle,
  • Reversibilität,
  • erwartete Nebenwirkungen,
  • verbotene Übergänge.

Beispiel: CONFIRMED → CANCELLED ist bis zur ersten Erfüllung zulässig. Danach führt eine Rückgabe nicht zu CANCELLED, sondern erzeugt einen separaten Rückgabeprozess. Ohne diese Grenze kann eine spätere Auswertung erfüllte Aufträge rückwirkend verschwinden lassen.

Aktueller Zustand und Ereignishistorie

Ein aktueller Status beantwortet „Was gilt jetzt?“. Eine Ereignishistorie beantwortet „Wie kam es dazu?“. Ein Snapshot beantwortet „Was war zu einem Stichtag bekannt?“. Diese Formen dürfen nicht verwechselt werden.

Für aktuelle Zustände dokumentiere Aktualisierungsregel und maßgeblichen Zeitpunkt. Für Ereignisse dokumentiere Ereignis-ID, Ereigniszeit, Verarbeitungszeit und Reihenfolge bei Gleichstand. Für Historientabellen dokumentiere Gültigkeitsintervalle und ob Korrekturen die Vergangenheit überschreiben oder versionieren.

Nutzende müssen wissen, ob status_changed_at die fachliche Wirksamkeit, technische Speicherung oder nachträgliche Ankunft beschreibt. Bei verspäteten Ereignissen kann die fachliche Reihenfolge von der Verarbeitungsreihenfolge abweichen.

Boolean ist oft ein verstecktes Zustandsmodell

Ein Boolean besitzt technisch zwei Werte, fachlich aber häufig mehr als zwei Zustände. is_active = false kann „noch nicht aktiv“, „vorübergehend pausiert“, „beendet“, „gelöscht“ oder „nicht anwendbar“ zusammenfassen. Dann ist das Feld für differenzierte Entscheidungen ungeeignet.

Dokumentiere für jedes Boolean:

  • genaue Bedingung für true,
  • genaue Bedingung für false,
  • Bedeutung von Null, falls zulässig,
  • Berechnungszeitpunkt,
  • ob das Feld gespeichert oder abgeleitet ist,
  • welche Zustände dadurch bewusst zusammengefasst werden.

Beispiel: „is_current = true, wenn valid_from <= as_of_time und valid_to null oder größer als as_of_time; gelöschte Datensätze sind unabhängig davon false.“ Der Parameter as_of_time ist Teil der Definition.

Wenn Nutzende regelmäßig mehrere Bedeutungen von false unterscheiden müssen, ist ein explizites Statusfeld besser. Ein bequemes Boolean darf weiterhin als Ableitung existieren, sollte aber auf das reichere Zustandsmodell verweisen.

Null ist kein einzelner fachlicher Wert

SQL-Null oder ein fehlendes Attribut sagt technisch nur, dass kein Wert vorliegt. Fachlich kann das bedeuten:

  • noch nicht bekannt,
  • nicht erhoben,
  • nicht anwendbar,
  • bewusst zurückgehalten,
  • aufgrund eines Fehlers fehlend,
  • noch nicht eingetreten,
  • unbegrenzt oder offen,
  • aus historischer Quelle nicht verfügbar.

Diese Bedeutungen führen zu unterschiedlichen Entscheidungen. Ein fehlendes Enddatum kann einen laufenden Vertrag anzeigen; ein fehlendes Geburtsdatum ist unbekannt; eine fehlende Kündigungsursache ist für nicht gekündigte Verträge nicht anwendbar.

Definiere Null deshalb je Feld und Population. Falls mehrere Nullgründe entscheidungsrelevant sind, nutze ein Begleitfeld wie value_status oder missing_reason. Ersetze Null nicht pauschal durch 0, leeren String oder „unknown“; dadurch gehen Typsemantik und Grund verloren.

Null, Nullwert und „0“ unterscheiden

Ein numerischer Betrag 0 ist eine beobachtete fachliche Zahl. SQL-NULL bezeichnet dagegen einen fehlenden Wert; dessen fachlicher Grund muss dokumentiert sein. "0" als String kann wiederum ein Code sein. Diese Varianten dürfen in Aggregationen nicht ohne Regel zusammengeführt werden.

Bei Kennzahlen dokumentiere, ob fehlende Beobachtungen als null, als Nullwert oder gar nicht als Zeile dargestellt werden. „Kein Verkauf“ und „Verkaufsdaten noch nicht geliefert“ dürfen nicht denselben Tageswert erzeugen. Für Zeitreihen ist deshalb wichtig, ob die Grundpopulation vollständige Kalenderzeilen enthält.

Sentinelwerte sind technische Schulden mit Vertrag

Werte wie 9999-12-31, 1900-01-01, -1, N/A oder leere Strings werden häufig als Ersatz für Null verwendet. Solche Sentinelwerte müssen explizit dokumentiert und möglichst an einer kontrollierten Grenze in echte Semantik übersetzt werden.

Halte fest:

  • Sentinelwert,
  • fachliche Bedeutung,
  • Ursprungssystem und historischer Grund,
  • Umwandlungsregel,
  • Felder und Zeiträume, in denen er vorkommt,
  • Risiko bei unveränderter Nutzung.

Nicht jeder ungewöhnliche Wert ist ein Fehler. 9999-12-31 kann technisch „offenes Ende“ darstellen. Für Jahresstatistiken muss er jedoch ausgeschlossen oder als unbefristet interpretiert werden.

Fachliche Beendigung, Soft-Delete und physische Löschung

Diese drei Vorgänge sind verschieden:

  • fachliche Beendigung: Das reale Objekt existiert weiter, ist aber nicht mehr aktiv, etwa ein beendeter Vertrag.
  • Soft-Delete: Der Datensatz wird als gelöscht markiert, bleibt technisch vorhanden.
  • physische Löschung: Der Datensatz wird aus einer Speicherung entfernt.

Ein beendeter Vertrag darf für Historie und Abschluss weiterhin benötigt werden. Ein soft-gelöschter Dublettendatensatz kann aus aktiven Populationen ausgeschlossen, aber für Lineage erhalten bleiben. Physische Löschung kann Datenschutz-, Aufbewahrungs- oder Speicherregeln folgen.

Dokumentiere getrennte Felder wie lifecycle_status, deleted_at, deletion_reason und purge_due_at, statt alles in active zu verdichten. Nicht jede Plattform muss diese Namen verwenden; die Konzepte müssen unterscheidbar bleiben.

Tombstones in Änderungsströmen

In Änderungsdaten oder Streams zeigt ein Tombstone, dass ein Schlüssel nicht mehr als aktueller Datensatz geführt werden soll. Er beweist nicht automatisch, warum: fachliche Löschung, Quellbereinigung, Dublettenzusammenführung oder technische Neuinitialisierung sind verschiedene Ursachen.

Ein Tombstone-Vertrag beschreibt:

  • Schlüssel und betroffene Entität,
  • Ereignistyp,
  • Ereignis- und Verarbeitungszeit,
  • Löschgrund, falls verfügbar,
  • erwartetes Verhalten nachgelagerter Systeme,
  • Aufbewahrung der Historie,
  • Umgang mit einem später erneut auftauchenden Schlüssel.

Wenn der Grund nicht verfügbar ist, muss diese Grenze sichtbar bleiben. Nutzende dürfen Abwesenheit nach Tombstone nicht automatisch als „Person hat widerrufen“ interpretieren.

Soft-Delete-Filter sind fachliche Entscheidungen

Ein globales WHERE deleted_at IS NULL wirkt technisch selbstverständlich, kann aber fachlich falsch sein. Historische Umsatzberichte benötigen möglicherweise auch später gelöschte Kundenbezüge. Eine aktuelle Kontaktliste muss gelöschte Profile ausschließen. Der richtige Filter hängt vom Zweck ab.

Dokumentiere je kuratiertem Asset:

  • ob soft-gelöschte Datensätze enthalten sind,
  • ob Fakten erhalten und Dimensionen anonymisiert werden,
  • ob Auswertungen den aktuellen oder historischen Löschstand verwenden,
  • wie zusammengeführte IDs behandelt werden,
  • welche Nutzung eine zusätzliche Filterung verlangt.

Damit wird Löschlogik Teil von Population und erlaubter Nutzung, nicht versteckter Boilerplate-Code.

Unbekannte und neue Werte

Ein Enum-Vertrag muss Verhalten für noch unbekannte Werte festlegen. Starres Verwerfen kann Datenverlust verursachen; stilles Mapping auf „other“ kann wichtige neue Zustände verdecken.

Mögliche Regeln:

  • unbekannten Rohwert erhalten und Datensatz quarantänisieren,
  • Rohwert erhalten, kanonischen Wert auf UNKNOWN setzen und alarmieren,
  • Verarbeitung für kritische Nutzung stoppen,
  • nur nichtkritische Nutzer weiter beliefern,
  • temporäres Mapping mit Ablaufdatum und verantwortlicher Person zulassen.

OTHER und UNKNOWN sind nicht dasselbe. OTHER bedeutet: bekannter, gültiger Fall außerhalb detaillierter Kategorien. UNKNOWN bedeutet: Bedeutung oder Zuordnung ist nicht bekannt. NOT_APPLICABLE bedeutet: Konzept gilt für diese Population nicht.

Ausnahmen brauchen Scope und Ablauf

Eine manuelle Überschreibung, tolerierte Regelverletzung oder historische Sonderbehandlung ist manchmal notwendig. Sie darf nicht unsichtbar werden. Für jede Ausnahme dokumentiere:

  • betroffenen Umfang,
  • ursprünglichen und verwendeten Wert,
  • Grund,
  • genehmigende Rolle,
  • Wirksamkeitsbeginn,
  • Ablauf- oder Reviewdatum,
  • Auswirkung auf nachgelagerte Nutzung,
  • Evidenz oder Ticket.

Eine Ausnahme ohne Ablauf kann zur inoffiziellen Regel werden. Wiederkehrende Ausnahmen zeigen, dass Definition, Mapping oder Prozess angepasst werden muss.

Referenzdaten versionieren

Mappings ändern sich. Regionen werden neu geordnet, Produktgruppen zusammengelegt, Statuscodes abgelöst. Ein aktuelles Lookup allein kann historische Ergebnisse umdeuten.

Dokumentiere für Referenzdaten:

  • stabile Schlüssel,
  • Labels getrennt vom Schlüssel,
  • Gültigkeitsintervalle,
  • Versionskennung,
  • Hierarchie und Parent-Bezug,
  • Ablösung und Nachfolger,
  • Regel für historische Neuberechnung.

Nutzende müssen wissen, ob Analysen „damals gültige Zuordnung“ oder „heutige Zuordnung rückwirkend“ verwenden. Beides kann legitim sein, führt aber zu anderen Zahlen.

Qualitätstests aus Semantik ableiten

Explizite Wert- und Zustandsregeln ermöglichen zielgerichtete Tests:

  • Werte liegen in erlaubter Domäne,
  • unbekannte Werte werden gezählt und alarmiert,
  • Übergänge sind zulässig,
  • bedingte Pflichtfelder sind erfüllt,
  • Gültigkeitsintervalle überlappen nicht,
  • genau ein aktueller Zustand je Schlüssel,
  • Tombstones referenzieren bekannte oder ausdrücklich neue Schlüssel,
  • Ausnahmen sind genehmigt und nicht abgelaufen.

Ein Test ist Evidenz für eine Regel, nicht ihre Definition. Bewahre die fachliche Regel lesbar auf und verknüpfe sie mit technischen Implementierungen in jeder Plattform.

Hilfe

Beginne mit Profiling, aber ende nicht dort. Extrahiere häufige und seltene Werte, Nullquoten und Übergänge. Lasse anschließend einen fachlichen Owner jeden Wert definieren und unbekannte Fälle kennzeichnen. Seltene Werte sind oft genau die Zustände, die größte Fehlentscheidungen verursachen.

Erstelle für ein wichtiges Statusfeld eine kleine Übergangsmatrix. Zeilen sind Ausgangszustände, Spalten Zielzustände; jede Zelle ist erlaubt, verboten oder bedingt. Ergänze Auslöser und Zeitsemantik. Prüfe die Matrix gegen reale Historie. Abweichungen können Datenfehler oder eine unvollständige Regel zeigen.

Beziehe Producer und Nutzende gemeinsam ein. Producer kennen technische Codes und Prozessauslöser; Nutzende kennen die Entscheidungen, die davon abhängen. Bitte beide Seiten, insbesondere Null, Rückabwicklung, Wiedereröffnung und Löschung anhand konkreter Fälle zu erklären. Unterschiedliche Antworten sind keine redaktionelle Kleinigkeit, sondern ein offener semantischer Konflikt. Dokumentiere bis zur Klärung den strittigen Zustand, die betroffene Nutzung und die entscheidende Rolle. So wird aus stiller Annahme ein steuerbares Risiko.

Checkliste

  • Jeder Code hat stabilen Schlüssel, Definition und Gültigkeit.
  • Reihenfolge oder Rangfolge ist explizit, nicht aus Codes abgeleitet.
  • Rohcode und harmonisierter Wert bleiben nachvollziehbar.
  • Zustände besitzen erlaubte und verbotene Übergänge.
  • Aktueller Zustand, Ereignis und Snapshot sind unterscheidbar.
  • Boolean-Werte erklären true, false, Null und Berechnungszeit.
  • Null-Bedeutung ist je Feld und Grundgesamtheit dokumentiert.
  • Null, fachlicher Nullwert und fehlende Zeile werden unterschieden.
  • Sentinelwerte besitzen eine Umwandlungsregel.
  • Beendigung, Soft-Delete, Tombstone und physische Löschung sind getrennt.
  • Unbekannte Werte haben eine sichere Verarbeitungsregel.
  • Ausnahmen besitzen Umfang, Owner und Ablaufdatum.
  • Referenzdaten und Mappings sind zeitlich versioniert.
  • Tests sind mit den fachlichen Regeln verknüpft.

Artefakt

Wertedomäne

  • field_name
  • domain_id
  • raw_value
  • canonical_key
  • label
  • definition
  • valid_from
  • valid_to
  • sort_or_rank_semantics
  • mapping_version
  • replacement_key

Zustandsmodell

  • state_key
  • state_definition
  • from_state
  • to_state
  • transition_allowed
  • transition_condition
  • trigger_event
  • effective_time_rule
  • reversible

Null und Ausnahme

  • null_meaning
  • missing_reason_field
  • sentinel_values
  • unknown_value_policy
  • other_definition
  • not_applicable_rule
  • exception_scope
  • exception_reason
  • approved_by
  • expires_at

Löschung

  • business_lifecycle_status
  • soft_delete_indicator
  • deleted_at_semantics
  • deletion_reason
  • tombstone_behavior
  • history_retention
  • purge_rule
  • reappearance_policy

Tools

Der /tools/schema-yml-editor kann Enums, Nullability und portable Validierungsregeln strukturieren. Der /tools/meta-export-generator hilft beim Export beobachteter Werte und technischer Felder als Review-Grundlage. Mit dem /tools/kpi-definition lassen sich Statusfilter und Nullbehandlung in Kennzahlen explizit machen. Der /tools/openmetadata-glossary-generator kann kontrollierte Begriffe und Zuordnungen optional in ein Glossar-Zielformat übertragen; Wertelogik und Zustandsvertrag bleiben produktneutral.

Metadata That Tells the Truth

Part 4 of 8

View series

Knowledge check

Tour