Zum Inhalt springen
Search the hub
Datenqualitätsfehler richtig entscheiden

Datenqualitätsfehler richtig entscheiden

Wie ein fehlgeschlagener Test vom technischen Signal zur fachlichen Entscheidung, Korrektur oder befristeten Ausnahme gelangt.

Category
Data Governance
Reading time
2 min
Published
Tags
data-engineering data-contracts
Download PDF

Begriffe vor dem Lesen

  • Datenqualität (DQ) beschreibt, ob Daten für ihren vereinbarten Zweck geeignet sind.
  • Die betroffene Menge nennt Anzahl und Anteil fehlerhafter Datensätze sowie relevante Gruppen.
  • Eine Triage ordnet einen Fehler nach Auswirkung und Dringlichkeit ein.
  • Eine befristete Ausnahme erlaubt Weiterbetrieb trotz bekannter Abweichung und besitzt Begründung, Verantwortung und Ablaufdatum.

Ausgangslage

Ein Test meldet 240 Aufträge ohne Währung. „Rot“ allein sagt nicht, ob zwei oder zwanzig Prozent der heutigen Abrechnung betroffen sind, welche Länder fehlen und ob der Fehler eine Rechnung verhindert. Ohne diesen Kontext erzeugen viele Tests nur viele Tickets.

Vom Test zur Entscheidung

Engineering liefert Regel, betroffene Menge, Beispielwerte, erste technische Ursache und die betroffenen Produkte. Der Steward verbindet den Befund mit Definition und Verbrauchern. Der Data Product Owner oder fachliche Owner entscheidet anhand der Auswirkung: Veröffentlichung stoppen, fehlerhafte Datensätze isolieren, mit sichtbarer Warnung fortfahren oder eine befristete Ausnahme genehmigen.

Nicht jeder Test muss blockieren. Eine fehlende Beschreibung kann gewarnt werden; eine fehlende Währung im Abrechnungsprodukt kann einen Stopp rechtfertigen. Die Reaktion wird vorab je kritischer Regel vereinbart.

Beispiel

Von 50.000 täglichen Positionen fehlen bei 240 die Währungen. Alle stammen aus einem neuen Kanal und würden im Monatsabschluss als Euro interpretiert. Die betroffene Menge und Wirkung sind klar: Diese Positionen werden isoliert, der übrige Bestand wird mit Warnung veröffentlicht und der Kanal-Owner korrigiert die Quelle. Die Ausnahme endet am nächsten Arbeitstag; danach blockiert derselbe Fehler die Veröffentlichung.

Nachweis

Ein vollständiger Vorgang enthält Testergebnis, betroffene Menge, fachliche Auswirkung, Entscheidung, technische Reaktion, verantwortliche Person und Abschluss. So lässt sich später unterscheiden, ob ein Alarm nur quittiert oder das Problem tatsächlich behoben wurde.

Prüffragen

  • Zeigt der Test Anzahl, Anteil und betroffene Gruppen?
  • Ist die fachliche Auswirkung verständlich beschrieben?
  • Ist vorab geklärt, wer Stoppen oder Weiterbetrieb entscheidet?
  • Hat jede Ausnahme ein Ende und eine Korrekturaufgabe?
  • Wird die Ursache möglichst im Quellsystem behoben?

In der Serie weiterlesen

Governance in data engineering

Part 3 of 5

View series

Knowledge check

Tour