Zum Inhalt springen
Search the hub
Profiling, Validierung und Observability

Profiling, Validierung und Observability

Wie Erkundung, Regelprüfung und laufende Beobachtung zusammen einen belastbaren Qualitätsnachweis bilden.

Category
Data Governance
Reading time
3 min
Published
Tags
data-governance metadata data-quality data-products
Download PDF

Einstieg

Diese Folge gehört zur Serie Datenqualität mit Nachweis. Sie erklärt Datenqualität nicht als abstrakten Score, sondern als begründete Aussage: Für welchen Zweck sind Daten gut genug, welche Grenzen gelten und welcher Nachweis liegt vor?

Begriffe vor dem Lesen

  • Profiling — Erkundung von Daten, um Muster, Auffälligkeiten, Wertebereiche und mögliche Regeln zu erkennen.
  • Validierung — Ausführung vereinbarter Regeln gegen einen klaren Umfang.
  • Observability — Laufende Beobachtung von Aktualität, Volumen, Fehlern, Nutzung und ungewöhnlichem Verhalten.
  • Baseline — Vergleichswert, der normales Verhalten beschreibt.
  • Signal — Hinweis, dass ein Datenobjekt geprüft oder korrigiert werden sollte.

Das Problem im Alltag

Profiling findet Auffälligkeiten, aber beweist keine fachliche Korrektheit. Validierung prüft Regeln, aber erkennt neue Muster nicht immer. Observability erkennt Betriebsänderungen, aber erklärt nicht automatisch die Bedeutung.

Das saubere Muster

Schaubild: Profiling, fachliche Bestätigung, Validierung, Observability und Review bilden zusammen Qualitätsnachweis

Was das praktisch bedeutet

Qualität entsteht nicht durch möglichst viele Prüfungen. Qualität entsteht, wenn eine fachliche Erwartung so beschrieben ist, dass sie geprüft, verstanden und im Fehlerfall behandelt werden kann.

Ein gutes Qualitätsmodell macht drei Dinge sichtbar:

  • welche Nutzung geschützt wird;
  • welche Datenfälle zur Aussage gehören;
  • was passiert, wenn die Erwartung verletzt wird.

Damit werden Tests, Katalogeinträge, Incidents und Datenverträge Teil derselben Geschichte. Nutzer sehen nicht nur ein grünes oder rotes Signal, sondern verstehen, was dieses Signal für ihre Entscheidung bedeutet.

Mini-Fall

Beim Onboarding einer Quelle zeigt Profiling viele leere Werte. Der Fachbereich erklärt: Leere Werte sind bei Gastbestellungen erlaubt. Daraus entsteht keine pauschale Null-Regel, sondern eine Regel mit klarem Umfang.

Anti-Patterns

  • Tests schreiben, bevor Zweck und Umfang geklärt sind.
  • Einen globalen Qualitätswert als Freigabe für jede Nutzung verstehen.
  • Warnungen sammeln, aber keine Reaktion vereinbaren.
  • Technische Logs als Nachweis behandeln, obwohl Nutzer sie nicht finden.
  • Fachliche Entscheidungen an ein Tool delegieren.

Erster Umsetzungsschnitt

  1. Eine neue oder kritische Quelle profilieren.
  2. Auffälligkeiten mit dem Fachbereich prüfen.
  3. Drei bestätigte Erwartungen als Regeln anlegen.
  4. Freshness und Volumen beobachten.
  5. Neue Auffälligkeiten in Review oder Incident überführen.

Woran man merkt, dass es besser wird

Teams diskutieren weniger über abstrakte Prozentwerte und mehr über konkrete Entscheidungen. Fachbereiche wissen, welche Daten sie wofür verwenden dürfen. Data Engineering weiß, welche Erwartungen wirklich kritisch sind. Incidents führen zu besseren Regeln statt nur zu neu gestarteten Jobs.

Data Quality With Proof

Part 3 of 9

View series

Knowledge check

Tour