Profiling, Validierung und Observability
Wie Erkundung, Regelprüfung und laufende Beobachtung zusammen einen belastbaren Qualitätsnachweis bilden.
Einstieg
Diese Folge gehört zur Serie Datenqualität mit Nachweis. Sie erklärt Datenqualität nicht als abstrakten Score, sondern als begründete Aussage: Für welchen Zweck sind Daten gut genug, welche Grenzen gelten und welcher Nachweis liegt vor?
Begriffe vor dem Lesen
- Profiling — Erkundung von Daten, um Muster, Auffälligkeiten, Wertebereiche und mögliche Regeln zu erkennen.
- Validierung — Ausführung vereinbarter Regeln gegen einen klaren Umfang.
- Observability — Laufende Beobachtung von Aktualität, Volumen, Fehlern, Nutzung und ungewöhnlichem Verhalten.
- Baseline — Vergleichswert, der normales Verhalten beschreibt.
- Signal — Hinweis, dass ein Datenobjekt geprüft oder korrigiert werden sollte.
Das Problem im Alltag
Profiling findet Auffälligkeiten, aber beweist keine fachliche Korrektheit. Validierung prüft Regeln, aber erkennt neue Muster nicht immer. Observability erkennt Betriebsänderungen, aber erklärt nicht automatisch die Bedeutung.
Das saubere Muster

Was das praktisch bedeutet
Qualität entsteht nicht durch möglichst viele Prüfungen. Qualität entsteht, wenn eine fachliche Erwartung so beschrieben ist, dass sie geprüft, verstanden und im Fehlerfall behandelt werden kann.
Ein gutes Qualitätsmodell macht drei Dinge sichtbar:
- welche Nutzung geschützt wird;
- welche Datenfälle zur Aussage gehören;
- was passiert, wenn die Erwartung verletzt wird.
Damit werden Tests, Katalogeinträge, Incidents und Datenverträge Teil derselben Geschichte. Nutzer sehen nicht nur ein grünes oder rotes Signal, sondern verstehen, was dieses Signal für ihre Entscheidung bedeutet.
Mini-Fall
Beim Onboarding einer Quelle zeigt Profiling viele leere Werte. Der Fachbereich erklärt: Leere Werte sind bei Gastbestellungen erlaubt. Daraus entsteht keine pauschale Null-Regel, sondern eine Regel mit klarem Umfang.
Anti-Patterns
- Tests schreiben, bevor Zweck und Umfang geklärt sind.
- Einen globalen Qualitätswert als Freigabe für jede Nutzung verstehen.
- Warnungen sammeln, aber keine Reaktion vereinbaren.
- Technische Logs als Nachweis behandeln, obwohl Nutzer sie nicht finden.
- Fachliche Entscheidungen an ein Tool delegieren.
Erster Umsetzungsschnitt
- Eine neue oder kritische Quelle profilieren.
- Auffälligkeiten mit dem Fachbereich prüfen.
- Drei bestätigte Erwartungen als Regeln anlegen.
- Freshness und Volumen beobachten.
- Neue Auffälligkeiten in Review oder Incident überführen.
Woran man merkt, dass es besser wird
Teams diskutieren weniger über abstrakte Prozentwerte und mehr über konkrete Entscheidungen. Fachbereiche wissen, welche Daten sie wofür verwenden dürfen. Data Engineering weiß, welche Erwartungen wirklich kritisch sind. Incidents führen zu besseren Regeln statt nur zu neu gestarteten Jobs.
Data Quality With Proof
Part 3 of 9
View series