Eine Regel, drei Plattformen — Eine fachliche Datenqualitätsregel in Fabric, dbt und Databricks
Wie dieselbe fachliche Datenqualitätsregel in Microsoft Fabric, dbt und Databricks unterschiedlich implementiert, aber mit identischer Semantik und einem gemeinsamen standardisierten Ergebnis überwacht wird.
Begriffe vor dem Lesen
- DQ auf der Plattform — Umsetzung von Datenqualitaetsregeln in Fabric, dbt, Databricks oder vergleichbaren Stacks.
- Rule-ID — Stabile Kennung einer fachlichen Erwartung ueber Tools hinweg.
- Result Table — Standardisierte Tabelle für Regel-Lauf, Status, Fehlerrate, Owner und Nachweis.
- Quellkorrektur — Behebung im fuehrenden System, wenn der Fehler dort entsteht.
- Transformation — Nachgelagerte Bereinigung; sie braucht Kennzeichnung, Grund und Nachweis.
Weitere Produkte ergänzen eine Aufgabe, nicht dieselbe Regel
Die drei gezeigten Ausführungen bleiben Vergleichswege für dieselbe fachliche Regel. Soll KNIME als Alternative geprüft werden, verwende genau denselben Eingangsbestand, dieselbe Regelversion und dieselben erwarteten Gut- und Fehlerfälle. Vergleiche zusätzlich Laufzeit, Wiederanlauf und die Übergabe an den Betrieb.
Ein erfolgreicher Fivetran-Sync belegt dagegen zunächst die Übernahme; eine erreichbare Denodo-View die Abfragbarkeit. Beides beweist nicht, dass die fachliche Qualitätsregel bestanden wurde. Erzeuge deshalb ausdrücklich einen Datensatz, der technisch lesbar ist, aber die Regel verletzt. Er muss im Ergebnisverlauf als Fehler erscheinen und den vereinbarten Sperr- oder Quarantäneweg auslösen. Die fachliche Freigabe bleibt beim benannten Owner, die Reparatur beim vereinbarten Betreiber.
Nächster Arbeitsschritt: Entscheidung im bestehenden Fachkapitel konkretisieren.
Qualität, Quellkorrektur und AI-Nutzung
Datenqualität muss sichtbar machen, wo ein Problem behoben wurde. Wenn der Fehler im Quellsystem entsteht, ist die beste Behebung eine Korrektur an der Quelle oder mindestens ein dokumentierter Quellbefund mit Owner. Wenn ETL oder ELT Werte nachgelagert bereinigt, schätzt, mappt oder filtert, braucht diese Änderung Evidence: Regel, Grund, betroffene Felder, Version und erlaubte Nutzung.
Das ist besonders wichtig für AI. Retrieval, Training, Features und Agenten sehen oft nur das nachgelagerte Ergebnis. Ohne Kennzeichnung wissen sie nicht, ob ein Wert beobachtet, korrigiert, geschätzt, defaulted oder ausgeschlossen wurde. Governance muss Unsicherheit und Herkunft erhalten, statt sie hinter einem sauber wirkenden Datensatz zu verstecken.
Eine Regel ist fachlich — ihre Implementierung ist technisch
Datenqualitätsregeln sollten nicht mit dem Werkzeug beginnen.
Die fachliche Anforderung lautet nicht:
- Erstelle einen Fabric-Test.
- Schreibe einen dbt-Test.
- Definiere eine Databricks Expectation.
Sie lautet beispielsweise:
Jeder aktive Kunde benötigt eine gültige Customer ID, ein Land und ein Änderungsdatum innerhalb der letzten 24 Stunden.
Diese Anforderung bleibt gleich, unabhängig davon, ob die Daten in Microsoft Fabric, über dbt oder in Databricks verarbeitet werden.
Die technische Umsetzung unterscheidet sich jedoch:
- Fabric kann die Regel mit Warehouse SQL, Notebook-Code, Pipelines oder teilweise mit Materialized Lake View Constraints ausführen.
- dbt beschreibt Tests in YAML und SQL und liefert die Datensätze zurück, die eine Assertion verletzen.
- Databricks definiert Expectations direkt an Streaming Tables oder Materialized Views und protokolliert deren Ergebnisse im Pipeline Event Log.
Plattformneutralität bedeutet nicht, überall denselben Code zu verwenden. Sie bedeutet, überall dieselbe fachliche Semantik und dieselbe Ergebnisstruktur zu erhalten.
Die Beispielregel präzise definieren
Der Satz „Jeder aktive Kunde benötigt eine gültige Customer ID, ein Land und ein Änderungsdatum innerhalb der letzten 24 Stunden“ klingt eindeutig. Für eine reproduzierbare technische Umsetzung reicht er noch nicht aus.
Vor der Implementierung müssen mindestens folgende Fragen beantwortet werden:
| Frage | Festgelegte Semantik im Beispiel |
|---|---|
| Was ist ein aktiver Kunde? | is_active = true |
| Was bedeutet gültige Customer ID? | nicht NULL und nicht leer |
| Was bedeutet gültiges Land? | nicht NULL und nicht leer |
| Welches Datumsfeld wird geprüft? | updated_at |
| Welche Zeitzone gilt? | UTC |
| Was bedeutet „innerhalb der letzten 24 Stunden“? | updated_at >= evaluation_timestamp - 24 Stunden |
| Was geschieht bei zukünftigem Datum? | separate Plausibilitätsregel, nicht Bestandteil dieser Regel |
Was geschieht bei NULL in updated_at? |
Regelverletzung |
| Welche Datensätze bilden den Prüfumfang? | nur aktive Kunden |
| Wie werden Fehler gezählt? | eine Verletzung je Kunde und atomarem Check |
Diese Definition sollte in einer zentralen Rule Registry versioniert werden.
Ein möglicher fachlicher Header:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
Rule ID: DQ-CUST-ACTIVE-001
Rule Version: 1
Data Product: Customer 360
Owner: Data Steward CRM
Severity: High
Scope: Active customers
Evaluation Time Zone: UTC
Eine Business Rule wird in atomare Checks zerlegt
Für Monitoring und Ursachenanalyse ist es sinnvoll, die zusammengesetzte Regel in drei atomare Checks zu zerlegen:
| Check ID | Check | Fehlerbedingung |
|---|---|---|
| DQ-CUST-ACTIVE-001-A | Customer ID vorhanden | aktive Zeile und Customer ID ist NULL oder leer |
| DQ-CUST-ACTIVE-001-B | Land vorhanden | aktive Zeile und Land ist NULL oder leer |
| DQ-CUST-ACTIVE-001-C | Änderungsdatum aktuell | aktive Zeile und updated_at ist NULL oder älter als 24 Stunden |
Dadurch entstehen zwei Ebenen:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
Business Rule
DQ-CUST-ACTIVE-001
Atomic Checks
DQ-CUST-ACTIVE-001-A
DQ-CUST-ACTIVE-001-B
DQ-CUST-ACTIVE-001-C
Das ist wichtig, weil ein Kunde mehrere Bedingungen gleichzeitig verletzen kann.
Beispiel:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
Customer C12345:
Customer ID fehlt
Land fehlt
Änderungsdatum ist zu alt
Die Summe der drei Check-Fehler wäre 3. Fachlich ist aber nur ein Kunde betroffen.
Deshalb sollten zwei Kennzahlen getrennt werden:
- Rule Violations: Anzahl atomarer Regelverletzungen
- Affected Entities: Anzahl unterschiedlicher Kunden mit mindestens einer Verletzung
Fehlerzeilen über atomare Checks dürfen nicht einfach addiert werden, wenn dieselbe Entität mehrere Checks verletzen kann.
Gleiche Regel, unterschiedliche Implementierungen
Das Schaubild zeigt bewusst unterschiedliche technische Formen:
- eine regel- oder SQL-basierte Fabric-Implementierung
- eine dbt-Definition in YAML mit wiederverwendbaren Data Tests
- Databricks Lakeflow Expectations
Die Codeblöcke im Schaubild sind als komprimierte Darstellung des Musters zu verstehen. Eine produktive Umsetzung benötigt zusätzlich:
- Run ID
- gemeinsamen Bewertungszeitpunkt
- Rule Version
- Fehlerbehandlung
- Historisierung
- Owner und Schweregrad
- standardisiertes Result Mapping
Der gemeinsame Laufzeitkontext
Selbst bei identischer Regel können Plattformen unterschiedliche Ergebnisse erzeugen, wenn sie nicht denselben Laufzeitkontext verwenden.
Gemeinsamer Bewertungszeitpunkt
Diese beiden Bedingungen sind fachlich nicht vollständig identisch:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
Fabric prüft um 08:00:01
dbt prüft um 08:02:43
Databricks prüft um 08:05:17
Ein Kunde nahe der 24-Stunden-Grenze kann in einer Plattform bestehen und in einer anderen fehlschlagen.
Deshalb sollte die Orchestrierung einen gemeinsamen Wert vorgeben:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
Evaluation Timestamp:
2026-07-18T08:00:00Z
Alle Plattformen leiten daraus denselben Cutoff ab:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
Freshness Cutoff:
2026-07-17T08:00:00Z
Gleicher Datensnapshot
Ein identischer Bewertungszeitpunkt reicht nicht, wenn die zugrunde liegenden Daten während der Tests verändert werden.
Für einen echten Reconciliation-Test benötigen die Plattformen:
- denselben Snapshot
- dieselbe Delta-Version
- denselben Batch oder Watermark
- dieselbe Quellversion
- oder eine fachlich identische replizierte Datenmenge
Gleiche Null- und Leerwertsemantik
Plattformen und Quellsysteme können unterschiedlich mit folgenden Werten umgehen:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
NULL
''
' '
'UNKNOWN'
'N/A'
Die Rule Registry muss festlegen, welche Werte als fehlend gelten.
Im Beispiel:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
NULL, leer und nur aus Leerzeichen bestehend
→ ungültig
Gleiche Bezugs- und Detailebene
Die Regel prüft aktive Kunden.
Nicht geprüft werden:
- historische inaktive Kunden
- technische Zwischenstände
- mehrfach vorhandene Quellzeilen, wenn das Data Product bereits eine Kundenzeile je Kunde verspricht
- gelöschte Datensätze außerhalb des aktuellen fachlichen Scopes
Umsetzung in Microsoft Fabric
Für die vollständige Beispielregel ist ein SQL- oder Notebook-Test meist der direkteste Weg.
Materialized Lake Views unterstützen deklarative Constraints mit DROP oder FAIL. Aktuelle Einschränkungen bei Constraint-Ausdrücken können jedoch dynamische oder funktionsbasierte Prüfungen begrenzen. Eine relative 24-Stunden-Prüfung sollte deshalb vor der Umsetzung gegen die aktuelle Fabric-Dokumentation geprüft oder mit Warehouse SQL beziehungsweise Notebook-Code ausgeführt werden.
T-SQL-Muster im Fabric Warehouse
Die Orchestrierung übergibt Run ID und Evaluation Timestamp.
DECLARE @run_id VARCHAR(100) =
'RUN_20260718_080000';
DECLARE @evaluation_ts DATETIME2(6) =
'2026-07-18T08:00:00';
WITH active_customers AS (
SELECT
customer_id,
country,
updated_at
FROM silver.customer
WHERE is_active = 1
),
check_metrics AS (
SELECT
'DQ-CUST-ACTIVE-001-A' AS check_id,
'customer_id_required' AS check_name,
COUNT_BIG(*) AS rows_tested,
SUM(
CASE
WHEN customer_id IS NULL
OR LTRIM(RTRIM(customer_id)) = ''
THEN CAST(1 AS BIGINT)
ELSE CAST(0 AS BIGINT)
END
) AS rows_failed
FROM active_customers
UNION ALL
SELECT
'DQ-CUST-ACTIVE-001-B',
'country_required',
COUNT_BIG(*),
SUM(
CASE
WHEN country IS NULL
OR LTRIM(RTRIM(country)) = ''
THEN CAST(1 AS BIGINT)
ELSE CAST(0 AS BIGINT)
END
)
FROM active_customers
UNION ALL
SELECT
'DQ-CUST-ACTIVE-001-C',
'updated_within_24h',
COUNT_BIG(*),
SUM(
CASE
WHEN updated_at IS NULL
OR updated_at <
DATEADD(HOUR, -24, @evaluation_ts)
THEN CAST(1 AS BIGINT)
ELSE CAST(0 AS BIGINT)
END
)
FROM active_customers
)
SELECT
@run_id AS run_id,
check_id,
check_name,
rows_tested,
rows_failed,
CAST(rows_failed AS DECIMAL(18,8))
/ NULLIF(
CAST(rows_tested AS DECIMAL(18,8)),
0
) AS failure_rate,
@evaluation_ts AS evaluation_timestamp
FROM check_metrics;
Das Ergebnis wird anschließend in die zentrale DQ-Historie geschrieben.
Fehlerdetails in Fabric
Für Root-Cause-Analysen kann zusätzlich eine Detailtabelle erzeugt werden:
SELECT
@run_id AS run_id,
'DQ-CUST-ACTIVE-001-B' AS check_id,
customer_id AS entity_id,
'country is missing' AS result_detail
FROM silver.customer
WHERE is_active = 1
AND (
country IS NULL
OR LTRIM(RTRIM(country)) = ''
);
Die aggregierte Ergebniszeile und die Detailzeilen gehören in unterschiedliche Tabellen.
Umsetzung mit dbt
dbt Data Tests sind SQL-Abfragen, die fehlerhafte Datensätze zurückgeben.
Die zusammengesetzte Regel kann als wiederverwendbarer Generic Data Test implementiert und in YAML konfiguriert werden.
YAML-Konfiguration
version: 2
models:
- name: dim_customer
data_tests:
- active_customer_contract:
arguments:
active_column: is_active
customer_id_column: customer_id
country_column: country
updated_at_column: updated_at
evaluation_timestamp: "2026-07-18 08:00:00+00:00"
freshness_hours: 24
config:
store_failures: true
severity: error
meta:
rule_id: DQ-CUST-ACTIVE-001
owner: Data Steward CRM
dq_severity: High
rule_version: 1
Die aktuelle dbt-Syntax verwendet data_tests:. tests: bleibt aus Gründen der Abwärtskompatibilität weiterhin verfügbar.
Generic Test
Ein Generic Test kann eine Zeile je atomarer Verletzung zurückgeben:
{% test active_customer_contract(
model,
active_column,
customer_id_column,
country_column,
updated_at_column,
evaluation_timestamp,
freshness_hours
) %}
with scoped as (
select *
from {{ model }}
where {{ active_column }} = true
),
violations as (
select
cast({{ customer_id_column }} as {{ dbt.type_string() }})
as entity_id,
'DQ-CUST-ACTIVE-001-A' as check_id,
'customer_id_required' as check_name,
'customer_id is missing' as result_detail
from scoped
where {{ customer_id_column }} is null
or trim({{ customer_id_column }}) = ''
union all
select
cast({{ customer_id_column }} as {{ dbt.type_string() }}),
'DQ-CUST-ACTIVE-001-B',
'country_required',
'country is missing'
from scoped
where {{ country_column }} is null
or trim({{ country_column }}) = ''
union all
select
cast({{ customer_id_column }} as {{ dbt.type_string() }}),
'DQ-CUST-ACTIVE-001-C',
'updated_within_24h',
'updated_at is older than 24 hours'
from scoped
where {{ updated_at_column }} is null
or {{ dq_older_than_hours(
updated_at_column,
evaluation_timestamp,
freshness_hours
) }}
)
select *
from violations
{% endtest %}
dq_older_than_hours steht hier für ein adapterfähiges Macro, das die passende Datumsarithmetik für das jeweilige Zielsystem generiert.
Beispiele für mögliche technische Übersetzungen:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
Fabric Warehouse:
updated_at < DATEADD(HOUR, -24, evaluation_timestamp)
Databricks SQL:
updated_at < evaluation_timestamp - INTERVAL 24 HOURS
Snowflake:
updated_at < DATEADD(HOUR, -24, evaluation_timestamp)
Damit bleibt die fachliche Regel stabil, während dbt plattformspezifisches SQL kompiliert.
store_failures ist Detailablage, keine Historie
Mit store_failures: true persistiert dbt die fehlerhaften Datensätze in einer Audit-Tabelle.
Das ist für Ursachenanalyse sehr nützlich.
Die Audit-Tabelle ist jedoch keine historische Ergebnisfaktentabelle:
- dbt speichert die aktuellen Fehlerdatensätze des Tests.
- Ein späterer Lauf ersetzt die vorherigen Fehler für denselben Test.
- Ein erfolgreicher Lauf kann die vorherige Fehlerablage ersetzen.
- Historische Trends benötigen deshalb eine zusätzliche Append-Tabelle.
Die Historisierung kann erzeugt werden aus:
run_results.jsonmanifest.json- der Audit-Tabelle
- Run-Metadaten
- Rule-Metadaten aus YAML
- einem nachgelagerten DQ History Model
Umsetzung in Databricks
Databricks Lakeflow Expectations werden direkt an einem Dataset definiert.
Für eine vergleichbare Messung eignet sich zunächst das Warn-Verhalten, weil ungültige Daten nicht entfernt werden und der Flow nicht beim ersten Fehler stoppt.
SQL-Beispiel
CREATE OR REFRESH STREAMING TABLE silver.customer_validated (
CONSTRAINT active_customer_id_required
EXPECT (
NOT is_active
OR (
customer_id IS NOT NULL
AND TRIM(customer_id) <> ''
)
),
CONSTRAINT active_customer_country_required
EXPECT (
NOT is_active
OR (
country IS NOT NULL
AND TRIM(country) <> ''
)
),
CONSTRAINT active_customer_updated_within_24h
EXPECT (
NOT is_active
OR (
updated_at IS NOT NULL
AND updated_at >=
current_timestamp() - INTERVAL 24 HOURS
)
)
)
AS
SELECT *
FROM STREAM(bronze.customer);
Ohne ON VIOLATION protokolliert Databricks die Verstöße als Warnungen und verarbeitet die Datensätze weiter.
Alternative Reaktionen:
ON VIOLATION DROP ROW
ON VIOLATION FAIL UPDATE
Diese Varianten verändern jedoch die technische Semantik:
DROPentfernt Datensätze aus dem Ziel.FAILkann die betroffene Aktualisierung frühzeitig stoppen.- Bei frühem Fail stehen nicht zwingend vollständige Metriken für alle Datensätze bereit.
Für einen reinen Plattformvergleich sollte die Action deshalb explizit dokumentiert und nicht mit Severity verwechselt werden.
Gemeinsamen Bewertungszeitpunkt verwenden
Das Beispiel verwendet zur Lesbarkeit current_timestamp().
Für eine echte Reconciliation sollte der gemeinsame Bewertungszeitpunkt als Pipeline-Konfiguration oder Parameter bereitgestellt werden.
Konzeptionell:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
evaluation_timestamp =
2026-07-18T08:00:00Z
Die Expectation prüft dann gegen:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
evaluation_timestamp - 24 hours
Event Log als technische Ergebnisquelle
Databricks protokolliert Expectation-Metriken im Pipeline Event Log.
Für atomare Checks können unter anderem verwendet werden:
- Expectation Name
- Dataset
- Passed Records
- Failed Records
- Pipeline Update ID
- Flow Name
- Event Timestamp
Eine Normalisierungsschicht mappt:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
active_customer_id_required
→ DQ-CUST-ACTIVE-001-A
active_customer_country_required
→ DQ-CUST-ACTIVE-001-B
active_customer_updated_within_24h
→ DQ-CUST-ACTIVE-001-C
Drei Plattformen — drei native Rohresultate
| Aspekt | Microsoft Fabric | dbt | Databricks |
|---|---|---|---|
| Primäre Implementierung | SQL, Notebook oder Pipeline | Generic oder Singular Data Test | Lakeflow Expectation |
| Regelkonfiguration | SQL, Metadaten oder Generator | YAML und SQL Macro | SQL oder Python |
| Rohresultat | Query-/Notebook-Ergebnis | fehlerhafte Datensätze und dbt Artifact | Event-Log-Metriken |
| Fehlerdetails | separate Delta- oder Warehouse-Tabelle | Audit-Tabelle durch store_failures |
Quarantäne oder separates Fehlerdataset |
| Historisierung | explizites Append | zusätzliche History erforderlich | Event Log ist historisch, aber muss kuratiert werden |
| Durchsetzung | frei implementierbar; MLV unterstützt Drop/Fail | Warn/Error-Semantik im Testlauf | Warn, Drop oder Fail |
| Gemeinsame Ausgabe | DQ Result Table | DQ History Model | DQ History Delta Table |
Die Rohresultate sind nicht identisch.
Die fachliche Aussage kann trotzdem identisch sein.
Ein gemeinsames standardisiertes Ergebnis
Für die Serie bleibt die aggregierte Ergebnistabelle der zentrale Vertrag.
Aggregierte DQ-Ergebnistabelle
Bezugs- und Detailebene:
Eine Zeile je Plattform, Run und atomarem Check.
Empfohlene Felder:
| Feld | Beispiel |
|---|---|
| Run ID | RUN_20260718_080000 |
| Rule ID | DQ-CUST-ACTIVE-001 |
| Check ID | DQ-CUST-ACTIVE-001-B |
| Rule Version | 1 |
| Platform | dbt |
| Execution Method | Generic Data Test |
| Data Product | Customer 360 |
| Table | DIM_CUSTOMER |
| Column | COUNTRY |
| Test Type | Conditional Not Null |
| Status | Failed |
| geprüfte Zeilen | 250000 |
| fehlerhafte Zeilen | 382 |
| Fehlerquote | 0.001528 |
| Evaluation Timestamp | 2026-07-18T08:00:00Z |
| Executed At | tatsächlicher technischer Zeitpunkt |
| Owner | Data Steward CRM |
| Severity | High |
| Source Execution ID | Pipeline-, dbt- oder Update-ID |
| Metric Completeness | Complete |
Optionale DQ-Fehlerdetailtabelle
Bezugs- und Detailebene:
Eine Zeile je Plattform, Run, atomarem Check und betroffener Entität.
Beispiel:
| Run ID | Check ID | Platform | Entity ID | Result Detail |
|---|---|---|---|---|
| RUN-001 | ...-A | Fabric | C12345 | Customer ID fehlt |
| RUN-001 | ...-B | dbt | C12345 | Land fehlt |
| RUN-001 | ...-C | Databricks | C12345 | Änderungsdatum älter als 24 Stunden |
Das Schaubild verwendet zur Veranschaulichung Detailzeilen. Für Trends und KPIs sollte daraus zusätzlich die aggregierte Ergebnisfaktentabelle entstehen.
Status normalisieren
Die Plattformen verwenden unterschiedliche Begriffe.
Ein mögliches Mapping:
| Plattformresultat | Gemeinsamer Status |
|---|---|
| Fabric: 0 Fehler | Passed |
| Fabric: Threshold verletzt | Failed |
| dbt: pass | Passed |
| dbt: warn | Warning |
| dbt: fail | Failed |
| dbt: error | Error |
| Databricks Warn mit 0 Fehlern | Passed |
| Databricks Warn mit Fehlern | Warning |
| Databricks Drop mit Fehlern | Filtered |
| Databricks Fail Update | Failed Early |
| technischer Laufzeitfehler | Error |
Die Action wird zusätzlich separat gespeichert:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
Action:
Observe
Warn
Drop
Fail
Severity bleibt ein eigenes fachliches Feld.
Ergebnisse vergleichbar machen
Damit die drei Resultate wirklich vergleichbar sind, müssen mindestens acht Bedingungen erfüllt sein:
- Gleiche Rule Version
- Gleicher aktiver Scope
- Gleicher Bewertungszeitpunkt
- Gleiche Zeitzone
- Gleicher Datensnapshot oder Watermark
- Gleiche Null- und Leerwertsemantik
- Gleiche Zählweise
- Gleiche Status- und Threshold-Logik
Erst dann ist ein Ergebnisvergleich sinnvoll.
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
Same business sentence
≠ automatically comparable execution
Vergleichbarkeit entsteht durch den technischen Vertrag.
Reconciliation: Sollten die Ergebnisse identisch sein?
Wenn wirklich derselbe Datensnapshot auf allen drei Plattformen geprüft wird, sollten für jeden atomaren Check gelten:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
geprüfte Zeilen: identisch
fehlerhafte Zeilen: identisch
Fehlerquote: identisch
Affected Entity Set: identisch
Abweichungen sind dann selbst ein Qualitäts- oder Replikationssignal.
Beispiele:
- Fabric sieht 250.000 aktive Kunden, Databricks nur 249.980.
- dbt findet 382 fehlende Länder, Fabric 380.
- Databricks bewertet zwölf Kunden als veraltet, dbt nur zehn.
- eine Plattform normalisiert Leerzeichen, eine andere nicht.
- Zeitstempel wurden in unterschiedlichen Zeitzonen interpretiert.
Eine Reconciliation-Tabelle kann enthalten:
| Run ID | Check ID | Fabric Failed | dbt Failed | Databricks Failed | Reconciled |
|---|---|---|---|---|---|
| RUN-001 | ...-A | 15 | 15 | 15 | Yes |
| RUN-001 | ...-B | 382 | 380 | 382 | No |
| RUN-001 | ...-C | 12 | 10 | 12 | No |
Dies ist vor allem bei Migrationen, Parallelbetrieb oder der Ablösung einer Plattform hilfreich.
In einem normalen Zielbetrieb muss eine Regel nicht auf drei Plattformen gleichzeitig ausgeführt werden. Entscheidend ist, dass jede Plattform denselben Output-Vertrag erfüllen kann.
Rule Registry als Single Source of Truth
Die fachliche Definition sollte nicht dreimal manuell gepflegt werden.
Eine zentrale Rule Registry kann enthalten:
rule_id: DQ-CUST-ACTIVE-001
version: 1
data_product: Customer 360
scope:
expression: is_active = true
checks:
- check_id: DQ-CUST-ACTIVE-001-A
type: required
column: customer_id
empty_is_invalid: true
- check_id: DQ-CUST-ACTIVE-001-B
type: required
column: country
empty_is_invalid: true
- check_id: DQ-CUST-ACTIVE-001-C
type: freshness
column: updated_at
max_age_hours: 24
owner: Data Steward CRM
severity: High
timezone: UTC
Generatoren können daraus erzeugen:
Dies knüpft an die in Part 3 beschriebenen DG Tools an:
- DG Macro Generator
- DQ Rules Generator
- DQ History Generator
Der Generator ersetzt nicht die fachliche Freigabe. Er reduziert jedoch Copy-and-paste, Namensabweichungen und inkonsistente Ergebnislogik.
Versionierung der Regel
Eine Regeländerung darf historische Resultate nicht stillschweigend neu interpretieren.
Beispiel:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
Version 1:
maximales Alter = 24 Stunden
Version 2:
maximales Alter = 12 Stunden
Die Rule ID kann stabil bleiben, aber Rule Version muss sich ändern.
Historische Ergebniszeilen speichern:
- Rule ID
- Rule Version
- Threshold
- Evaluation Timestamp
- technische Implementierungsversion
- Source Execution ID
Dadurch kann BI unterscheiden:
Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.
Trend innerhalb derselben Regelversion
versus
Sprung durch geänderte Regeldefinition
Qlik- und Power-BI-Auswertung
Qlik und Power BI greifen auf dasselbe kuratierte Ergebnisdatenmodell zu.
Typische Perspektiven:
- Fehlerquote nach Check
- Plattformvergleich
- Abgleich-Differenzen
- Trends je Rule Version
- betroffene Kunden
- Fehler nach Owner und Schweregrad
- Freshness-Verstöße
- Datenqualität vor und nach Migration
- technische Errors und unvollständige Metriken
Zeilengewichtete Fehlerrate
Qlik:
Num(
Sum(rows_failed)
/
Sum(rows_tested),
'0.00%'
)
Power BI:
Fehlerquote =
DIVIDE(
SUM(DQ_Result[fehlerhafte Zeilen]),
SUM(DQ_Result[geprüfte Zeilen])
)
Betroffene Kunden
Wenn Failure Details verfügbar sind:
Qlik:
Count(DISTINCT entity_id)
Power BI:
Affected Customers =
DISTINCTCOUNT(DQ_Failure_Detail[Entity ID])
Diese Kennzahl darf nicht aus der Summe der atomaren fehlerhafte Zeilen abgeleitet werden.
Welche Plattform passt zum Ziel — ohne Produktsieger
Die Story soll keinen Produktsieger bestimmen.
Die passende Umsetzung hängt vom Ziel ab.
Microsoft Fabric
Geeignet, wenn:
- Lakehouse und Warehouse bereits die zentrale Plattform bilden
- SQL-, Notebook- und Pipeline-Teams gemeinsam arbeiten
- Ergebnisse direkt als Delta- oder Warehouse-Tabelle bereitgestellt werden sollen
- Power BI eng integriert ist
- Purview oder Materialized Lake Views ergänzend genutzt werden
dbt
Geeignet, wenn:
- Regeln als Code und YAML versioniert werden sollen
- dieselben Test-Macros in mehreren Modellen wiederverwendet werden
- SQL-Transformationen und Tests eng gekoppelt sind
- mehrere Zielplattformen unterstützt werden sollen
- eine Generator- und Artifact-basierte Historisierung aufgebaut wird
Databricks
Geeignet, wenn:
- Qualität direkt in Streaming- und Pipeline-Verarbeitung durchgesetzt werden soll
- Warn, Drop und Fail native Pipeline-Aktionen sind
- Event Logs und Delta Tables die Observability-Basis bilden
- große oder kontinuierliche Datenmengen verarbeitet werden
- Lakeflow und Unity Catalog bereits die Plattformbasis bilden
Die Plattform bestimmt den Ausführungsmechanismus. Die Governance bestimmt die Regel.
Praktischer Pilot
Ein belastbarer Vergleich kann in einem kleinen Pilot aufgebaut werden:
- Einen identischen Kundensnapshot bereitstellen.
- Gemeinsame Rule ID und drei Check IDs definieren.
- Bewertungszeitpunkt in UTC festlegen.
- Fabric-Test gegen den Snapshot ausführen.
- dbt-Test mit
store_failuresausführen. - Databricks Expectations im Warn-Modus ausführen.
- Rohresultate in das gemeinsame Schema überführen.
geprüfte Zeilen,fehlerhafte Zeilenund Entity Sets vergleichen.- Unterschiede analysieren und Semantik korrigieren.
- Qlik oder Power BI auf die standardisierte Ergebnistabelle setzen.
Typische Fehlentscheidungen
Den gleichen Text mit gleicher Semantik verwechseln
Ein identischer Beschreibungssatz garantiert keine identische technische Auswertung.
current_timestamp() überall separat verwenden
Nahe der 24-Stunden-Grenze entstehen unterschiedliche Ergebnisse.
Atomare Fehler addieren und als betroffene Kunden darstellen
Ein Kunde kann mehrere Checks verletzen.
dbt Audit-Tabellen als Historie behandeln
store_failures persistiert aktuelle Fehler, ersetzt aber frühere Ergebnisse desselben Tests.
Databricks Drop als bestandene Qualität darstellen
Datensätze wurden entfernt. Die Verletzung bleibt relevant.
Fabric-, dbt- und Databricks-Status direkt vergleichen
Die Statuswerte benötigen ein gemeinsames Mapping.
Plattformcode zur führenden Regeldefinition machen
Dann entstehen drei fachliche Wahrheiten statt einer Regel.
Rule Version nicht speichern
Eine Threshold-Änderung erscheint sonst wie eine plötzliche Qualitätsverschlechterung.
Die zentrale Erkenntnis
Eine fachliche Regel kann auf Microsoft Fabric, dbt und Databricks unterschiedlich implementiert werden und trotzdem exakt dieselbe Datenqualitätsaussage liefern.
Dafür benötigt sie:
- eine präzise fachliche Definition
- atomare Check IDs
- eine versionierte Rule Registry
- einen gemeinsamen Umfang
- einen gemeinsamen Bewertungszeitpunkt
- identische Zähl- und Statussemantik
- eine standardisierte Ergebnisstruktur
- getrennte Aggregate und Fehlerdetails
So kann die Organisation die beste technische Plattform für den jeweiligen Datenprozess verwenden, ohne Governance, Monitoring und Vergleichbarkeit neu zu erfinden.
Passende Playbooks
- Part 1 — From Tests to Data Quality Monitoring
- Part 2 — Data Quality in Microsoft Fabric
- Part 3 — Data Quality with dbt
- Part 4 — Data Quality in Databricks
- Data Quality & Governance
- Welche Rolle dbt spielt
Quellen und weiterführende Dokumentation
- Microsoft Fabric — Data Quality in Materialized Lake Views
- Microsoft Fabric — Materialized Lake Views Overview
- Microsoft Fabric — Data Quality Report for Materialized Lake Views
- dbt — Add Data Tests to Your DAG
- dbt — Data Tests Property
- dbt — store_failures
- dbt — Run Results JSON
- Databricks — Manage Data Quality with Pipeline Expectations
- Databricks — Lakeflow Pipeline Best Practices
- Databricks — Pipeline Event Log
- Databricks — event_log Table-Valued Function
Stand der Funktionsbeschreibung: Juli 2026. Plattformfunktionen, Syntax und Preview-Status können sich ändern. Vor der produktiven Umsetzung sollte die aktuelle Herstellerdokumentation geprüft werden.
DQ on the platform
Part 4 of 5
View series