Ein Warehouse von Grund auf aufbauen
Wie ein Neuaufbau-Warehouse ausgehend von einer Geschäftsfrage und einem vertikalen End-to-End-Datenprodukt aufgebaut wird — und wie aus dem ersten produktiven Anwendungsfall ein wiederverwendbares Plattformmuster entsteht.
Neuaufbau-Freiheit kann die falsche Komplexität erzeugen
Ein Warehouse von Grund auf aufzubauen wirkt einfacher, als ein bestehendes Warehouse zu modernisieren. Es gibt keine Legacy-Schemas, die erhalten werden müssen, keine gewachsenen Ladeketten, die entwirrt werden müssen, und keine alten Berichte, die weiterhin funktionieren müssen.
Diese Freiheit ist nützlich. Sie erzeugt aber auch ein häufiges Fehlermuster: Das Team versucht, die vollständige Plattform zu bauen, bevor es eine einzige vertrauenswürdige Antwort geliefert hat.
Typische Neuaufbau-Pläne beginnen mit breiter technischer Arbeit:
Alle Quellen anbinden
Die gesamte verfügbare Historie laden
Alle technischen Schichten aufbauen
Alle wichtigen fachlichen Entitäten modellieren
Jedes künftig denkbare Tool auswählen
Eine unternehmensweite Plattform definieren
Das Business nach seinen Anforderungen fragen
Diese Reihenfolge erzeugt Aktivität, ohne Nutzen zu beweisen. Pipelines, Schemas und Umgebungen wachsen, während das Team noch keine konkrete Geschäftsfrage beantworten kann. Die Architektur wird dadurch für Annahmen optimiert und nicht für beobachtete Anforderungen.
Kapitel 1, Bevor die erste Tabelle entsteht, hat die Entscheidungen definiert, die vor der Umsetzung getroffen werden müssen. Kapitel 2, Mehr als Bronze, Silver und Gold, hat die logischen Verantwortlichkeiten von der Quelle bis zur governten Nutzung getrennt. Kapitel 3, Die einfachste tragfähige Architektur auswählen, hat gezeigt, wie nur die tatsächlich benötigten physischen Fähigkeiten ausgewählt werden.
Dieses Kapitel wendet diese Prinzipien auf eine Neuaufbau-Umsetzung an.
Baue das Warehouse nicht zuerst horizontal auf. Bringe zunächst einen vollständigen vertikalen Pfad von der Geschäftsfrage bis zur Nutzung zum Laufen, lerne daraus und verwende das bewährte Muster erneut.
Der falsche Start
Der falsche Start wird nicht durch ein bestimmtes Tool definiert. Entscheidend ist die Reihenfolge der Entscheidungen.

Das Fehlmuster folgt meist vier Annahmen:
- Mehr geladene Daten schaffen mehr zukünftige Flexibilität.
- Generische Schichten können vor dem ersten realen Anwendungsfall gestaltet werden.
- Fachliche Definitionen können später ergänzt werden.
- Das Reporting-Tool wird zeigen, welche Fragen wichtig sind.
Jede Annahme enthält einen wahren Kern. Zusammen kehren sie jedoch die korrekte Abhängigkeit um.
Ein Warehouse ist wertvoll, weil es verlässliche Informationen für definierte Entscheidungen liefert. Die benötigten Quellen, die Historie, die Integrationslogik, die Qualitätskontrollen und die Service Levels können erst dann korrekt ausgewählt werden, wenn dieser Zweck verstanden ist.
Wer zuerst alle Quellen lädt, erzeugt außerdem ein Verantwortungsproblem. Ein technisches Team wird für Datensätze verantwortlich, deren fachliche Bedeutung, Kritikalität und erwartete Qualität noch nicht abgestimmt sind. Die Plattform enthält dann Daten, aber noch keine governbaren Produkte.
Architekturprinzip: rückwärts entwerfen, vorwärts bauen
Ein Neuaufbau-Warehouse sollte vom benötigten Ergebnis rückwärts entworfen und anschließend durch einen kontrollierten Datenpfad vorwärts implementiert werden.
Die Entwurfsreihenfolge lautet:
Die Umsetzungsreihenfolge lautet:
Beide Reihenfolgen treffen sich in der Mitte. Das Zielmodell zeigt, was geladen werden muss. Die Quellenanalyse zeigt, was tatsächlich geliefert werden kann und wo Annahmen angepasst werden müssen.
Dieser Ansatz vermeidet zwei Extreme:
- quellengetriebene Übernahme ohne Ziel, bei der alles geladen wird, ohne einen definierten Zweck zu besitzen;
- lokale reportgetriebene Modellierung, bei der eine Antwort schnell in einer BI-Anwendung entsteht, aber nicht wiederverwendbar ist.
Das Ziel ist ein vollständiger, schmaler und governbarer Pfad.
Der Vertical-Slice-Ansatz
Ein Vertical Slice enthält genügend Bestandteile jeder erforderlichen Fähigkeit, um ein vertrauenswürdiges Ergebnis zu produzieren. Sein Umfang ist bewusst schmal, seine Verantwortlichkeiten sind jedoch vollständig.

Ein geeigneter erster Slice sollte:
- wertvoll genug sein, dass das Business ihn tatsächlich nutzt;
- klein genug sein, um ihn in einem begrenzten Lieferzyklus abzuschließen;
- repräsentativ genug sein, um zentrale Plattformfähigkeiten zu erproben;
- explizit genug sein, um Verantwortung-, Qualitäts- und Security-Fragen sichtbar zu machen;
- wiederverwendbar genug sein, um Muster für spätere Arbeit zu erzeugen.
Er sollte kein Wegwerfprototyp sein. Der Umfang ist minimal, die Umsetzung aber produktionsorientiert.
Konkretes Beispiel: das Sales Daily Data Product
Angenommen, die erste Warehouse-Anforderung ist die tägliche Vertriebssteuerung.
Die Geschäftsfrage lautet:
Welchen Nettoumsatz haben wir nach Business-Datum, Kunde, Produkt und Land erzielt, und welche Aufträge wurden seit dem vorherigen Ladevorgang geändert oder storniert?
Die ersten Entscheidungen sind:
| Entscheidungsbereich | Definition |
|---|---|
| Fachlicher Zweck | Tägliche Vertriebssteuerung und Analyse von Ausnahmen |
| Kennzahl | Nettoumsatz ohne stornierte Auftragszeilen |
| Granularität | Ein Datensatz pro Auftragszeile und Business-Datum |
| Benötigte Dimensionen | Kunde, Produkt, Land, Auftragsstatus |
| Aktualität | Jeden Morgen vor dem Business Review verfügbar |
| Historie | Kunden- und Produktattribute müssen für das Auftragsdatum reproduzierbar sein |
| Qualität | Gültige Auftrags-, Kunden-, Produkt- und Länderkennung sowie Betrag, Status und Änderungszeitstempel |
| Nutzer | Qlik, Power BI und kontrollierter Excel-Zugriff |
| fachlich verantwortliche Rolle | Sales Controlling |
| Technical Custodian | Data-Platform-Team |
| Security | Vertriebsdetails nur für freigegebene Zugriffe; aggregierte Sichten können breiter verfügbar sein |
| Fehlerverhalten | Fehlgeschlagene Pflichtprüfungen werden sichtbar und verhindern bei wesentlichen Fehlern die vertrauenswürdige Veröffentlichung |
Diese Tabelle ist wichtiger als die erste Pipeline-Definition. Sie bestimmt, was die Pipeline nachweisen muss.
Mit dem Zielvertrag beginnen
Das erste Ziel ist kein Dashboard. Es ist ein governter Datenproduktvertrag.
Ein praktikabler Vertrag für sales_daily könnte folgende Felder enthalten:
| Feld | Bedeutung |
|---|---|
business_date |
Datum für die tägliche Vertriebsanalyse |
order_id |
Stabiler Quellbezeichner des Auftrags |
order_line_id |
Stabiler Positionsbezeichner innerhalb des Auftrags |
customer_key |
Governter Warehouse-Kundenschlüssel |
product_key |
Governter Warehouse-Produktschlüssel |
country_code |
Standardisierter Ländercode |
order_status |
Standardisierter fachlicher Status |
gross_revenue |
Quellbetrag vor Anwendung der Stornoregel |
net_revenue |
Governter Betrag für den täglichen Vertriebs-Kennzahl |
source_changed_at |
Letzter relevanter Änderungszeitstempel der Quelle |
loaded_at |
Verarbeitungszeitstempel des Warehouses |
quality_status |
Veröffentlichungsstatus oder Qualitätskennzeichen |
Der Vertrag sollte zusätzlich dokumentieren:
- die Granularität;
- zulässige Nullwerte;
- erlaubte Domains;
- fachliche Filter;
- Historienverhalten;
- Aktualitätserwartung;
- verantwortliche Person;
- Sicherheitsklassifikation;
- Kompatibilitätserwartungen für Nutzer.
Der Zielvertrag verhindert, dass Qlik, Power BI und Excel leicht unterschiedliche Interpretationen desselben fachlichen Konzepts erhalten.
Das Zielmodell ableiten, bevor jede Quelltabelle untersucht wird
Fakt und Dimensionen können nun auf logischer Ebene definiert werden.
fact_sales_order_line
dim_customer
dim_product
dim_country
dim_order_status
mart.sales_daily
Der erste Slice benötigt weder ein vollständiges Customer 360 noch eine vollständige Produktdomäne oder jede denkbare Vertriebskennzahl. Er benötigt nur die Attribute, die zur korrekten Beantwortung der freigegebenen Frage erforderlich sind.
Beispielsweise:
dim_customerbenötigt Kundenidentität, Land und die für den Verkauf relevante Historie;dim_productbenötigt Produktidentität und die Reporting-Attribute der ersten Analyse;fact_sales_order_linebenötigt Auftragszeilengranularität, Datumsfelder, Status und Umsatzfelder;mart.sales_dailystellt den stabilen Nutzungsvertrag bereit.
Weitere Attribute werden erst ergänzt, wenn ein konkreter Anwendungsfall sie verlangt oder ihre Aufnahme nahezu kostenfrei und eindeutig governt ist.
Die minimal benötigten Quellen bestimmen
Der Zielvertrag bestimmt den Quellumfang.
| Anforderung | Minimale Quelle |
|---|---|
| Auftrag und Positionskennung | ERP-Auftragskopf und ERP-Auftragsposition |
| Business-Datum | ERP-Auftrags- oder Buchungsdatum |
| Kundenzuordnung | ERP-Kundenreferenz im Auftrag |
| Kundenattribute | CRM oder Kundenstamm |
| Produktzuordnung | ERP-Auftragsposition und Produktstamm |
| Land | Governte Kunden- oder Referenzzuordnung |
| Status und Stornos | ERP-Auftragsstatus und Stornokennzeichen |
| Änderungserkennung | Verlässlicher Quelländerungszeitstempel, CDC-Marker oder Extraktvergleich |
| Referenzdomains | Länder- und Statusreferenzdaten |
Die Quellenanalyse sollte folgende Fragen beantworten:
- Welches System ist für jedes Feld führend?
- Können Änderungen zuverlässig erkannt werden?
- Werden Löschungen dargestellt?
- Ist Historie vorhanden oder muss sie ab künftigen Ladevorgängen aufgebaut werden?
- Können Datensätze wiederholbar extrahiert werden, ohne Dubletten zu erzeugen?
- Welche Schlüssel verbinden die Quellen?
- Welche Felder enthalten sensible Daten?
- Was geschieht bei verspäteter Lieferung einer Quelle?
Nur die für den Slice benötigten Quellobjekte und Spalten werden in den ersten Ingestion-Umfang aufgenommen.
Die kleinste produktionsfähige Umsetzung bauen
Eine minimale SQL-native Umsetzung kann eine vorhandene Datenbank und einen Scheduler verwenden.
Die logischen Verantwortlichkeiten bleiben getrennt, auch wenn sie dieselbe Datenbank verwenden.
Eine praktikable Namensstruktur könnte so aussehen:
raw.erp_order_line
raw.crm_customer
raw.product_master
raw.country_reference
stg.erp_order_line
stg.crm_customer
stg.product_master
core.customer_history
core.product_history
core.sales_order_line
mart.sales_daily
quality.test_run
quality.test_result
Diese Umsetzung bietet bereits die wesentliche Architektur:
- nachvollziehbare Ingestion;
- standardisierte Datentypen und Domains;
- governte Schlüssel und Historie;
- eine stabile Faktgranularität;
- ein wiederverwendbares Datenprodukt;
- persistente Qualitätsergebnisse;
- kontrollierten Nutzer-Zugriff.
Sie benötigt weder ein Lakehouse noch ein Transformationsframework oder mehrere Compute Engines, solange die Anforderungen diese Komponenten nicht rechtfertigen.
Nur das laden, was der Slice benötigt
Der Ingestion-Prozess sollte wiederholbar, beobachtbar und sicher erneut ausführbar sein.
Für jedes Quellobjekt sollten mindestens folgende Informationen erfasst werden:
source_system
source_object
source_record_key
source_changed_at
extract_batch_id
ingested_at
source_file_or_request_id
Der erste Lauf kann vollständig oder inkrementell sein. Die Architektur sollte dennoch definieren, wie spätere Änderungen behandelt werden.
Ein kontrolliertes inkrementelles Muster kann verwenden:
- Source CDC;
- einen verlässlichen
changed_at-Zeitstempel; - einen monoton steigenden Schlüssel;
- Dateimanifeste;
- Prüfsummen oder Snapshot-Vergleiche, wenn kein Änderungsmarker vorhanden ist.
Die konkrete Methode hängt von der Quelle ab. Das Prinzip bleibt stabil:
Inkrementelle Extraktion ist nicht dasselbe wie fachliche Historie.
Ein Quelländerungszeitstempel zeigt der Pipeline, welche Datensätze geändert wurden. Er bewahrt nicht automatisch die historisch gültige Kunden- oder Produktversion, die das Reporting benötigt.
Vor der Integration standardisieren
Die Standardisierung macht Quelldaten technisch konsistent.
Typische Regeln für das Beispiel sind:
- Auftragskennungen trimmen und typisieren;
- Datums- und Zeitstempelformate normalisieren;
- Länderwerte auf einen freigegebenen Code abbilden;
- Quellstatus auf eine kontrollierte Domain mappen;
- verpflichtende Schlüssel prüfen;
- nicht lesbare Beträge ablehnen oder in Quarantäne verschieben;
- ursprüngliche Quellwerte für die Nachvollziehbarkeit erhalten;
- Validierungsergebnisse am Datensatz oder Batch dokumentieren.
Eine vereinfachte standardisierte View für Auftragspositionen könnte so aussehen:
select
trim(cast(order_id as varchar(100))) as order_id,
trim(cast(order_line_id as varchar(100))) as order_line_id,
cast(order_date as date) as business_date,
trim(cast(customer_id as varchar(100))) as customer_id,
trim(cast(product_id as varchar(100))) as product_id,
upper(trim(order_status)) as source_order_status,
cast(gross_amount as decimal(18, 2)) as gross_revenue,
cast(changed_at as timestamp) as source_changed_at,
extract_batch_id,
ingested_at
from raw.erp_order_line;
Die genaue Syntax unterscheidet sich je Plattform. Entscheidend ist die Platzierung der Verantwortung.
Schlüssel, Domains und Historie zentral integrieren
Die Integration übersetzt Quelldatensätze in gemeinsame fachliche Bedeutung.
Für den ersten Slice umfasst dies:
- Zuordnung von Quell-Kundenkennungen zu governten Kundenschlüsseln;
- Zuordnung von Produktkennungen zu governten Produktschlüsseln;
- Auswahl der Kunden- und Produktversion, die am Auftragsdatum gültig war;
- Zuordnung von Quellstatus zur freigegebenen Auftragsstatus-Domain;
- Anwendung der gemeinsamen Stornoregel;
- Erhalt nicht zuordenbarer oder ungültiger Datensätze für die Qualitätsanalyse.
Eine vereinfachte zentrale Mart-Transformation könnte so aussehen:
select
o.business_date,
o.order_id,
o.order_line_id,
c.customer_key,
p.product_key,
c.country_code,
s.order_status,
o.gross_revenue,
case
when s.is_cancelled = 1 then cast(0 as decimal(18, 2))
else o.gross_revenue
end as net_revenue,
o.source_changed_at,
current_timestamp as loaded_at
from core.sales_order_line o
join core.customer_history c
on o.customer_id = c.customer_id
and o.business_date >= c.valid_from
and o.business_date < coalesce(c.valid_to, date '9999-12-31')
join core.product_history p
on o.product_id = p.product_id
and o.business_date >= p.valid_from
and o.business_date < coalesce(p.valid_to, date '9999-12-31')
join core.order_status s
on o.source_order_status = s.source_order_status;
Die Regel ist nun vom Nutzer unabhängig.
Qualitätsergebnisse als eigenes Produkt behandeln
Qualitätstests sollten nicht in Pipeline-Logs verborgen sein. Sie sollten persistente, abfragbare Ergebnisse erzeugen.
Ein minimales Modell für Qualitätsergebnisse kann folgende Felder enthalten:
| Feld | Zweck |
|---|---|
test_run_id |
Kennung des vollständigen Validierungslaufs |
data_product |
Getestetes Produkt |
object_name |
Getestete Tabelle oder getestetes Modell |
rule_id |
Stabiler Bezeichner der Qualitätsregel |
severity |
Warnung, Fehler oder blockierend |
failed_count |
Anzahl fehlerhafter Datensätze |
tested_count |
Anzahl geprüfter Datensätze |
failure_rate |
Anteil fehlerhafter Datensätze |
executed_at |
Testzeitstempel |
status |
Bestanden, Warnung oder fehlgeschlagen |
sample_reference |
Optionale Referenz auf Details fehlerhafter Datensätze |
Beispielregeln sind:
DQ-SALES-001: order_id darf nicht null sein
DQ-SALES-002: order_line_id muss innerhalb eines Auftrags eindeutig sein
DQ-SALES-003: customer_key muss aufgelöst werden
DQ-SALES-004: product_key muss aufgelöst werden
DQ-SALES-005: country_code muss zur freigegebenen Domain gehören
DQ-SALES-006: source_changed_at muss vorhanden sein
DQ-SALES-007: net_revenue muss der Stornoregel entsprechen
DQ-SALES-008: Der Ladevorgang muss das vereinbarte Aktualitätsziel erfüllen
Eine blockierende Regel kann die Veröffentlichung von mart.sales_daily verhindern. Eine Warnung kann das Produkt mit sichtbarem Status veröffentlichen. Diese Entscheidung gehört in den Produktvertrag.
Nutzer schlank halten
Sobald das Datenprodukt existiert, sollte jeder Nutzer dieselbe governte Basis erhalten.
Ein bewusst schlankes Qlik-Load-Skript kann so aussehen:
SalesDaily:
SQL SELECT
business_date,
order_id,
order_line_id,
customer_key,
product_key,
country_code,
order_status,
gross_revenue,
net_revenue,
source_changed_at,
loaded_at,
quality_status
FROM mart.sales_daily;
Qlik-spezifische Assoziationen, Section Access oder Präsentationsfelder können in Qlik verbleiben, wenn sie tatsächlich erforderlich sind. Kundenintegration, Status-Mapping, historische Zuordnung und Kennzahl-Definition sollten dort nicht erneut aufgebaut werden.
Power BI kann ein Semantikmodell über denselben governten Fakten und Dimensionen verwenden. Präsentations-Measures, Formatierung und Berichtsinteraktionen bleiben consumerspezifisch, während Nettoumsatzbasis und fachliche Granularität gemeinsam bleiben.
Excel kann eine governte Reporting-View, eine PivotTable-Verbindung oder einen kontrollierten Extrakt verwenden. Es sollte keinen unkontrollierten Raw-Export erhalten, der dieselben Definitionen und das Security-Modell umgeht.
Vom ersten Anwendungsfall zum Plattformmuster
Das erste Datenprodukt ist nicht nur ein Lieferobjekt. Es ist ein Architekturexperiment, das sichtbar macht, welche Standards tatsächlich erforderlich sind.

Das Team sollte Entscheidungen erst dann als wiederverwendbare Muster festhalten, nachdem sie im Slice praktisch erprobt wurden.
| Fähigkeit | Aus dem ersten Slice abgeleitetes Muster |
|---|---|
| Naming | Konventionen für Quelle, Schicht, Objekt und Feld |
| Ingestion | Batch-Metadaten, Wiederanlauf, Watermarks und Fehlerbehandlung |
| Orchestrierung | Abhängigkeitsreihenfolge, Wiederholungen, Timeouts und Veröffentlichungsschranken |
| Modellierung | Faktgranularität, Surrogate Keys, Historie und Behandlung von Referenzdomains |
| Testing | Regelkennungen, Schweregrade, Ergebnistabellen und Veröffentlichungsverhalten |
| Security | verantwortliche Person, Klassifikation, Rollenzuordnung und Nutzer-Zugriff |
| Deployment | Versionsverwaltung, Umgebungskonfiguration und Release-Reihenfolge |
| Monitoring | Ladestatus, Aktualität, Volumen, Dauer und Qualitätsindikatoren |
| Nutzung | Stabile Views, Semantikverträge und Grenzen der BI-spezifischen Logik |
| Dokumentation | verantwortliche Person, Definition, Lineage, SLA und Änderungsnotizen |
Das zweite Datenprodukt sollte diese Muster wiederverwenden und sie dort infrage stellen, wo es notwendig ist. Ein Muster wird zum Plattformstandard, wenn mehrere Anwendungsfälle zeigen, dass es stabil, verständlich und wirtschaftlich ist.
Das Ziel besteht nicht darin, den ersten Entwurf dauerhaft einzufrieren. Das Ziel besteht darin, sich aus Evidenz statt aus Spekulation weiterzuentwickeln.
Neuaufbau-Optionen nach vorhandenem Stack
Der logische Slice bleibt plattformübergreifend gleich. Die Umsetzung sollte vorhandene Fähigkeiten nutzen und eine weitere Komponente nur dann ergänzen, wenn sie ein konkretes Problem löst.

Das Schaubild zeigt breite Startpositionen. Dieselbe logische Architektur lässt sich vier verbreiteten produktiven Umsetzungsmustern zuordnen.
SQL-native
Eine SQL-native Umsetzung ist für relationale tägliche Batch-Workloads häufig die einfachste produktive Option.
| Verantwortung | Mögliche Umsetzung |
|---|---|
| Ingestion | Vorhandenes ETL, Scheduler, Datenbank-Jobs oder kontrollierte Dateiladevorgänge |
| Standardisierung | SQL-Views, Prozeduren oder geplante SQL-Modelle |
| Integration | Core-Schemas, Key-Mappings und Historientabellen |
| Mart | Kuratierte Fakten, Dimensionen und Reporting-Views |
| Tests | SQL-Prüfungen mit persistenten Qualitätsergebnistabellen |
| Nutzung | Qlik Loads, Power-BI-Semantikmodelle und Excel-Views |
| Optionale Erweiterung | dbt, wenn Abhängigkeiten, Zusammenarbeit, Testing oder Deployment es rechtfertigen |
Diese Variante kann auf einer On-Premises-Datenbank oder einer gemanagten Cloud-Datenbank laufen. Die Architektur wird durch Verantwortlichkeiten definiert und nicht durch den Standort.
Microsoft-Fabric-native
Eine Fabric-Umsetzung kann denselben vertikalen Slice in einer integrierten Microsoft-Umgebung realisieren.
Eine mögliche Zuordnung ist:
- Data-Factory-Pipelines, Copy-Aktivitäten oder Dataflows für die Ingestion;
- ein Lakehouse oder Warehouse für gemanagten analytischen Speicher;
- SQL, Notebooks oder Dataflows für Standardisierung und Integration;
- kuratierte Tabellen für das Sales-Daily-Datenprodukt;
- persistente Qualitätsergebnistabellen;
- Power-BI-Semantikmodelle für die native Nutzung;
- Qlik oder Excel über unterstützte SQL- oder Datenschnittstellen auf governte Ergebnisse;
- Deployment- und Monitoring-Fähigkeiten, sobald das Plattformmuster reift.
Fabric ist keine Voraussetzung für den Anwendungsfall. Es ist angemessen, wenn das Unternehmen bereits das Microsoft-Ökosystem nutzt und die integrierte Plattform Übergaben und Betriebsaufwand reduziert.
dbt bleibt optional. Es ist nur dann sinnvoll, wenn der gewählte Fabric-Workflow und das Teammodell von modularer SQL-Entwicklung, Tests und Deployment-Praktiken im dbt-Stil profitieren.
Snowflake-native
Eine Snowflake-Umsetzung kann verwenden:
- Batch- oder kontinuierliches Laden über den verfügbaren Ingestion-Mechanismus;
- Raw- und standardisierte Tabellen in getrennten Schemas;
- SQL-Transformationen, geplante Tasks oder Dynamic-Table-Muster, wo sie angemessen sind;
- dbt als optionales Transformations- und Testframework;
- integrierte Fakten, Dimensionen und das
sales_daily-Auswertungstabelle; - Qualitätsergebnistabellen und Veröffentlichungskontrollen;
- governte Views für Qlik, Power BI und Excel.
Snowflake wird zur logischen Grundlage, wenn ein gemanagtes Cloud Data Warehouse bereits die strategische Plattform ist oder sein Betriebsmodell eine konkrete Anforderung löst. Es sollte nicht allein deshalb eingeführt werden, weil das Projekt Neuaufbau ist.
Databricks-native
Eine Databricks-Umsetzung kann verwenden:
- Batch-Ingestion oder Auto Loader für Dateien in Cloud Object Storage;
- Delta-Tabellen für kontrollierte Datenzustände;
- SQL, Spark oder gemanagte Pipeline-Fähigkeiten für Transformationen;
- Workflows für die Orchestrierung;
- Qualitätsregeln und persistente Fehlerergebnisse;
- kuratierte Delta-Tabellen oder Views für das Sales-Daily-Produkt;
- governte SQL-Schnittstellen für Qlik, Power BI und Excel;
- dbt als optionalen SQL-Entwicklungspfad.
Databricks ist insbesondere relevant, wenn der Anwendungsfall voraussichtlich zu hohen Volumina, vielfältigen Daten, Streaming, Data Science oder ML-Workloads wächst. Ein kleiner relationaler täglicher Batch benötigt nicht allein deshalb verteilte Verarbeitung, weil die Plattform verfügbar ist.
Dateien, Excel oder noch keine Plattform
Ein sehr kleiner kontrollierter Prototyp kann mit Dateien, Excel und Power Query beginnen, wenn zunächst Geschäftsfrage und Zielvertrag validiert werden sollen.
Dieser Start ist nur dann geeignet, wenn:
- der Umfang sehr klein ist;
- Zugriffe kontrolliert sind;
- die Quelle reproduziert werden kann;
- Transformationen dokumentiert sind;
- das Ergebnis eindeutig als Validierungsstufe gekennzeichnet ist;
- vor geschäftskritischer Nutzung ein Übergang in ein Produktionsmuster geplant wird.
Der Prototyp darf nicht unbemerkt zum dauerhaften Enterprise-Warehouse werden.
Wie dbt hineinpasst, ohne verpflichtend zu werden
dbt kann SQL-basierten Transformationen ergänzt werden, wenn es das Entwicklungs- und Betriebsmodell verbessert.
Es ist besonders nützlich, wenn:
- viele Modelle voneinander abhängen;
- mehrere Entwickler zusammenarbeiten;
- Pull Requests und Code Reviews erforderlich sind;
- Tests gemeinsam mit den Modellen definiert werden sollen;
- Dokumentation und Lineage eine einheitliche Struktur benötigen;
- Deployments zwischen Umgebungen wiederholbar werden sollen.
Es kann wenig Mehrwert liefern, wenn ein Entwickler eine kleine Anzahl verständlicher SQL-Transformationen in einem bereits kontrollierten Deployment-Prozess pflegt.
Die Entscheidung lautet deshalb nicht:
Ist dbt eine moderne Best Practice?
Sondern:
Löst dbt in dieser Umsetzung ein Problem bei Zusammenarbeit, Abhängigkeiten, Testing oder Deployment?
Typische Fehlmuster
Alle Quellen laden, bevor ein Produkt definiert ist
Dadurch entstehen Speicher- und Pipeline-Verpflichtungen ohne vereinbarten fachlicher Nutzen, Qualität oder Verantwortung.
Das unternehmensweite kanonische Modell im ersten Sprint entwerfen
Ein vollständiges Enterprise-Modell kann nicht von einem Team validiert werden, bevor konkrete Anwendungsfälle seine Annahmen praktisch erproben. Beginne mit den wiederverwendbaren Konzepten, die der erste Slice benötigt, und erweitere bewusst.
Den ersten Slice als Wegwerfprodukt behandeln
Ein Proof of Concept mit hartcodierten Pfaden, manuellen Schritten und versteckter Logik beweist nicht, dass die Architektur betrieben werden kann. Der Slice sollte im Umfang minimal, im Betrieb aber produktionsorientiert sein.
Den Kennzahl im Dashboard aufbauen
Wird der Nettoumsatz unabhängig in Qlik, Power BI und Excel definiert, enthält das erste Datenprodukt bereits drei konkurrierende Verträge.
Qlik als verstecktes Warehouse verwenden
Qlik kann anspruchsvolle Transformations- und Assoziationslogik ausführen. Gemeinsame Integration, Historie, Status-Mapping und Kennzahl-Basen sollten dennoch vorgelagert werden, sobald mehrere Produkte oder Nutzer sie benötigen.
Bronze, Silver und Gold ohne explizite Verantwortlichkeiten erzeugen
Schichtnamen definieren weder Verantwortung noch Qualität, Historie oder Nutzungsverträge. Der erste Slice muss diese Verantwortlichkeiten sichtbar machen.
Fabric, Snowflake, Databricks und dbt gleichzeitig einführen
Jedes Produkt kann nützlich sein. Werden alle eingeführt, bevor der Workload einen Bedarf beweist, entstehen mehrere Betriebsmodelle, Security-Grenzen und Fehlerpunkte.
Jeden zukünftigen Anwendungsfall aus dem ersten standardisieren
Der erste Slice sollte Kandidaten für Standards erzeugen. Ein Muster wird erst dann verpflichtend, wenn seine Wiederverwendung zeigt, dass es weiterhin angemessen ist.
Den Betrieb bis zum zweiten Produkt ignorieren
Wiederanlauf, Monitoring, fehlerhafte Datensätze, Deployment und Support gehören zum ersten produktiven Slice. Sie sind keine nachgelagerte Plattformarbeit.
Daten in jedes BI-Tool kopieren
Unkontrollierte QVDs, Semantikmodell-Kopien und Excel-Exporte können den Vertrag fragmentieren. Nutzungsspezifische Bereitstellung ist zulässig, muss aber auf das governte Produkt zurückverfolgbar bleiben.
Entscheidungshilfe
| Situation | Empfohlene Neuaufbau-Reaktion |
|---|---|
| Eine klare Geschäftsfrage und relationale Quellen | Einen SQL-orientierten vertikalen Slice mit expliziten Schemas und Tests bauen |
| Vorhandene Microsoft-Analytics-Landschaft | Fabric-native Fähigkeiten nutzen, wenn sie Integration und Betriebsaufwand reduzieren |
| Vorhandene Snowflake-Plattform | Dieselben logischen Schichten und denselben Produktvertrag in Snowflake umsetzen; dbt nur bei echtem Nutzen ergänzen |
| Vorhandene Databricks-Plattform oder verteilter Workload | Delta und Databricks-native Verarbeitung nutzen; Spark-Komplexität bei trivialen Transformationen vermeiden |
| Es stehen nur Dateien oder Tabellenkalkulationen zur Verfügung | Zielvertrag mit einem kontrollierten kleinen Prototyp validieren und anschließend einen Produktionspfad etablieren |
| Mehrere BI-Tools benötigen das Ergebnis | Ein governtes Datenprodukt mit getrennten, schlanken Nutzer-Verträgen veröffentlichen |
| Quellhistorie ist nicht verfügbar | Änderungen sofort erfassen und die historische Einschränkung dokumentieren |
| Qualitätsfehler müssen auditierbar sein | Regel- und datensatzbezogene Ergebnisse außerhalb flüchtiger Pipeline-Logs persistieren |
| Der zweite Anwendungsfall ist ähnlich | Die Muster des ersten Anwendungsfälle wiederverwenden, bevor neue Komponenten eingeführt werden |
| Der zweite Anwendungsfall stellt das Muster infrage | Den Standard explizit überarbeiten, statt eine versteckte Ausnahme zu erzeugen |
| Zusammenarbeit im Team wird schwierig | Versionsbasierte modulare Transformationswerkzeuge wie dbt dort ergänzen, wo sie das Problem lösen |
| Zukünftige Skalierung ist unsicher | Klare Grenzen und Observability erhalten; die physische Architektur bei gemessenem Bedarf skalieren |
Wichtigste Empfehlungen
- Beginne mit einer Business-Entscheidung und nicht mit dem Plattforminventar.
- Definiere Kennzahl, Granularität, verantwortliche Person, Qualität und Nutzungsvertrag vor der Ingestion.
- Entwirf rückwärts vom Zieldatenprodukt und baue vorwärts aus den benötigten Quellen.
- Lade nur die Quellobjekte und Felder, die der erste Slice benötigt.
- Bewahre nachvollziehbare Raw-Daten und unterscheide Extraktionsänderungen von fachlicher Historie.
- Standardisiere technische Formate, bevor gemeinsame fachliche Integration erfolgt.
- Löse Schlüssel, Historie, Domains und gemeinsame Kennzahl-Logik zentral.
- Persistiere Qualitätsergebnisse und definiere das Veröffentlichungsverhalten explizit.
- Halte Qlik, Power BI und Excel als Nutzer desselben governten Produkts schlank.
- Nutze vorhandene SQL-, Fabric-, Snowflake- oder Databricks-Fähigkeiten, bevor eine weitere Plattform ergänzt wird.
- Behandle dbt als optionales Entwicklungsframework und nicht als Warehouse-Voraussetzung.
- Halte den ersten Slice im Umfang minimal, im Betrieb aber produktionsfähig.
- Überführe bewährte Entscheidungen in wiederverwendbare Muster für Naming, Orchestrierung, Testing, Security, Deployment und Monitoring.
- Validiere Standards mit dem zweiten und dritten Datenprodukt, bevor sie als universell gelten.
- Erweitere das Warehouse jeweils um einen governten vertikalen Slice.
Building a Modern Data Warehouse – From First Source to Governed Data Products
Part 4 of 11
View series