Zum Inhalt springen
Search the hub
Wohin Steuerdaten gehören: Control-DB, Lake oder Warehouse

Wohin Steuerdaten gehören: Control-DB, Lake oder Warehouse

Standard: kleine relationale Steuerdaten-Datenbank für fachlich gepflegte geteilte Tabellen; Lake oder Warehouse für Verteilung und Historie — nie CSV-in-Lake als Pflegeoberfläche.

Category
Data Governance
Reading time
6 min
Published
Tags
control-database data-lake data-warehouse postgresql control-data data-architecture
Download PDF

Begriffe vor dem Lesen

  • Eine Steuerdaten-Datenbank ist ein kleiner relationaler Speicher für gemeinsam gepflegte Codes, Mappings, Parameter und Hierarchien.
  • Der Pflegeort ist die Stelle, an der freigegebene Änderungen vorgenommen werden. Ein Verteilungsziel stellt Kopien für Warehouse, Lake oder BI bereit.
  • Ein Snapshot bewahrt einen Stand zu einem bestimmten Zeitpunkt und ermöglicht historische Auswertungen.

Ausgangslage

Nach der Klassifikation (Teil 4) greifen Teams trotzdem zur Gewohnheit:

  • „alles Analytische geht ins Warehouse“ — inklusive zwanzigzeiliger Codelisten, die Stewards nur in Excel editieren können;
  • „der Lake ist unsere Plattform“ — also überschreiben Stewards s3://…/mappings/countries.csv und hoffen, dass Crawler es merken;
  • „Postgres ist zu operational“ — also bleiben Parameter in Pipeline-Variablen und INLINE-Blöcke kehren zurück;
  • „nur eine Kopie“ — also stirbt historisches As-of-Reporting, oder jeder Nutzer liest die Live-Edit-Tabelle ohne Publish-Schritt.

Anti-Pattern explizit benennen:

  • CSV-in-Lake als Pflegeoberfläche — keine Constraints, schwaches Audit, leichte stille Korruption (Teil 3);
  • Warehouse-Tabelle als einzige Editor-Oberfläche ohne Stewardship-Rechte und Validierung;
  • BI-App-INLINE als führende Quelle, nachdem Sie bereits entschieden haben zu extrahieren (Teil 2);
  • mehrere konkurrierende Master in Steuerdaten-DB und unkontrolliertem Excel und Seed-Ordnern;
  • Berechtigungslisten in weltlesbaren Lake-Pfaden (Access & Security Governance).

Warehouse und Lake bleiben essenziell für Analytics-Distribution, SCD-Snapshots und große abgeleitete Hierarchien. Sie sind selten der beste Ort, an dem Menschen kleine geteilte Wahrheit pflegen. Das entspricht dem Plattform-Split in Building a Modern Data Warehouse und dünnen Nutzer in Fachliche Logik außerhalb der BI-Apps halten.

Entscheidung

Standard: kleine relationale Steuerdaten-Datenbank für fachlich gepflegte geteilte Steuertabellen. Lake oder Warehouse für Snapshots, Verteilung und Analytics — nie CSV-in-Lake als Pflegeoberfläche.

Platzierungsentscheidung fuer Steuerdaten: Control-DB, Lake und Warehouse nach Zweck, Struktur, Nutzung, Governance, Kosten, Performance und Nutzern vergleichen.

Praktische Defaults nach Operating Class:

Klasse Pflegen in Distribute / Historie
C2 Shared reference Control-DB (+ optionale Steward-UI) Warehouse Dim / Lake Snapshot
C3 Active mapping Control-DB Warehouse-Mapping-Tabellen, versionierte Snapshots
C4 Parameters Control-DB oder Parameter Service Job-Config-Read-API; optionaler Audit-Export
C5 Berechtigung Gehärtete Control-DB / IAM-backed Store Nur kontrollierte Extracts; nie öffentlicher Lake
C6 Hierarchy Control-DB oder Hierarchy Service Abgeflachte Warehouse-Tabellen / Lake Publish
C7 Exception Control-DB mit Ablaufdatum + Approval Warehouse-Flags gejoint an Facts; Link zu Metrics
C1 Local disposable Lokal bleiben oder leichtes Extract Meist keines

PostgreSQL (oder das Standard-RDBMS der Organisation) ist für viele Steuerdaten-Datenbanken ausreichend: Constraints, Schlüssel, Rollen, Migrationen, langweiliges Backup. Die Marke zählt weniger als die Eigenschaften — relationale Integrität, Zugriffskontrolle, Änderungs-Audit und eine API/UI, die Stewards nutzen können.

Publish-Muster:

Beispiel mit erfundenen Daten. Für die Anwendung im Unternehmen brauchst du passende Daten aus den eigenen Systemen und Prozessen.

Stewardship-Oberfläche / validiertes Template
        → Steuerdaten-DB (führende Quelle)
        → Batch- oder CDC-Veröffentlichung
        → Warehouse- / Lake-Snapshots (Verteilungsweg)
        → BI-Apps / dbt / semantische Modelle (Nutzer)

Nutzer dürfen nicht in die Verteilungskopie zurückschreiben, als wäre sie der Master. Katalogeinträge sollten sowohl auf das Steuerdaten-Asset als auch auf seine veröffentlichten Projektionen zeigen (Catalog Deep Dive).

Die Platzierungsentscheidung lässt sich auf vier Fragen reduzieren:

Frage Konsequenz
Wird der Bestand nur lokal und unkritisch genutzt? Lokal belassen, aber Prüftermin festlegen
Wird er geteilt oder fachlich gepflegt? In einer Steuerdaten-Datenbank oder einem vergleichbaren kontrollierten Store pflegen
Enthält er Berechtigungen oder personenbezogene Schlüssel? Gehärteter Store, Freigabeprozess und eingeschränkte Verteilung
Brauchen viele Analyseplattformen oder historische Berichte den Bestand? Freigegebene Snapshots in Warehouse oder Lake veröffentlichen

Dokumentieren Sie jede nicht-triviale Platzierung als leichte Architekturentscheidung, damit das nächste Team die Debatte nicht neu entdeckt.

Checkliste

  • Classification Card als vollständig bestätigen;
  • Pflege-Store wählen (meist Steuerdaten-DB);
  • Publish-Targets und Cadence wählen;
  • Schema Vereinbarung definieren (stable_id, label, valid_from, …);
  • Rollen definieren: Steward, technischer Betreiber, Reader-Rollen für Publish Layer;
  • direkte Nutzer-Writes auf Publish-Kopien verbieten;
  • editierbare Lake-CSV als führende Quelle verbieten;
  • Katalog + Lineage für Steuerdaten- und Veröffentlichungsobjekte verdrahten;
  • INLINE-/Datei-Quellen migrieren und Duplikate löschen;
  • Backup-, Migrations- und Access-Review-Cadence setzen;
  • für C5 Access-Design vor Produktivstart abschließen;
  • Placement Decision Record schreiben;
  • erstes Post-Move-Review planen.

Artefakt

Erstellen Sie einen Placement Decision Record (ADR-light) pro Steuerdaten-Familie.

Template-Abschnitte:

  1. Title — z. B. Product hierarchy control placement;
  2. Status — proposed / accepted / superseded;
  3. Context — Links zu Risk Register, Classification Card, Nutzer;
  4. Decision — Maintain-Store, Publish-Targets, Maintenance-Kanal;
  5. Consequences — was sich verbessert, was schwerer wird, Cost/Ops-Notizen;
  6. Verworfene Alternativen — Lake-CSV als führende Quelle, nur-Warehouse-Edit, INLINE belassen usw.;
  7. Schema contract — Keys und Validity-Felder;
  8. Security — besonders für Berechtigungsklasse;
  9. Owners and review date.

Kurz halten. Ziel ist eine dauerhafte Entscheidung, kein Whitepaper.

Tools

Nutzen Sie RDBMS-Migrationen für das Steuerdaten-Schema. Nutzen Sie Stewardship-Oberfläche oder validierten Eingang aus Teil 3. Nutzen Sie Orchestrierung zum Veröffentlichen von Snapshots. Nutzen Sie dbt oder Warehouse-Jobs für Verteilungsmodelle. Nutzen Sie Katalog-Sync für beide Schichten. Nutzen Sie Access-Review-Tooling für C5. Bevorzugen Sie ein Steuerdaten-DB-Muster pro Organisation, um einen Zoo von einmaligen SQLite-Dateien zu vermeiden.

Ressourcen

Bestehende Lookup-Schemas, IAM-Muster, Warehouse-Dim-Konventionen, Lake Landing Zones (nur als Publish-Targets) und frühere ADRs für Master Data.

Schwester-Stories: Steuerdaten klassifizieren, bevor man sie verschiebt, Excel-Schatten-BI und Kennzahlen-Drift, Fachliche Logik außerhalb der BI-Apps halten, Serien-Hubs Building a Modern Data Warehouse, BI-Governance-Entscheidungen, Catalog Deep Dive.

Den Arbeitsfall in diesem Kapitel prüfen

Wähle die Ablage nach Pflege, Änderungsvolumen, benötigter Historie und erreichbaren Verbrauchern. Vergleiche für das kleine Mapping eine gepflegte Datenbanktabelle mit dem bestehenden Dateipfad. Nutze denselben Fehler- und Rücknahmetest für beide Optionen.

Gegenprobe und Abnahme: Die neue Ablage ist erst tragfähig, wenn die zuständige Fachperson sie pflegen und ein Verbraucher einen eindeutigen freigegebenen Stand laden kann.

Halte erwartetes Ergebnis, tatsächlich beobachteten Stand, Abweichung und zuständige Entscheidung in der Arbeitsakte fest. Ein noch nicht ausgeführter Test bleibt offen.

Arbeitsakte für diese Serie herunterladen · Beispieldaten und Sollwerte

Anschluss für die nächste offene Aufgabe: Open-Source-Optionen für Steuerdaten. Übernimm den geprüften Stand und die offenen Bedingungen; zusätzliche Themen bekommen einen eigenen Auftrag.

Control & Reference Data Deep Dive

Part 5 of 11

View series

Knowledge check

Tour