Zum Inhalt springen
Search the hub
Connector-Entscheidungsmodell

Connector-Entscheidungsmodell

Bevor der erste Connector läuft: Service-Typ, Scope, Freshness-SLO, Owner, Identity-Namespace und Delete-Policy festlegen — und Metadaten-Ingestion von Daten-Ingestion trennen.

Category
Data Governance
Reading time
8 min
Published
Tags
metadata-ingestion connectors data-governance
Download PDF

Einstieg

Ein Connector verbindet OpenMetadata mit einem Quellsystem. Er liest Beschreibungen, Strukturen, Beziehungen und Betriebssignale ein, verschiebt aber nicht automatisch die eigentlichen Geschäftsdaten. Bevor der erste Lauf startet, müssen deshalb Zweck, Umfang, Aktualitätsziel, technische Verantwortung und Löschverhalten feststehen.

Die Serie beginnt mit diesem Entscheidungsmodell und wendet es anschließend auf Warehouses, dbt, BI, Pipelines, Messaging, Speicher und SaaS-Quellen an. Der letzte Teil erklärt, wie mehrere Quellen mit stabilen Identitäten und einem gemeinsamen Betriebsüberblick zusammengeführt werden.

Begriffe vor dem Lesen

  • dbt — data build tool: SQL-nahe Transformationsschicht; Modelle brauchen verantwortliche Person, Tests und Verträge wie jedes Datenprodukt.
  • BI — Business Intelligence: Reporting- und Analyseflächen, die governte Kennzahlen und Datenprodukte nutzen.
  • Connector — technische Verbindung, die Metadaten aus einer Quelle in OpenMetadata einliest.
  • SLO — vereinbartes Serviceziel, hier zum Beispiel das maximal erlaubte Alter des letzten erfolgreichen Metadatenimports. SLO steht für „Service Level Objective“.
  • verantwortliche Person — Person oder Rolle mit der Pflicht, Bedeutung, Nutzung, Risiko und Freigabe für ein Datenprodukt oder eine Kennzahl zu entscheiden.
  • Metadata — Daten über Daten: Definition, verantwortliche Person, Quelle, Aktualität, Qualität, Klassifikation, Lineage, Status.
  • Data Catalog — Auffindbarkeitsschicht für Assets, Begriffe, Owner und Richtlinien — eine Anwendung von Metadata, nicht Metadata selbst.
  • Nachweis — Nachweis, dass Kontrolle, Entscheidung oder Test stattfand — Zeitstempel, verantwortliche Person, prüfbare Artefakte.

Die Beispiele sind Lehrfälle (keine Kundendaten). Ersetzt Tabellen-, Report-, Pfad- und Toolnamen durch eure Catalog-, BI-, Ticket- und Prozessquellen.

Herausforderung

Im Pilotprojekt wird ein Snowflake-Connector ohne klaren Auftrag aktiviert. Er liest Produktions- und Entwicklungsumgebungen gemeinsam ein; bei einem späteren Lauf verschwinden manuell gepflegte Verantwortlichkeiten. Der Connector hat technisch funktioniert, aber sein Umfang und sein Löschverhalten waren nicht festgelegt. Ein brauchbarer Entscheidungsnachweis nennt deshalb vorab den Service, die erlaubten Schemas, das Aktualitätsziel, die technische Verantwortung, die Namenskonvention und die Löschregel.

Wer Metadaten- und Daten-Ingestion vermischt, plant falsche SLAs, falsche Credentials und falsche Erwartungen an „Vollständigkeit“.

Ansatz

Jeden Connector als Metadatenprodukt behandeln. Vor dem ersten Run einen Decision Record festlegen: Service-Typ, Scope, Freshness-SLO, Owner, Identity-Namespace, Credentials-Pfad und Delete-Policy.

Daten-Ingestion → Warehouse/Lakehouse (Daten bewegen)
Metadaten-Ingestion → OpenMetadata (Kontext verbinden)

Entscheidungsmodell für OpenMetadata-Connectoren

Empfohlene Anschluss-Roadmap für Produktion

Für eine sinnvolle PROD-Umgebung nicht mit allen Connectoren gleichzeitig starten. Erst die technische Kontrollfläche stabilisieren, dann einen Business Flow Ende-zu-Ende verbinden.

Phase Anschluss Ziel PROD-Gate
0 OpenMetadata Runtime Instanz, SSO, Secrets, Backup, Monitoring Getting Started Teile 4–7 erledigt
1 Warehouse/Lakehouse: Snowflake, Fabric, Databricks, BigQuery physische Tabellen, Schemas, Basis-Lineage Service pro Environment, read-only Bot, enger Schema-Scope
2 dbt Transformationen, Tests, Model-Beschreibungen, Lineage Warehouse-Assets existieren, CI publiziert Artefakte
3 BI: Tableau, Power BI, Qlik Reports/Dashboards mit Upstream-Bezug Pilot-Workspace/Site/App, Lineage-Kurztest grün
4 Pipelines/Orchestrierung Job-Kontext, Laufzeiten, operative Zuständigkeit Ingestion-Freshness und Pipeline-Freshness getrennt
5 SaaS/Storage/Messaging zusätzliche Quellen nur dort, wo ein Flow sie braucht Owner und Delete-Policy stehen vorher

Für den ersten produktiven Beweis reicht ein schmaler Flow, z. B. Snowflake/Fabric → dbt → Power BI/Tableau. Wenn dieser Flow frisch, owned und nachvollziehbar ist, könnt ihr weitere Workspaces, Schemas oder Tools ergänzen.

Pflichtfelder vor dem ersten Run

Feld Frage Tipp
Service-Typ Database, Dashboard, Pipeline, Messaging, Storage, ML? Ein Typ pro Decision Record — keine Misch-Services
Scope Welche DBs/Schemas/Workspaces — und was bewusst draußen bleibt? Exclude-Listen sind Teil des Produkts
Identity-Namespace Wie heißen Environments und Instanzen in FQNs? …-prod / …-dev von Tag 1
Freshness-SLO Wie alt darf der letzte erfolgreiche Run sein? Stale ≠ Failure — beides alerten
Owner Wer eskaliert bei Fehler und Stale-Ingestion? Name/Team, nicht „Platform allgemein“
Delete-Policy Soft-delete nach N Misses oder nie auto-delete? Default des Tools ist keine Policy
Secrets Welcher Vault-/Secret-Pfad — Least Privilege? Nie Human-SSO als Bot

Abgrenzung

Thema Serie / Story
Welche SaaS-Tabellen laden source-load-decisions
dbt-Artefakt-How-to Getting Started Teil 8
Metadatenimport-Architektur allgemein MetaData Deep Dive Teil 4
Betrieb/Auth der Control Plane Getting Started Teile 4–6

Best Practices

Ein Business Flow, ein enger Scope

Ein Pilotprojekt soll beweisen, dass Metadaten für einen fachlichen Ablauf (z. B. Sales-Mart von Warehouse-Tabelle bis Dashboard) im Katalog auffindbar, owned und frisch sind — nicht, dass der Connector technisch „alles“ sehen kann.

Wenn ihr „alles eingelesen“, entstehen oft Zehntausende Assets ohne Owner, ohne Domain und ohne Priorität. Stewardship erstickt im Inventar, Discovery wird laut, und niemand weiß, welcher Scope absichtlich war. Enger Scope heißt: Include-Liste für die Schemas/Workspaces des Flows plus Exclude für Staging/Temp — und erst erweitern, wenn Freshness und Owner für das Pilotprojekt stehen.

Decision Record vor Credentials

Sobald ein Bot-Secret existiert, tendieren Teams dazu, Scope aus Berechtigungen abzuleiten: „Was der Bot darf, einlesen wir.“ Das verdreht die Reihenfolge. Zuerst entscheiden Scope, Owner, SLO und Delete-Policy schriftlich; danach baut ihr eine Identity, die genau diesen Scope abdeckt (Least Privilege).

Sonst wird der Connector zum Spiegel eurer IAM-Zufälle — und Scope-Reviews werden unmöglich, weil niemand mehr sagen kann, was bewusst draußen bleiben sollte.

Owner und SLO zusammen freigeben

Ein Freshness-Ziel ohne Eskalationspfad greift nicht: Der Job wird rot oder veraltet, und das Ticket landet bei „Platform allgemein“. Owner meint die Person/das Team, das bei Failure und bei Stale handelt — oft Platform für Runner, Domain für Source-Rechte und fachlichen Scope.

Deshalb: Connector erst „prod“ nennen, wenn Owner und SLO im Decision Record stehen und Alerts an diese Adresse gehen. Credentials ohne Owner sind dasselbe Anti-Pattern in anderer Form.

Delete-Policy vor dem ersten Prod-Run reviewen

Ingestion-Defaults können Assets entfernen oder soft-deleten, sobald sie in der Source „fehlen“ (Rename, Outage, Filter-Regression). Kuratierte Descriptions, Glossary-Links und Owner hängen an diesen Assets. Ohne explizite Policy (Soft-delete nach N Misses, Quarantäne, nie auto-delete für kritische Typen) vernichtet der erste Prod-Run Wochen Stewardship-Arbeit.

Review heißt: Policy aufschreiben, auf Staging mit absichtlichem Rename/Miss testen, Ergebnis datieren — nicht „Default des Tools“ akzeptieren.

Environments nie still mischen

snowflake-prod und snowflake-dev (oder harte Namespace-Prefixe) von Tag 1. Ein Service, der beide Environments „irgendwie filtert“, vermischt FQNs, Lineage und Verantwortung. Später lassen sich Prod- und Dev-Assets kaum noch trennen, und dbt-/BI-Connectoren hängen am falschen Ziel.

Regel: getrennte Services oder dokumentierte, maschinenlesbare Namespace-Regeln — nie „wir unterscheiden das in der UI“.

Stolperfallen

Prod zum Ausprobieren. Ein breiter Connector „nur kurz“ auf dem Prod-Warehouse erzeugt sofort Inventar und Delete-Risiko. PoC gehört auf Non-Prod oder auf einen winzigen Prod-Pilotprojekt-Scope mit Decision Record.

Anzeigenamen als Identity. Schemas und Tabellen werden umbenannt. Wenn eure Links und Lineage am Display-Namen hängen, zerbrechen Erwartungen. Stabile Service-IDs und FQN-Konventionen zuerst; Anzeigenamen dürfen sich ändern.

Soft-delete weglassen oder Hard-Delete ohne Quarantäne. Glossary-Terms und Beschreibungen zeigen dann ins Leere — oder verschwinden mit dem Asset. Soft-delete/Quarantäne sind Betriebsfeatures, keine Nice-to-haves.

Metadaten- und Daten-Ingestion in einem Ticket. „Salesforce laden und katalogisieren“ vermischt Load-Decisions (source-load-decisions) mit Katalog-Scope. Zwei Records, zwei Reviews — sonst steuert die Pipeline heimlich den Katalog.

Vorgehen

  1. Einen Business Flow und eine Domain benennen.
  2. Den kleinsten Service wählen, der diesen Flow abbildet (meist Warehouse).
  3. Decision Record ausfüllen und reviewen (Platform + Domain).
  4. Connector mit engem Scope starten; Kurztest: 5–20 kritische Assets sichtbar.
  5. Erst nach stabiler Freshness und sichtbarem Owner erweitern.

Beispiel: Sales-Flow als erster PROD-Anschluss

snowflake-prod / fabric-prod
→ dbt-prod artifacts aus CI
→ powerbi-sales-prod oder tableau-sales-site
→ Domain Sales + Owner + Steward

Nicht im ersten Schritt: alle Workspaces, alle Tenants, alle historischen Reports. Der erste Anschluss soll beweisen, dass ein echter Entscheidungspfad funktioniert: Tabelle sichtbar, dbt-Modell verlinkt, Dashboard auffindbar, Owner gesetzt, Freshness-Alert aktiv.

Hilfe beim Umsetzen

Kopiert die Pflichtfeld-Tabelle 1:1 in euer Ticket-Template. Review = Platform + Domain unterschreiben Scope und Delete-Policy. Danach erst Secret anlegen und Config mit OpenMetadata-Ingestions-Generator erzeugen.

Definition of Done für das Pilotprojekt: 5–20 kritische Assets sichtbar, Owner gesetzt oder klar geplant, Freshness-Alert greift, Delete-Policy auf Staging getestet.

Checkliste

  • Ist klar, dass dieser Connector keine Daten kopiert?
  • Sind Umfang und Exclude-Listen dokumentiert?
  • Existiert ein benannter Owner und Eskalationspfad?
  • Ist der Identity-Namespace über Environments konsistent?
  • Ist die Delete-Richtlinie explizit — nicht „Default des Tools“?
  • Liegt das Secret nur im Secret Store?

Betriebsnachweise für Connector-Entscheidungen

Artefakt

Einen Connector Decision Record erstellen: Service-Typ, Instanz, Scope, SLO, Owner, Secret-Referenz, Delete-Policy, Review-Datum.

Tools

Ressourcen

Konkrete Anleitungen mit Quellenstand 15.10.2026

OpenMetadata: Connecting Source Systems

Part 1 of 8

View series

Knowledge check

Tour