Zum Inhalt springen
Search the hub
Die OpenMetadata-Architektur und das Entitätenmodell

Die OpenMetadata-Architektur und das Entitätenmodell

OpenMetadata als Metadaten-Control-Plane verstehen: Service-Grenzen, Entitätenmodell, Ingestion-Flows und die Designentscheidungen für einen dauerhaft nutzbaren Graphen.

Category
Data Governance
Reading time
5 min
Published
Tags
metadata-architecture entity-model metadata-ingestion data-lineage data-governance
Download PDF

Benötigter Arbeitsstand: Abgegrenzter Katalogbedarf samt Verantwortungs- und Durchsetzungsgrenzen.

Prüfe am eigenen Fall, welche Angaben bereits belegt sind und welche noch geklärt werden müssen.

Herausforderung

In om-pilot wirkt oft nur die UI fertig; niemand benennt Ingestion, Identity, Search und Store. Das verdeckt die eigentliche Architektur: Quell-Konnektoren, Ingestion-Zeitpläne, APIs, Identität, Suche, Speicherung, Event Handling und ein Entitätenmodell, das mit dem Bestand — hier dem Flow um Schema sales_otc — konsistent wachsen muss.

Ohne klares Entitätenmodell hängen Teams widersprüchliche Labels an isolierte Objekte. Mit Entitätenmodell werden Domain, Tabelle, Dashboard, Pipeline, Glossarbegriff und Owner navigierbare Evidenz für denselben Pilotprozess.

Ansatz

OpenMetadata als Metadaten-Control-Plane entwerfen, nicht als Spiegel jedes Quellschemas. Seine Aufgabe ist, Identität und Beziehungen zu normalisieren, Provenance zu bewahren, governte Anreicherung aufzunehmen und Kontext für Menschen und Tools bereitzustellen.

Quellen und Events → Ingestion und APIs → Entitätengraph und Suche
                              ↘ Governance-Anreicherung ↗
Menschen, Automation und Consumer ← UI, APIs und Benachrichtigungen

Die OpenMetadata-Control-Plane-Architektur

Das Entitätenmodell ist das Produkt

Das Kernmodell verbindet mehrere Entitätsklassen:

  • Services und Container: Datenbank-, Dashboard-, Pipeline-, Messaging-, Storage- und ML-Services sowie Datenbanken, Schemas und andere Container.
  • Daten- und Analyseassets: Tabellen, Topics, Dashboards, Charts, Pipelines, Stored Procedures und ML-Modelle.
  • Fachlicher Kontext: Domains, Data Products, Glossarbegriffe, Tags, Klassifikationen und Custom Properties.
  • Menschen und Verantwortung: User, Teams, Owner und Reviewer.
  • Operative EvidenMerksatz:** Lineage, Nutzung, Profile, Test Cases, Incidents, Change Events und Konversationen.

Die Fully Qualified Identity einer Entität muss stabil genug bleiben, um Ingestion Runs, manuelle Anreicherung und API-Consumer zu verbinden. Ein Anzeigename ist kein Join Key.

Ein verbundener OpenMetadata-Entitätengraph

Ingestion ist ein kontrolliertes Datenprodukt

Ingestion kopiert nicht nur Schemas. Jeder Workflow benötigt erklärten Owner und Zweck, dokumentierten Scope, Source Credentials, Zeitplan, Fehlerbehandlung und Nachweise, welche Metadaten er tatsächlich extrahiert.

Für jede Quelle definieren:

  • Identitäts- und Environment-Konvention;
  • extrahierte Assets und Metadatenfacetten;
  • Freshness-Erwartung und Zeitplan;
  • Lineage- oder Usage-Abdeckung;
  • Transformations- und Anreicherungsregeln;
  • Verhalten bei Löschen, Umbenennen und Abgleich;
  • Monitoring-Owner und Eskalationspfad.

Native, inferierte und manuell kuratierte Metadaten brauchen unterschiedliche Provenance. Ein Konnektor darf keine freigegebene Fachdefinition still überschreiben; eine manuelle Änderung darf nicht wie quellsystemnativ aussehen.

Ein governter Metadaten-Ingestion-Lifecycle

Den Graphen bewusst halten

Mit Standardentitäten und -beziehungen beginnen. Custom Properties nur dort ergänzen, wo eine wiederverwendbare Entscheidung ein Feld verlangt, das Standardkonzepte nicht ausdrücken. Ein lokales Feld critical ist etwa schwächer als ein definiertes Kritikalitätsmodell mit Werten, Ownern, Review-Rhythmus und Nutzungsregeln.

Designregeln:

  • Domain, technischen Service und Data Product unterscheiden;
  • Glossarbegriffe für fachliche Bedeutung, Tags für flexible Labels und Klassifikationen für kontrollierte Schutzkategorien verwenden;
  • Verantwortung auf der Ebene modellieren, auf der Entscheidungen wirklich getroffen werden;
  • Quellidentitäten und Provenance verfügbar halten;
  • Confidence und Review-Bedarf für inferierte Lineage oder Klassifikationen festhalten.

Ein Entscheidungsbaum für einen bewusst gehaltenen Entitätengraphen

Hilfe beim Umsetzen

Listet 5 Entitäten, die euer Pilotprojekt berührt (z. B. Table, Dashboard, Pipeline, User/Team, GlossaryTerm). Pro Entität: Quelle der Wahrheit und wer owned kuratierte Felder. Architecture Fit gegen Ingestion-Bausteine legen; OpenMetadata-Ingestions-Generator erst, wenn Service-Grenzen klar sind.

Checkliste

  • Kann jedes kritische Asset auf eine stabile Identität aufgelöst werden?
  • Welche Entitäten werden automatisch ingested, manuell governed oder abgeleitet?
  • Kann ein Operator erklären, warum ein Feld seinen aktuellen Wert hat?
  • Haben geplante Workflows Monitoring, Retry und verantwortliche Person?
  • Sind Custom Properties durch Governance-Entscheidungen begründet statt durch UI-Präferenzen?

Artefakt

Einen OpenMetadata Entity and Ingestion Blueprint erstellen: Entitätstypen, Identitätsregeln, Pflichtbeziehungen, Metadaten-Provenance, Ingestion Contracts und Operations Verantwortung.

Tools

Ressourcen

Arbeitsstand für die Übergabe

Vorbereiten und prüfen: Zuordnung des Pilot-Datenpfads zu Katalogobjekten, Verbindungen und Laufzeitabhängigkeiten.

Weiterer Vergleich nach Bedarf: Anforderungen und offene Prüfungen für den Vergleich mit Collibra und Alation. OpenMetadata vs. Collibra und Alation.

OpenMetadata: Platform, Positioning and Product Landscape

Part 2 of 6

View series

Knowledge check

Tour