Zum Inhalt springen
Search the hub
Messaging und Storage

Messaging und Storage

Kafka-Topics und Object-Storage-Buckets als Metadaten-Assets: Coverage, Grenzen und wann Warehouse-Metadatenimport ausreicht.

Category
Data Governance
Reading time
4 min
Published
Tags
metadata-ingestion storage data-governance
Download PDF

Herausforderung

Kafka und Object Storage erzeugen schnell Inventar ohne Consumer-Nutzen — oder Teams ignorieren sie und verlieren Topic-/Bucket-Kontext für Streaming- und Landing-Zonen. „Vollständiges Inventar“ ohne Owner und Klassifikation ist teurer als bewusstes Weglassen.

Ansatz

Messaging und Storage nur anbinden, wenn ein benannter Consumer-Use existiert (z. B. Landing-Bucket des Pilotprozesss, kritisches Topic). Sonst reicht Warehouse-Metadatenimport der daraus gebauten Tabellen.

Nur bei klarem Use:
Messaging/Storage-Service → Topics/Buckets als Assets
Sonst: Metadaten über Warehouse-Tabellen abbilden

Messaging und Storage in OpenMetadata

Wann anbinden — wann nicht

Situation Empfehlung
Landing-Bucket steuert Stewardship vor dem Load Storage-Service mit Prefix-Scope
Kritisches Event-Topic mit mehreren Consumern Messaging-Service; Owner am Topic
Alles liegt bereits als kuratierte Warehouse-Tabelle Warehouse reicht — kein Parallel-Inventar
„Wir wollen alle Buckets sehen“ ohne Use Case Ablehnen oder auf Pilotprojekt-Prefix begrenzen

Best Practices

Zuerst „warum anbinden“ schreiben

Messaging/Storage ohne benannten Consumer (jemand sucht Topic/Bucket als solches, nicht nur die Tabelle danach) erzeugt Inventar ohne Nutzen. Drei „weiß nicht“ im Mini-Decision → bewusst weglassen und datieren. „Vollständiges Inventar“ ist kein Use Case — der nächste Audit erzwingt sonst Voll-Metadatenimport.

Prefix/Cluster eng halten

s3://lake/landing/sales/ oder ein Topic-Prefix des Flows — nicht Account- oder Cluster-weit. Breite Scopes treiben Kosten, Security-Reviews und PII in Object-Keys. Maximal-Scope steht im Decision Record.

Klassifikation früh

Sensitive Buckets/Topics brauchen Labels und Owner, sobald sie im Katalog sind — nicht „später Governance“. Sonst ist Discovery schneller als Schutz.

Coverage ehrlich begrenzen

Object-Level-Tagging jedes Files ist selten das Ziel. Landing/Critical einlesen; kuratierte Zonen liegen oft schon als Warehouse-Tabellen vor (dann reicht Teil 2). Was der Connector nicht liefert (z. B. Schema ohne Registry), gehört als Grenze ins Record.

Lineage zu Tabellen — oder Lücke notieren

Wo der Connector Downstream-Links liefert, Kurztest prüfen. Wo nicht: manuell im Decision Record vermerken, damit niemand Vollständigkeit annimmt.

Stolperfallen

Ganzer Kafka-Cluster / Storage-Account. Müllhalde und Review-Blocker.

OM als Zugriffsregel-Durchsetzung. Stream- und Bucket-Policies bleiben in der Plattform.

Messaging vor Warehouse, obwohl Consumer nur Tabellen brauchen — unnötiger Graph.

Soft-delete bei Rename ohne Quarantäne — kuratierte Descriptions weg.

„Weglassen“ ohne Record. Später wirkt es wie Vergessen; Audit erzwingt Nacharbeit.

Vorgehen

  1. Use Case prüfen: brauche ich Topic/Bucket-Identität im Katalog?
  2. Wenn ja: Service mit engem Scope (Prefix/Cluster).
  3. Owner und Klassifikation für sensitive Objekte setzen.
  4. Lineage zu Downstream-Tabellen prüfen oder Lücke dokumentieren.
  5. Wenn nein: im Decision Record „bewusst weggelassen“ mit Datum festhalten.

Troubleshooting

  • Auth zu Kafka/S3: getrennte Bot-Identity; Least Privilege (Describe/List, nicht Write).
  • Zu viele Topics: Name-Filter, Team-Prefix, Exclude interner System-Topics.
  • Keine Schemas am Topic: Schema-Registry-Anbindung optional — nicht erwarten, dass OM alles ableitet.

Mini-Decision: anbinden oder nicht

Beantworte schriftlich:

  1. Welcher Consumer sucht das Topic/Bucket als solches (nicht nur die Tabelle danach)?
  2. Welches Prefix/Cluster ist der Maximal-Scope?
  3. Wer owned Klassifikation und Eskalation?
  4. Was liefert der Connector bewusst nicht?

Drei „weiß nicht“ → nicht anbinden. Ein klarer Consumer + enger Scope → Decision Record und Pilotprojekt.

Hilfe beim Umsetzen

Mini-Decision schriftlich beantworten. Bei „weglassen“: Datum + Reviewer im Record. Bei „anbinden“: Prefix/Cluster + Owner + Klassifikation, dann OpenMetadata-Ingestions-Generator. Warehouse-Tabellen zuerst prüfen — oft reicht Teil 2.

Checkliste

  • Gibt es einen benannten Nutzer-Use — oder nur „vollständiges Inventar“?
  • Ist der Umfang (Prefix/Cluster) eng genug?
  • Sind sensitive Objekte klassifiziert?
  • Ist klar, was der Connector nicht liefert?
  • Falls weggelassen: Begründung im Record?

Betriebsnachweise für Messaging/Storage

Artefakt

Decision Record: anbinden vs. bewusst weglassen — mit Begründung, Scope und Owner.

Tools

Ressourcen

OpenMetadata: Connecting Source Systems

Part 6 of 8

View series

Knowledge check

Tour