Messaging und Storage
Kafka-Topics und Object-Storage-Buckets als Metadaten-Assets: Coverage, Grenzen und wann Warehouse-Metadatenimport ausreicht.
Herausforderung
Kafka und Object Storage erzeugen schnell Inventar ohne Consumer-Nutzen — oder Teams ignorieren sie und verlieren Topic-/Bucket-Kontext für Streaming- und Landing-Zonen. „Vollständiges Inventar“ ohne Owner und Klassifikation ist teurer als bewusstes Weglassen.
Ansatz
Messaging und Storage nur anbinden, wenn ein benannter Consumer-Use existiert (z. B. Landing-Bucket des Pilotprozesss, kritisches Topic). Sonst reicht Warehouse-Metadatenimport der daraus gebauten Tabellen.
Nur bei klarem Use:
Messaging/Storage-Service → Topics/Buckets als Assets
Sonst: Metadaten über Warehouse-Tabellen abbilden

Wann anbinden — wann nicht
| Situation | Empfehlung |
|---|---|
| Landing-Bucket steuert Stewardship vor dem Load | Storage-Service mit Prefix-Scope |
| Kritisches Event-Topic mit mehreren Consumern | Messaging-Service; Owner am Topic |
| Alles liegt bereits als kuratierte Warehouse-Tabelle | Warehouse reicht — kein Parallel-Inventar |
| „Wir wollen alle Buckets sehen“ ohne Use Case | Ablehnen oder auf Pilotprojekt-Prefix begrenzen |
Best Practices
Zuerst „warum anbinden“ schreiben
Messaging/Storage ohne benannten Consumer (jemand sucht Topic/Bucket als solches, nicht nur die Tabelle danach) erzeugt Inventar ohne Nutzen. Drei „weiß nicht“ im Mini-Decision → bewusst weglassen und datieren. „Vollständiges Inventar“ ist kein Use Case — der nächste Audit erzwingt sonst Voll-Metadatenimport.
Prefix/Cluster eng halten
s3://lake/landing/sales/ oder ein Topic-Prefix des Flows — nicht Account- oder Cluster-weit. Breite Scopes treiben Kosten, Security-Reviews und PII in Object-Keys. Maximal-Scope steht im Decision Record.
Klassifikation früh
Sensitive Buckets/Topics brauchen Labels und Owner, sobald sie im Katalog sind — nicht „später Governance“. Sonst ist Discovery schneller als Schutz.
Coverage ehrlich begrenzen
Object-Level-Tagging jedes Files ist selten das Ziel. Landing/Critical einlesen; kuratierte Zonen liegen oft schon als Warehouse-Tabellen vor (dann reicht Teil 2). Was der Connector nicht liefert (z. B. Schema ohne Registry), gehört als Grenze ins Record.
Lineage zu Tabellen — oder Lücke notieren
Wo der Connector Downstream-Links liefert, Kurztest prüfen. Wo nicht: manuell im Decision Record vermerken, damit niemand Vollständigkeit annimmt.
Stolperfallen
Ganzer Kafka-Cluster / Storage-Account. Müllhalde und Review-Blocker.
OM als Zugriffsregel-Durchsetzung. Stream- und Bucket-Policies bleiben in der Plattform.
Messaging vor Warehouse, obwohl Consumer nur Tabellen brauchen — unnötiger Graph.
Soft-delete bei Rename ohne Quarantäne — kuratierte Descriptions weg.
„Weglassen“ ohne Record. Später wirkt es wie Vergessen; Audit erzwingt Nacharbeit.
Vorgehen
- Use Case prüfen: brauche ich Topic/Bucket-Identität im Katalog?
- Wenn ja: Service mit engem Scope (Prefix/Cluster).
- Owner und Klassifikation für sensitive Objekte setzen.
- Lineage zu Downstream-Tabellen prüfen oder Lücke dokumentieren.
- Wenn nein: im Decision Record „bewusst weggelassen“ mit Datum festhalten.
Troubleshooting
- Auth zu Kafka/S3: getrennte Bot-Identity; Least Privilege (Describe/List, nicht Write).
- Zu viele Topics: Name-Filter, Team-Prefix, Exclude interner System-Topics.
- Keine Schemas am Topic: Schema-Registry-Anbindung optional — nicht erwarten, dass OM alles ableitet.
Mini-Decision: anbinden oder nicht
Beantworte schriftlich:
- Welcher Consumer sucht das Topic/Bucket als solches (nicht nur die Tabelle danach)?
- Welches Prefix/Cluster ist der Maximal-Scope?
- Wer owned Klassifikation und Eskalation?
- Was liefert der Connector bewusst nicht?
Drei „weiß nicht“ → nicht anbinden. Ein klarer Consumer + enger Scope → Decision Record und Pilotprojekt.
Hilfe beim Umsetzen
Mini-Decision schriftlich beantworten. Bei „weglassen“: Datum + Reviewer im Record. Bei „anbinden“: Prefix/Cluster + Owner + Klassifikation, dann OpenMetadata-Ingestions-Generator. Warehouse-Tabellen zuerst prüfen — oft reicht Teil 2.
Checkliste
- Gibt es einen benannten Nutzer-Use — oder nur „vollständiges Inventar“?
- Ist der Umfang (Prefix/Cluster) eng genug?
- Sind sensitive Objekte klassifiziert?
- Ist klar, was der Connector nicht liefert?
- Falls weggelassen: Begründung im Record?

Artefakt
Decision Record: anbinden vs. bewusst weglassen — mit Begründung, Scope und Owner.
Tools
- OpenMetadata-Ingestions-Generator — Messaging-/Storage-Service nur nach positivem Mini-Decision.
- OpenMetadata Connectors — Messaging- und Storage-Connectoren.
- Secret Store (+ optional Schema Registry, intern).
Ressourcen
OpenMetadata: Connecting Source Systems
Part 6 of 8
View series