Zum Inhalt springen
Search the hub
Metadaten automatisiert erfassen

Metadaten automatisiert erfassen

Wie technische und operative Metadaten automatisch gesammelt werden, ohne alles manuell im Katalog nachzubauen.

Category
Data Governance
Reading time
4 min
Published
Tags
metadata metadata-harvesting metadata-ingestion data-catalog data-lineage openlineage dbt information-schema data-observability schema-drift metadata-governance active-metadata
Download PDF

Einstieg

Die Bestelltabelle bekommt eine neue Spalte. Der nächste Lauf schlägt teilweise fehl. Der Bericht verwendet inzwischen ein zusätzliches Feld. Diese Veränderungen von Hand abzuschreiben ist fehleranfällig. Automatisierte Metadatenerfassung, auch Harvesting genannt, übernimmt solche Informationen über geeignete Schnittstellen.

Das Ziel ist eine nachvollziehbare Bestandsaufnahme. Die Maschine kann auslesen, dass eine Spalte vorhanden ist. Ob sie für einen bestimmten Geschäftszweck verwendet werden darf, muss aus einer verantworteten Regel oder Entscheidung kommen. Erfassung, fachliche Bestätigung und technische Durchsetzung sind unterschiedliche Aufgaben.

Was bei einer Erfassung passiert

Ein Connector ist die Verbindung zur Quelle. Eine technische Identität erhält die dafür erforderlichen Rechte. Der Connector liest einen vereinbarten Umfang, übersetzt die Ergebnisse in das Zielmodell und speichert sie mit Herkunft und Zeit. Ein weiterer Lauf aktualisiert den beobachteten Stand.

Beispiel: Für sales_order_line werden zunächst nur Tabellen- und Spaltenbeschreibung gelesen. Das ist kein automatischer Auftrag, auch Datenproben, vollständige Abfragelogs oder personenbezogene Werte zu kopieren. Solche Funktionen werden gesondert auf Zweck, Rechte und Umfang geprüft.

Das saubere Muster

Automatische Metadatenerfassung: Quellen mit unterschiedlicher Aktualitaet in eine validierte Metadata-Pipeline und einen Graph ueberfuehren.

Eingang Möglicher Beitrag Was noch fehlt
Datenbank-Metadatensicht Tabellen, Spalten, Typen und sichtbare Kommentare Fachliche Bedeutung und Vollständigkeit außerhalb der Scanrechte
Produkt-API Berichte, Modelle oder andere angebotene Objekte Prüfung, welche Objekttypen die Schnittstelle tatsächlich liefert
Build-Artefakt Modellbeschreibung und Abhängigkeiten aus einem definierten Softwarestand Verknüpfung mit tatsächlichem Lauf und Fachfreigabe
Laufprotokoll Beobachtete Ausführung und Fehler Nicht beobachtete Wege und vollständige fachliche Bedeutung

Build-Artefakte sind Dateien, die ein Entwicklungswerkzeug erzeugt. Bei dbt unterscheiden sich Projektbeschreibung und Laufergebnisse. Produktversion, Dateischema und erzeugender Befehl gehören zum Importvertrag; gleich benannte Dateien aus unterschiedlichen Ständen werden nicht blind kombiniert. Menschen prüfen Bedeutung, Verantwortlichkeit, Freigabe und Ausnahmen.

Was jeder Connector dokumentieren sollte

Ein nutzbarer Erfassungsnachweis beantwortet: Was konnte mit welchen Rechten wann gesehen werden?

Angabe Beispiel, ausdrücklich kein ausgeführter Lauf
Quelle und Umfang Testinstanz, Schema sales, nur vereinbarte Tabellen
Technische Identität Benannte Scanrolle, keine Zugangsdaten im Export
Lauf Kennung TEST-001, Start/Ende mit Zeitzone
Ergebnis Erfolgreich, teilweise erfolgreich oder fehlgeschlagen
Erwartung / Beobachtung Erwartete und erfasste Objekte getrennt; unbekannte Sollzahl offen
Aktualität Erfasst um 09:00; Quelldatenstand separat ausweisen
Zuständigkeit Betriebsteam, Benachrichtigung und nächste Prüfung

Für die Zuordnung zwischen Läufen werden stabile Quellkennungen verwendet, wenn die Quelle sie zuverlässig anbietet. Andernfalls braucht es eine dokumentierte Zuordnung aus Instanz, Namensraum und Objektpfad sowie einen Test für Umbenennung und Neuerstellung. Gleicher Anzeigename bedeutet nicht zwingend gleiches Objekt.

Mini-Fall

Der Scan liefert null Tabellen. Mögliche Ursachen sind ein leeres Schema, fehlende Rechte, ein Filter oder ein Quellfehler. „Null gefunden“ darf daher nicht automatisch alle bisherigen Einträge löschen. Prüfe Umfang, Rechte und Laufstatus; teste mit einem bekannten Objekt, das die Scanrolle sehen muss. Bis zur Klärung bleibt der letzte bekannte Stand mit entsprechendem Hinweis sichtbar.

Anti-Patterns

Ein Lauf mit Teilfehlern wird nicht als vollständiger Erfolg angezeigt. Ein aus Protokollen beobachteter Weg wird nicht als vollständige Spalten-Lineage verkauft. Ein automatisch vorgeschlagener Owner wird nicht ohne Bestätigung als entscheidungsberechtigt veröffentlicht.

Für die Abnahme teste eine erlaubte Tabelle, ein absichtlich ausgeschlossenes Objekt, einen Teilfehler und einen wiederholten Lauf. Dokumentiere Soll und Ist. Erwartung ist ein stabil zugeordnetes Objekt mit erkennbarer Herkunft; kein unbemerkter Dublettenaufbau. Spalten-Lineage meint den Weg einzelner Felder und muss gesondert geprüft werden.

Quellen und Gültigkeit

Teilabgleich 26.10.2026: OpenMetadata, Metadata Ingestion, Dokumentationszweig 2.0.x beschreibt connectorbasierte Erfassung. dbt-Artefakte beschreibt getrennte Dateien und Metadaten zu Version und Lauf. Die Prüfschritte hier sind unser Abnahmemuster; sie behaupten keine vollständige Connectorabdeckung. Verwendete Produkt- und Artefaktversion vor dem Einsatz prüfen, da Updates Verhalten und Felder ändern können.

Redaktioneller Stand: 26.10.2026. Beispiele sind erfundene Anwendungsbeispiele.

Metadata Deep Dive

Part 4 of 7

View series

Knowledge check

Tour