Metadaten automatisiert erfassen
Wie technische und operative Metadaten automatisch gesammelt werden, ohne alles manuell im Katalog nachzubauen.
Einstieg
Die Bestelltabelle bekommt eine neue Spalte. Der nächste Lauf schlägt teilweise fehl. Der Bericht verwendet inzwischen ein zusätzliches Feld. Diese Veränderungen von Hand abzuschreiben ist fehleranfällig. Automatisierte Metadatenerfassung, auch Harvesting genannt, übernimmt solche Informationen über geeignete Schnittstellen.
Das Ziel ist eine nachvollziehbare Bestandsaufnahme. Die Maschine kann auslesen, dass eine Spalte vorhanden ist. Ob sie für einen bestimmten Geschäftszweck verwendet werden darf, muss aus einer verantworteten Regel oder Entscheidung kommen. Erfassung, fachliche Bestätigung und technische Durchsetzung sind unterschiedliche Aufgaben.
Was bei einer Erfassung passiert
Ein Connector ist die Verbindung zur Quelle. Eine technische Identität erhält die dafür erforderlichen Rechte. Der Connector liest einen vereinbarten Umfang, übersetzt die Ergebnisse in das Zielmodell und speichert sie mit Herkunft und Zeit. Ein weiterer Lauf aktualisiert den beobachteten Stand.
Beispiel: Für sales_order_line werden zunächst nur Tabellen- und Spaltenbeschreibung gelesen. Das ist kein automatischer Auftrag, auch Datenproben, vollständige Abfragelogs oder personenbezogene Werte zu kopieren. Solche Funktionen werden gesondert auf Zweck, Rechte und Umfang geprüft.
Das saubere Muster

| Eingang | Möglicher Beitrag | Was noch fehlt |
|---|---|---|
| Datenbank-Metadatensicht | Tabellen, Spalten, Typen und sichtbare Kommentare | Fachliche Bedeutung und Vollständigkeit außerhalb der Scanrechte |
| Produkt-API | Berichte, Modelle oder andere angebotene Objekte | Prüfung, welche Objekttypen die Schnittstelle tatsächlich liefert |
| Build-Artefakt | Modellbeschreibung und Abhängigkeiten aus einem definierten Softwarestand | Verknüpfung mit tatsächlichem Lauf und Fachfreigabe |
| Laufprotokoll | Beobachtete Ausführung und Fehler | Nicht beobachtete Wege und vollständige fachliche Bedeutung |
Build-Artefakte sind Dateien, die ein Entwicklungswerkzeug erzeugt. Bei dbt unterscheiden sich Projektbeschreibung und Laufergebnisse. Produktversion, Dateischema und erzeugender Befehl gehören zum Importvertrag; gleich benannte Dateien aus unterschiedlichen Ständen werden nicht blind kombiniert. Menschen prüfen Bedeutung, Verantwortlichkeit, Freigabe und Ausnahmen.
Was jeder Connector dokumentieren sollte
Ein nutzbarer Erfassungsnachweis beantwortet: Was konnte mit welchen Rechten wann gesehen werden?
| Angabe | Beispiel, ausdrücklich kein ausgeführter Lauf |
|---|---|
| Quelle und Umfang | Testinstanz, Schema sales, nur vereinbarte Tabellen |
| Technische Identität | Benannte Scanrolle, keine Zugangsdaten im Export |
| Lauf | Kennung TEST-001, Start/Ende mit Zeitzone |
| Ergebnis | Erfolgreich, teilweise erfolgreich oder fehlgeschlagen |
| Erwartung / Beobachtung | Erwartete und erfasste Objekte getrennt; unbekannte Sollzahl offen |
| Aktualität | Erfasst um 09:00; Quelldatenstand separat ausweisen |
| Zuständigkeit | Betriebsteam, Benachrichtigung und nächste Prüfung |
Für die Zuordnung zwischen Läufen werden stabile Quellkennungen verwendet, wenn die Quelle sie zuverlässig anbietet. Andernfalls braucht es eine dokumentierte Zuordnung aus Instanz, Namensraum und Objektpfad sowie einen Test für Umbenennung und Neuerstellung. Gleicher Anzeigename bedeutet nicht zwingend gleiches Objekt.
Mini-Fall
Der Scan liefert null Tabellen. Mögliche Ursachen sind ein leeres Schema, fehlende Rechte, ein Filter oder ein Quellfehler. „Null gefunden“ darf daher nicht automatisch alle bisherigen Einträge löschen. Prüfe Umfang, Rechte und Laufstatus; teste mit einem bekannten Objekt, das die Scanrolle sehen muss. Bis zur Klärung bleibt der letzte bekannte Stand mit entsprechendem Hinweis sichtbar.
Anti-Patterns
Ein Lauf mit Teilfehlern wird nicht als vollständiger Erfolg angezeigt. Ein aus Protokollen beobachteter Weg wird nicht als vollständige Spalten-Lineage verkauft. Ein automatisch vorgeschlagener Owner wird nicht ohne Bestätigung als entscheidungsberechtigt veröffentlicht.
Für die Abnahme teste eine erlaubte Tabelle, ein absichtlich ausgeschlossenes Objekt, einen Teilfehler und einen wiederholten Lauf. Dokumentiere Soll und Ist. Erwartung ist ein stabil zugeordnetes Objekt mit erkennbarer Herkunft; kein unbemerkter Dublettenaufbau. Spalten-Lineage meint den Weg einzelner Felder und muss gesondert geprüft werden.
Quellen und Gültigkeit
Teilabgleich 26.10.2026: OpenMetadata, Metadata Ingestion, Dokumentationszweig 2.0.x beschreibt connectorbasierte Erfassung. dbt-Artefakte beschreibt getrennte Dateien und Metadaten zu Version und Lauf. Die Prüfschritte hier sind unser Abnahmemuster; sie behaupten keine vollständige Connectorabdeckung. Verwendete Produkt- und Artefaktversion vor dem Einsatz prüfen, da Updates Verhalten und Felder ändern können.
Redaktioneller Stand: 26.10.2026. Beispiele sind erfundene Anwendungsbeispiele.
Metadata Deep Dive
Part 4 of 7
View series