Überblick und Qualität ab Tag 1
Werkzeuge nach Job wählen, nicht nach Produktnamen: Schema-Metadatenimport, Sandbox-Profil, dann drei bis fünf Regeln am Zählebene — Profiling ersetzt keine Akzeptanz.
Begriffe vor dem Lesen
- Unbekannte Quelle — System, Datei, API oder Export, dessen Bedeutung, Rechte, Qualität und verantwortliche Person noch nicht sauber geklärt sind.
- Quellumfang — Festlegung, welche Objekte geladen, übersprungen oder später geprüft werden.
- Personenbezogene Daten / PII — Informationen, die sich direkt oder indirekt auf eine Person beziehen. PII steht für „Personally Identifiable Information“.
- Beschreibungsvertrag — Mindestbeschreibung für Zweck, Zählebene, Felder, verantwortliche Person, Qualität und Grenzen.
- verantwortliche Person — Rolle, die Bedeutung, Nutzung und Risiko fachlich akzeptiert.
Qualität, Quellkorrektur und AI-Nutzung
Datenqualität muss sichtbar machen, wo ein Problem behoben wurde. Wenn der Fehler im Quellsystem entsteht, ist die beste Behebung eine Korrektur an der Quelle oder mindestens ein dokumentierter Quellbefund mit Owner. Wenn ETL oder ELT Werte nachgelagert bereinigt, schätzt, mappt oder filtert, braucht diese Änderung Evidence: Regel, Grund, betroffene Felder, Version und erlaubte Nutzung.
Das ist besonders wichtig für AI. Retrieval, Training, Features und Agenten sehen oft nur das nachgelagerte Ergebnis. Ohne Kennzeichnung wissen sie nicht, ob ein Wert beobachtet, korrigiert, geschätzt, defaulted oder ausgeschlossen wurde. Governance muss Unsicherheit und Herkunft erhalten, statt sie hinter einem sauber wirkenden Datensatz zu verstecken.
Ein Überblick über eine unbekannte Quelle ist kein Observability-Kauf und kein vollständiges Warehouse-Profil. Es ist ein Job: Form sehen, Hypothesen notieren, drei Regeln schreiben, die die Zählebene der Frage schützen. Profiling beweist nicht, dass die Pipeline gut genug für den Close ist.
Zweck, Population und Körnung vor dem Test: Qualität beginnt vor dem ersten Test. Die drei Schleifen: Profiling, Validierung, Observability. Produktnamen vs. Fähigkeiten: Metadaten-Tools.
Ausgangslage
Vier Verwechslungen:
- Catalog = Überblick. Metadatenimport ohne Frage zählt Objekte, erklärt Won nicht.
- Profil = Qualität. Nullrate 2 % ist Beschreibung, keine Akzeptanz.
- Observability zuerst. Anomalie-Produkte lohnen, wenn ein Produkt kaputtgehen kann — nicht am Start.
- Testbibliothek als Onboarding. Ohne Zweck und Grundgesamtheit sind Tests Theater — Qualität vor dem Test.
PII-Gates aus Teil 3 bleiben stehen: kein Profil mit echten Mails im Catalog.
Entscheidung
Die drei bis fünf Regeln sind ein Pilotumfang, keine universelle Mindest- oder Höchstzahl. Eine Opportunity-ID muss auf der erklärten Zählebene eindeutig sein; in Event- oder Snapshotdaten können zusätzliche Schlüssel nötig sein. Frische der Quelländerung, erfolgreicher Import und fachliche Vollständigkeit sind getrennte Prüfungen.
Werkzeuge nach Job, nicht nach Logo:
| Job | Typische Mittel | Nicht |
|---|---|---|
| Form (Start) | Object Manager, describe, Quellumfang Builder |
Warehouse-Dump zum Anschauen |
| PII | Recommend, Unreviewed-Gate, Sandbox-Scan | Slack-Screenshots |
| Überblick | Warehouse- oder Catalog-Profiler auf Sample | Voller Prod-Scan in den Catalog |
| Qualität am Slice | 3–5 Regeln: Key, Pflichtfelder, Referenz, Frische, Enum | 80 Tests auf jedem Raw-Feld |
| Später Betrieb | dbt tests, Soda, GE, Elementary; Observability wenn das Produkt lebt | Suite als Ersatz für Owner-Regeln |
Drei bis fünf Regeln, die die Zählebene schützen — Salesforce-Pipeline:
- Opportunity-Id eindeutig im Slice.
- Stage und CloseDate gesetzt für die Population der Frage.
- Account existiert (Referenz).
- Frische:
SystemModstampnicht älter als die vereinbarte Schwelle. - Stage nur aus dem vereinbarten Enum — neue Werte sind Triage, keine stille Anpassung.
Negative Amounts ohne Retouren-Kontext sind zuerst Hypothese. Finance erklärt Gutscheine oder Fehler — dann Regel. Das Profil hat gefragt; der Owner hat akzeptiert.
Sizing
| Größe | Überblick und DQ |
|---|---|
| SMB | Native Profiler oder SQL auf Sample; drei Tests in dbt |
| Mid | Profil je Slice; Regeln im Contract; wöchentliche Drift-Triage |
| Enterprise | Risikosampling, inkrementelle Profile, Observability am Produkt nicht am Dump |
Anwendungsbeispiel: Freshness grün, Forecast falsch
Lehrfall. Der Job ist grün. Stage enthält einen neuen Wert Verbal Commit. Amount ist in 8 % der offenen Zeilen null. Engineering will 40 Generic-not-null-Tests.
Korrektur:
- Freshness bleibt Observability — sie beweist keinen Forecast.
- Neuer Stage-Wert: Sales Ops (Experte) erklärt; verantwortliche Person entscheidet, ob Enum erweitert oder Quelle korrigiert wird.
- Null-Amount: Grundgesamtheit prüfen (entwurfene Deals?). Dann eine Regel für die offene Pipeline, nicht für alle historischen Rows.
- Drei Tests an der fachlichen Ebene, nicht vierzig am Raw.
Betriebsablauf (nummeriert)
- Nur Include-Kandidaten profilieren — Sample, Sandbox, keine PII-Previews.
- Hypothesen notieren: Keys, Nulls, Enums, Orphans, Verzug.
- Mit der Hilfskarte klären, was legitim ist — Teil 2.
- Owner akzeptiert 3–5 Regeln; Custodian implementiert (dbt DQ Rules).
- Drift: neue Enums und Null-Sprünge als Triage, nicht als stilles Absenken.
- Observability erst, wenn der Slice Consumer hat.
Handoffs
| Von | An | Artefakt | Erfolgskriterium |
|---|---|---|---|
| Custodian | Steward | Profilbericht (aggregiert) | Hypothesen, keine Roh-PII |
| Steward | Owner / Experte | Regelvorschläge | Akzeptanz oder dokumentierte Ausnahme |
| Owner | Custodian | 3–5 Regeln plus Population | Tests sind ausführbar |
| Custodian | Product Owner | Gate vor Publish | Slice geht nicht grün bei Zählebene-Bruch |
Anti-Patterns (und warum sie scheitern)
- Nur Profiling. Scheitert, weil Beschreibung keine Akzeptanz ist.
- Observability ohne Produkt. Scheitert als Tool ohne Adressat.
- Tests ohne Zweck. Scheitert am Close trotz grüner Scores.
- Voller Scan als Überblick. Scheitert an Kosten und personenbezogene Daten.
- Catalog-Produkt als Architektur. Scheitert — Fähigkeiten zählen, Metadaten-Tools.
- 80 Raw-Tests. Scheitert an Rauschen; die Zählebene bleibt ungeschützt.
Praktische Umsetzung
Dieser Einstieg ist ein Arbeitsmuster, keine Kalenderübung und keine Leseliste. Nimm einen echten Fall, an dem sich die Entscheidung prüfen lässt.
Im verlinkten Arbeitsplan hältst du fest, wer die einzelnen Aufgaben übernimmt, bis wann sie erledigt werden und welche Entscheidungen noch offen sind.
Starte mit dem kleinsten echten Fall, der fachlich wichtig genug ist. Prüfe danach, ob die Entscheidung wirklich auffindbar, umsetzbar und auditierbar ist. Rollenklärung: Wer hilft wem an der Quelle.
Erster belastbarer Stand: Ein Sample-Profil des Slices. Drei Zählebene-Regeln live. Freshness getrennt von fachlicher Validierung.
Stabiler Betrieb: Eine Drift-Triage hat eine Regel verschärft oder eine legitime Ausnahme dokumentiert — nicht still ignoriert.
Checkliste
- Überblick läuft auf Include-Sample, nicht auf dem Org-Dump.
- Profiling-Fragen und akzeptierte Regeln sind getrennt.
- 3–5 Regeln schützen die Zählebene der Frage.
- personenbezogene Daten-Samples sind nicht im Profilbericht.
- Observability ist dem Produkt nachgeordnet.
- Neue Enums sind Triage.
Artefakt
Profil- und Regelblatt (Seite 4): Hypothesen, Population, 3–5 Regeln, Runner (dbt/Soda/…), Drift-Weg. Hängt am Quellumfang.
Tools
Weiterführend
- Qualität beginnt vor dem ersten Test
- Profiling, Validierung und Observability
- Metadaten-Tools und Produktkategorien
- Quality Gates und Verträge
Unknown source — who helps, PII, quality
Part 4 of 5
View series