RAG Eval Ops: Retrieval vs. Answer
RAG-Qualität mit getrennten Retrieval- und Answer-Metriken, Golden Sets und Release-Gates nach jedem Re-Index betreiben — Brücke zu AI Eval ohne Umschreiben.
Eine flüssige falsche Antwort des Policy-Bots aus dem falschen Chunk wirkt wie Sprachmodell-Versagen. Oft ist es Retrieval-Versagen: der Index liefert den stillgelegte Policy-Chunk. Ohne getrennte Metriken tunen Teams Prompts ewig und fixen nie den Index.
Was aus dem vorherigen Schritt ankommt
Du kennst freigegebene Quellen, Snapshot und Modellversion. Prüfe jetzt getrennt, ob die richtigen Belege gefunden und daraus vertretbare Antworten erzeugt werden.
Ausgangspunkt: Corpus Supply Chain und Poisoning.
Begriffe vor dem Lesen
-
Data Owner — Fachlich verantwortliche Rolle für Zweck, Bedeutung, Risikoakzeptanz und Freigabe.
-
Data Steward — Rolle, die Definitionen, Prüfungen, Konflikte und Nachweise im Alltag pflegt.
-
Data Custodian — Technische Rolle, die Zugriffe, Laufzeit, Sperren und Protokollierung umsetzt.
-
Freigegebener KI-Nutzungspfad — Eine konkrete Kombination aus Zweck, Werkzeug, Datenklassen, verantwortlichen Rollen und technischen Kontrollen.
-
RAG (Retrieval-Augmented Generation) — Das System sucht vor einer Antwort freigegebene Quellen und stellt sie dem Sprachmodell als Kontext bereit.
-
HITL (Human in the Loop) — Eine benannte Person prüft oder genehmigt eine Aktion, bevor sie wirksam wird.
-
Waiver / befristete Ausnahme — Zeitlich begrenzte Abweichung mit Grund, Risiko, kompensierender Maßnahme und Ablaufdatum.
-
Model Card / Dataset Card — Versionierte Beschreibung von Modell beziehungsweise Datensatz, zulässiger Nutzung, Herkunft, Tests und Grenzen.
-
Corpus — Die kontrollierte Sammlung von Dokumenten oder Daten, aus der ein KI-System sucht oder lernt.
Entscheidung
Ein Re-Index kann bessere Antwortsprache und zugleich falsche Quellen liefern. Halte das Golden Set mit gültigen erwarteten Dokumenten aktuell und prüfe Retrieval getrennt von der Antwort. Owner verantwortet Schwellen, Steward Referenzsatz und Review, Custodian den technischen Block. Die Risikostufen und Gate-Reaktionen hier sind unser internes Betriebsmodell, keine direkte gesetzliche Risikoklassifizierung. Teilabgleich 23.10.2026: Microsoft RAG-Evaluatoren.
Bevor ein Index- oder Prompt-Change einen sanctioned RAG-Pfad erreicht:
- ein RAG Eval Pack (
rag-eval-pack-v1) als Hard Gate fürlimited/high(Warn fürminimal); - getrennte Schichten — Retrieval (Recall@k, Filter, Empty-Hit) und Answer (Groundedness, Task Success, Refusal);
- ein versioniertes Golden Set (Query→Doc-IDs, Sensitivität, Owner = Path-Steward);
- Cards-Link zu Model/Dataset aus Teil 3 plus Restrisiko-Note;
- Owner für Schwellen, Steward für Golden Set und Review, Custodian für Pipeline-Block; Waiver nur über Teil 7.
Nie nur auf Answer-Scores promoten, wenn Retrieval-Regression failed.

Eval-Workflow
1. Schichten trennen
| Schicht | Was Sie messen | Fail heißt |
|---|---|---|
| Retrieval | Recall@k, MRR/nDCG, Filter-Korrektheit, Empty-Hit-Rate | falscher/fehlender Kontext — Index/Filter/Corpus vor Prompt-Tweaks |
| Answer | Groundedness, Policy-Compliance, Task Success, Refusal | Generator- oder Prompt/Tool-Issue auf korrektem Kontext |
Der Eval-Owner setzt Schwellen je Pfad. Der Steward veröffentlicht sie im Pack. Wer nur Answer-BLEU misst, tuned Prompts und lässt den stillgelegte Chunk stehen.
2. Golden Set versionieren
Steward besitzt das Set: 50–200 kritische Intents, Query→erwartete Doc-IDs, Sensitivität gelabelt. Synthetic oder redaktiert bevorzugen — Teil 4. Refresh bei Policy- oder Produktwechsel. Ein Set mit PII oder veralteten Policies ist selbst ein Incident.
3. Release an Builds hängen
Custodian triggert Eval bei neuem Index-Build, Embedding- oder Chunker-Wechsel, großem Corpus-Delta und Prompt-Change. Require: Retrieval-Pass + Answer-Pass + Cards-Link. Ohne Hook shippt der Hygiene-Re-Index auf Slack-Daumen — und Woche+1 zitiert der Bot die stillgelegte Policy.
4. Fails zurück verdrahten
Retrieval-Misses durch tote oder tainted Docs gehen an Junk→AI oder Teil 5, nicht an Prompt-Tuning. Steward dokumentiert den Fix im Pack. Ein Fail ohne Owner wird zum Dauer-Waiver.
5. Pack speichern
Custodian legt Pack-ID, Index/Build-ID, Golden-Set-Hash, Metriken, Pass/Fail/Waive und Reviewer ab. Owner bestätigt Restrisiko. Ohne gespeicherte ID ist der letzte Produktion-Change nicht auditierbar.
Handoffs
| Von | An | Artefakt |
|---|---|---|
| verantwortliche Person des Nutzungspfads | Eval-Owner / Steward | Schwellen + Golden-Set-v1 |
| Steward | Custodian | Eval-Jobs an Index/Promote |
| Eval-Owner | Corpus-Steward | Retrieval-Fail → Hygiene oder Trust-Tier |
| Steward | verantwortliche Person des Nutzungspfads | Pack Pass/Fail + Restrisiko-Note |
| verantwortliche Person des Nutzungspfads | Waiver-Owner (Teil 7) | befristeter Waiver nur mit Ablauf |
Anti-Patterns
- Online-Demo oder Slack-Daumen als Regression behandeln
- Nur Answer-Scores messen, Hit-Rate@k ignorieren
- Re-Index nach Hygiene ohne Eval-Prüfpunkt produktiv ausliefern
- Golden Sets mit personenbezogene Daten oder veralteten Richtlinien fahren
- Eval-Fails still über Slack waiven
Erster Praxistest
- Retrieval- und Answer-Schwellen für einen sanctioned RAG-Pfad festlegen.
- Golden Set v1 mit Owner und Sensitivitäts-Tags publizieren.
- Index/Promote an Eval-Jobs hängen und ein Release bei failed Retrieval blocken.
- Eval-Pack-ID des letzten Produktion-Change speichern.
Die Übergabe am konkreten Fall prüfen
Nutze drei Beispielfragen: eine mit gültiger Quelle, eine ohne Antwort im Bestand und eine mit widersprüchlichen Versionen. Notiere erwartete Treffer und erwartetes Antwortverhalten vor dem Lauf. Vergleiche Retrieval und Antwort getrennt; wiederhole nach einem Index- oder Promptwechsel mit derselben versionierten Probe.
Wenn die Probe nicht trägt: Eine sprachlich gute Antwort gleicht falsche Treffer nicht aus. Eine unbeantwortbare Frage soll als solche erkennbar bleiben.
| Stand nach der Probe | Passender Anschluss |
|---|---|
| Ergebnis und verbleibende Grenzen sind geprüft und übergabefähig | Agent Tools, HITL und AI-Waivers |
| Eine Grundlage für die Entscheidung bleibt offen | Corpus Supply Chain und Poisoning – offene Frage mit Zuständigkeit zurückgeben. |
Die Prüfung beschreibt einen Beispielfall. Halte bei der eigenen Umsetzung fest, was tatsächlich geprüft wurde und welche Abweichungen noch offen sind.
Sanctioned AI Ops
Part 6 of 8
View series