KI evaluieren und betreiben – Qualität, Kosten und Produktionsbetrieb
Wie KI-Systeme mit reproduzierbaren Testfällen, mehrstufiger Evaluation, versionierten Konfigurationen und kontinuierlichem Produktionsmonitoring messbar und kontrollierbar werden.
Vom überzeugenden Prototyp zum messbaren System
Die Demo des Richtlinienassistents wirkt überzeugend: fünf vorbereitete Fragen treffen. Im Alltag scheitern reale Formulierungen, der Bot zitiert eine veraltete Richtlinie, und niemand hat eine Testmenge. Ohne messbare Fälle, Versionen und Monitoring ist „das Sprachmodell wirkt gut“ kein Go-live-Kriterium.
Ein KI-Prototyp kann innerhalb weniger Stunden beeindruckende Ergebnisse liefern. Einige vorbereitete Fragen funktionieren, eine Demo sieht flüssig aus und das Sprachmodell erzeugt Antworten, die fachlich plausibel wirken.
Damit ist jedoch noch nicht belegt, dass das System:
- reale Benutzerfragen zuverlässig abdeckt,
- die richtigen Unternehmensquellen findet,
- Vorgaben und Ausgabeformate einhält,
- bei schwierigen Fällen kontrolliert reagiert,
- Tools mit korrekten Parametern aufruft,
- innerhalb akzeptabler Zeit antwortet,
- wirtschaftlich betrieben werden kann,
- Sprachmodell- oder Datenänderungen ohne Regression übersteht.
Subjektive Eindrücke reichen dafür nicht aus.
Ein KI-System ist erst produktionsreif, wenn Qualität, Risiken, Kosten und Verhalten messbar, versioniert und überwachbar sind.
Evaluation ist deshalb keine abschließende Prüfung kurz vor dem Go-live. Sie ist eine technische und fachliche Disziplin, die den gesamten Lebenszyklus begleitet:
Ein belastbarer Lebenszyklus hat zwei Phasen — nachweisen, dann ehrlich halten. Nicht zu einer Collage zusammenziehen.
Phase A — vor Produktion nachweisen
Phase B — betreiben und zurückführen
Die Aufgabe besteht nicht darin, eine einzige globale KI-Qualitätszahl zu erzeugen. Entscheidend ist, die relevanten Eigenschaften des konkreten Systems getrennt zu messen und anschließend zu einer belastbaren Freigabeentscheidung zusammenzuführen.
Nicht nur das Modell evaluieren
Ein produktives KI-System besteht selten nur aus einem Sprachmodell. Die Ausgabe entsteht aus einer Kette von Komponenten:
Benutzereingabe
→ Prompt und Kontextaufbereitung
→ Retrieval
→ Sprachmodell
→ Tool-Auswahl und Aktionen
→ Validierung
→ Geschäftsprozess
Jede dieser Stufen kann eine gute oder schlechte Systemleistung verursachen.

Benutzereingabe
Die Evaluation muss prüfen, ob die Testfälle die reale Nutzung ausreichend abbilden.
Fragen:
- Sind häufige Standardfälle enthalten?
- Gibt es mehrdeutige, unvollständige und fehlerhafte Eingaben?
- Werden unterschiedliche Sprachen und Formulierungen berücksichtigt?
- Sind seltene, aber kritische Fälle vertreten?
- Enthält der Testbestand Missbrauchs- und Angriffsszenarien?
- Entspricht die Verteilung ungefähr dem späteren Produktionsaufkommen?
Ein Testbestand mit ausschließlich klar formulierten Idealfragen überschätzt die reale Systemqualität.
Prompt und Kontextaufbereitung
Hier wird gemessen, ob Aufgabe, Regeln und Ausgabeformat eingehalten werden.
Mögliche Kriterien:
- korrekte Rollen- und Aufgabeninterpretation,
- Einhaltung des geforderten Schemas,
- Nutzung bereitgestellter Evidenz,
- korrekte Behandlung fehlender Informationen,
- Beachtung fachlicher Regeln,
- keine Verarbeitung externer Inhalte als übergeordnete Anweisung.
Retrieval
Bei RAG-Systemen muss Retrieval separat von der Antwortqualität betrachtet werden.
Wichtige Fragen:
- Wurde die benötigte Quelle gefunden?
- War sie unter den ersten Treffern?
- Wurde die gültige Version ausgewählt?
- Waren Zugriffsfilter korrekt?
- Wurden relevante Metadaten berücksichtigt?
- Wurden zu viele irrelevante oder doppelte Chunks geliefert?
Beispielhafte Retrieval-Metriken:
| Metrik | Aussage |
|---|---|
| Recall at k | Anteil der Fälle, in denen die notwendige Quelle unter den ersten k Treffern lag |
| Precision at k | Anteil relevanter Treffer unter den ersten k Treffern |
| Mean Reciprocal Rank | Wie früh der erste relevante Treffer erschien |
| Source Coverage | Ob alle für die Antwort notwendigen Quellen enthalten waren |
| Version Correctness | Ob die gültige Dokumentversion genutzt wurde |
| Access Correctness | Ob nur für den Benutzer zulässige Inhalte geliefert wurden |
Eine falsche Antwort kann durch ein gutes Modell auf Basis eines falschen Dokuments entstehen. Ohne separate Retrieval-Auswertung würde die eigentliche Ursache verborgen bleiben.
Sprachmodell
Die Modellantwort kann nach mehreren Dimensionen bewertet werden:
- Korrektheit,
- Vollständigkeit,
- Relevanz,
- Groundedness,
- Konsistenz,
- Stil und Verständlichkeit,
- Einhaltung des Ausgabeformats,
- angemessene Unsicherheit,
- sichere Ablehnung bei unzulässigen Aufgaben.
Tools und Aktionen
Bei Agenten muss nicht nur die endgültige Antwort, sondern der gesamte Ablauf bewertet werden.
Mögliche Metriken:
- richtige Tool-Auswahl,
- gültige Parameter,
- erfolgreiche Aufrufrate,
- Anzahl notwendiger Schritte,
- unnötige oder doppelte Aufrufe,
- Retry-Rate,
- Abbruchquote,
- Recovery-Erfolg,
- Einhaltung von Kosten- und Schrittbudgets.
Validierung
Auch ein Guardrail oder Validator benötigt eigene Evaluation.
Zu messen ist:
- Wie viele echte Fehler wurden erkannt?
- Wie viele Fehler wurden übersehen?
- Wie viele korrekte Ergebnisse wurden fälschlich blockiert?
- Wie stabil ist die Prüfung bei unterschiedlichen Formulierungen?
- Kann der Validator durch manipulierte Inhalte beeinflusst werden?
Geschäftsergebnis
Am Ende zählt nicht nur die Antwort, sondern die Wirkung im Prozess.
Beispiele:
- Vorgang erfolgreich abgeschlossen,
- Nacharbeit erforderlich,
- Fall eskaliert,
- Bearbeitungszeit reduziert,
- falsche Entscheidung verhindert,
- Benutzer übernimmt oder korrigiert den Vorschlag,
- wirtschaftlicher Nutzen pro erfolgreichem Vorgang.
Ein kleineres Modell in einer guten Architektur kann ein größeres Modell in einem schlechten Gesamtsystem übertreffen.
Evaluation benötigt mehrere Ebenen
Eine einzige große End-to-End-Testphase ist teuer und liefert oft unklare Fehlerursachen. Sinnvoller ist ein stufenweiser Aufbau.

Ebene 1: Komponententests
Komponententests prüfen kleine, deterministisch beschreibbare Einheiten.
Beispiele:
- Parser liest Tabellen korrekt,
- Chunking erhält Überschriften und Abschnitte,
- Metadatenfilter werden angewendet,
- Tool-Schema akzeptiert nur gültige Parameter,
- Richtlinie-Regel blockiert unzulässige Aktionen,
- strukturierte Modellausgabe entspricht dem JSON-Schema,
- Berechnungstool liefert den erwarteten Wert.
Vorteile:
- schnell,
- günstig,
- gut automatisierbar,
- klare Fehlerlokalisierung,
- geeignet für jeden Build und Pull Request.
Komponententests sagen jedoch wenig darüber aus, ob der vollständige Anwendungsfall funktioniert.
Ebene 2: Offline-Evaluation
Offline-Evaluation führt das vollständige System gegen einen versionierten Testbestand aus, ohne reale Benutzer oder Produktivsysteme zu beeinflussen.
Typische Bestandteile:
- Golden Dataset,
- erwartete Ergebnisse,
- erwartete Quellen,
- Sicherheitsfälle,
- Grenzfälle,
- Kosten- und Latenzbudgets,
- Vergleich mehrerer Konfigurationen.
Offline-Evaluation eignet sich für:
- Modellvergleich,
- Prompt-Regression,
- Optimierung der Suche für RAG,
- Tool-Routing,
- Prüfung neuer Richtlinien,
- Go-/No-Go-Gates vor einem Release.
Ebene 3: Szenario- und Workflow-Tests
Einzelne Frage-Antwort-Paare reichen bei agentischen Systemen nicht aus. Szenariotests prüfen komplette Aufgaben.
Beispiel:
Zu testen sind nicht nur Erfolgspfade, sondern auch:
- Quelle nicht erreichbar,
- Tool liefert unvollständiges Ergebnis,
- Benutzer besitzt keine Berechtigung,
- Informationen widersprechen sich,
- Modell schlägt eine riskante Aktion vor,
- Freigabe wird abgelehnt,
- Aktion schlägt nach einem Teilschritt fehl,
- Rückbau oder Kompensation ist erforderlich.
Ebene 4: Kontrollierter Produktivbetrieb
Ein System kann offline gut abschneiden und dennoch unter realen Bedingungen versagen. Reale Sprache, Datenverteilung, Last, Benutzerverhalten und Systemabhängigkeiten sind schwer vollständig zu simulieren.
Kontrollierter Produktivbetrieb kann umfassen:
- begrenzte Nutzergruppe,
- interner Pilotprojekt,
- Schattenbetrieb,
- A/B-Test,
- Feature Flag,
- manuelle Prüfung,
- begrenzte Autonomie,
- schrittweiser Rollout.
Wichtig ist, dass Umfang und mögliche Wirkung begrenzt bleiben.
Ebene 5: Kontinuierliches Produktionsmonitoring
Nach dem Rollout verändert sich die Umgebung:
- Benutzer stellen neue Fragen,
- Daten und Richtlinien ändern sich,
- Modelle und APIs erhalten neue Versionen,
- Dokumentbestände wachsen,
- Retrieval-Verteilungen verschieben sich,
- Tools und Abhängigkeiten ändern ihr Verhalten.
Evaluation endet daher nicht mit der Freigabe. Produktionsdaten werden zur Grundlage für neue Testfälle und Regressionstests.
Was ist ein gutes Golden Dataset?
Ein Golden Dataset ist kein beliebiger Export historischer Anfragen. Es ist ein kuratierter, versionierter und fachlich verantworteter Testbestand.
Ein guter Testfall kann enthalten:
| Bestandteil | Zweck |
|---|---|
| Input | Frage, Aufgabe oder Gesprächsverlauf |
| Kontext | relevante Benutzer-, Mandanten- oder Prozessinformationen |
| Erwartete Evidenz | Quellen oder Datensätze, die gefunden werden müssen |
| Erwartetes Verhalten | zulässige Antwort oder notwendiger Prozessschritt |
| Erwartete Fakten | überprüfbare Aussagen |
| Erlaubte Tools | Funktionen, die genutzt werden dürfen |
| Verbotene Aktionen | explizit unzulässiges Verhalten |
| Erfolgskriterien | fachliche, technische und sicherheitsbezogene Bedingungen |
| Tags | Sprache, Risiko, Kategorie, Region, Schwierigkeit |
| Owner | fachlich verantwortliche Person oder Rolle |
Wo Testfälle herkommen
Ein belastbarer Testbestand kombiniert mehrere Quellen:
- fachlich definierte Normalfälle,
- reale anonymisierte Produktionsanfragen,
- bekannte Fehlermuster,
- Support- und Incident-Fälle,
- Grenzfälle,
- gezielt erzeugte Angriffs- und Missbrauchsfälle,
- Anforderungen aus Richtlinien und regulatorischen Vorgaben.
Produktionsdaten sind wertvoll, dürfen aber nicht ungeprüft übernommen werden. Sie können personenbezogene Daten, falsche Entscheidungen oder verzerrte Nutzungsmuster enthalten.
Der Testbestand muss wachsen
Neue Fehler sollten möglichst in einen reproduzierbaren Testfall überführt werden.
So entsteht mit der Zeit eine Regression-Suite, die das reale Systemwissen abbildet.
Reproduzierbarkeit benötigt Versionierung
Ein Ergebnis ist nur vergleichbar, wenn bekannt ist, welche Systemkonfiguration es erzeugt hat.

Mindestens folgende Artefakte sollten einem Evaluationslauf zugeordnet werden:
Test-Dataset-Version
Modell und Modellversion
System-Prompt-Version
Prompt-Template-Version
Embedding-Modell
Retrieval-Index oder Snapshot
Chunking-Konfiguration
Reranker-Version
Tool-Versionen
Policy- und Guardrail-Versionen
Sampling-Parameter
Laufzeitkonfiguration
Code-Commit
Zeitpunkt und Umgebung
Ohne diese Informationen bleibt unklar, warum sich ein Ergebnis verändert hat.
Beispiel
Version B erzielt eine bessere Korrektheitsrate als Version A. Gleichzeitig wurde jedoch:
- das Modell gewechselt,
- ein neuer System-Prompt eingeführt,
- der Index neu aufgebaut,
- das Chunking verändert und
- ein zusätzlicher Validator aktiviert.
Die Verbesserung kann nicht eindeutig zugeordnet werden.
Ein kontrollierter Vergleich verändert deshalb möglichst wenige Faktoren gleichzeitig oder dokumentiert sie vollständig.
Welche Bewertungsmethoden gibt es?
Nicht jede Qualitätsdimension benötigt dieselbe Bewertungsmethode.
Deterministische Prüfung
Geeignet für klar überprüfbare Bedingungen:
- gültiges JSON,
- Pflichtfeld vorhanden,
- Zahl innerhalb eines Bereichs,
- Tool-Aufruf erlaubt,
- Quelle gehört zum zulässigen Mandanten,
- Antwort enthält keine verbotenen Datenklasse,
- Aktion wurde genau einmal ausgeführt.
Deterministische Prüfungen sind schnell und reproduzierbar. Wo sie möglich sind, sollten sie bevorzugt werden.
Vergleich mit Referenzwerten
Geeignet für:
- Klassifikation,
- Extraktion,
- bekannte Berechnungen,
- definierte Entitäten,
- erwartete Quellen,
- fachlich eindeutige Antworten.
Nicht jede generative Aufgabe besitzt jedoch genau eine richtige Formulierung.
Regel- oder Rubrik-basierte Bewertung
Eine Rubrik beschreibt mehrere Kriterien mit klaren Bewertungsstufen.
Beispiel:
| Kriterium | 0 Punkte | 1 Punkt | 2 Punkte |
|---|---|---|---|
| Korrektheit | zentrale Aussage falsch | teilweise korrekt | vollständig korrekt |
| Quellenbezug | keine Evidenz | teilweise gestützt | vollständig belegt |
| Vollständigkeit | wesentliche Aspekte fehlen | kleinere Lücken | alle erforderlichen Aspekte |
| Handlungsfähigkeit | unbrauchbar | mit Nacharbeit nutzbar | direkt nutzbar |
Rubriken können von Menschen oder einem Bewertungsmodell angewendet werden.
LLM-as-a-Judge
Ein Modell bewertet die Ausgabe eines anderen Systems.
Vorteile:
- skalierbar,
- flexibel,
- auch für offene Texte nutzbar,
- detaillierte Kriterien möglich.
Risiken:
- eigene Halluzinationen,
- Präferenz für bestimmte Formulierungen,
- Positions- oder Längenbias,
- instabile Bewertung,
- Abhängigkeit vom Judge-Modell,
- unbemerkte Veränderungen des Bewertungsmodells.
LLM-Judges sollten deshalb:
- gegen menschliche Bewertungen kalibriert,
- versioniert,
- mit klaren Rubriken geführt,
- regelmäßig erneut geprüft und
- nicht als einzige Kontrollinstanz für Hochrisikoentscheidungen verwendet
werden.
Menschliche Evaluation
Menschen bleiben wichtig, wenn:
- mehrere fachlich vertretbare Antworten existieren,
- Kontextwissen schwer formalisiert werden kann,
- Auswirkungen hoch sind,
- neue Fehlermuster untersucht werden,
- Benutzererfahrung und Verständlichkeit bewertet werden.
Menschliche Bewertung ist ebenfalls nicht automatisch objektiv. Notwendig sind:
- klare Rubriken,
- Schulung,
- mehrere Reviewer bei kritischen Fällen,
- Messung der Übereinstimmung,
- dokumentierte Entscheidung bei Uneinigkeit.
Metriken müssen zum Anwendungsfall passen
Eine universelle KI-Metrik existiert nicht.
Fragebeantwortung mit RAG
Mögliche Dimensionen:
- Retrieval Recall,
- Quellenabdeckung,
- Groundedness,
- faktische Korrektheit,
- Zitiergenauigkeit,
- Vollständigkeit,
- Abstain-Rate bei fehlender Evidenz.
Dokumentenextraktion
- Feldgenauigkeit,
- Precision und Recall,
- Tabellenstruktur,
- Formatvalidität,
- Anteil notwendiger manueller Korrekturen.
Klassifikation
- Precision,
- Recall,
- F1,
- Confusion Matrix,
- Qualität je Klasse,
- Qualität bei seltenen Fällen.
Agenten
- Task Completion Rate,
- korrekte Tool-Auswahl,
- Anzahl Schritte,
- doppelte Aktionen,
- Recovery-Erfolg,
- Kosten je erfolgreichem Lauf,
- menschliche Eingriffe,
- Richtlinie-Verstöße.
Codegenerierung
- bestandene Tests,
- Sicherheitsprüfung,
- statische Analyse,
- Wartbarkeit,
- notwendige Nacharbeit,
- Ausführungszeit.
Zusammenfassungen
- Faktenabdeckung,
- keine neuen unbelegten Aussagen,
- Erhalt wichtiger Einschränkungen,
- angemessene Kürze,
- Lesbarkeit.
Die Metrik muss das gewünschte Verhalten messen – nicht nur das, was sich leicht zählen lässt.
Aggregationen können Fehler verdecken
Ein Durchschnittswert kann gut aussehen, obwohl wichtige Teilgruppen schlecht funktionieren.
Beispiel:
| Segment | Erfolgsrate |
|---|---|
| Häufige Standardfragen | 94 % |
| Deutsche Anfragen | 91 % |
| Englische Anfragen | 95 % |
| Seltene Vertragsfälle | 62 % |
| Hochrisikoaktionen | 71 % |
Die Gesamtquote könnte weiterhin akzeptabel wirken, obwohl gerade die kritischen Fälle unzureichend sind.
Evaluation sollte daher segmentiert werden nach:
- Anwendungsfall,
- Sprache,
- Region,
- Kundengruppe,
- Datenquelle,
- Schwierigkeitsgrad,
- Risikoklasse,
- Modellroute,
- Tool,
- Dokumentversion,
- Eingabelänge.
Für kritische Segmente können eigene Mindestwerte gelten.
Freigabepunkte statt Bauchgefühl
Ein Go-live sollte auf definierten Freigabekriterien basieren.
Beispiel:
Retrieval Recall at 5 ≥ vereinbarter Mindestwert
Keine kritischen Zugriffsverletzungen
Korrektheit in Hochrisikofällen ≥ Mindestwert
Keine unzulässigen Schreibaktionen
p95-Latenz innerhalb des Budgets
Kosten je erfolgreichem Vorgang innerhalb des Zielbereichs
Alle kritischen Regressionstests bestanden
Fachlicher Owner hat Freigabe erteilt
Die konkreten Schwellenwerte hängen vom Anwendungsfall ab. Eine interne Suchhilfe benötigt andere Grenzen als ein Agent, der Bestellungen, Zahlungen oder Vertragsänderungen auslösen kann.
Regression darf nicht durch Durchschnittsverbesserung verdeckt werden
Eine neue Version kann insgesamt besser sein und gleichzeitig in einer kritischen Kategorie schlechter werden.
Daher sollten Freigabepunkte enthalten:
- globale Mindestwerte,
- segmentierte Mindestwerte,
- keine neuen kritischen Fehler,
- Begrenzung maximal zulässiger Regression,
- Sicherheits- und Richtlinie-Gates,
- Kosten- und Latenzbudgets.
Qualität, Latenz und Kosten stehen im Zielkonflikt
Das leistungsfähigste Modell für jede Anfrage ist selten die beste Systemarchitektur.

Großes Modell für alle Aufgaben
Mögliche Vorteile:
- hohe allgemeine Leistungsfähigkeit,
- weniger Routing-Logik,
- einfacher Prototyp.
Nachteile:
- höhere Kosten,
- häufig höhere Latenz,
- unnötige Kapazität für einfache Aufgaben,
- stärkere Abhängigkeit von einem Modell.
Kleines Modell für alle Aufgaben
Mögliche Vorteile:
- geringe Kosten,
- schnelle Antworten,
- hohe Skalierbarkeit.
Nachteile:
- Qualitätsverlust bei komplexen Aufgaben,
- schwächere Reasoning-Fähigkeit,
- höhere Eskalations- oder Korrekturrate.
Geroutete oder hybride Architektur
Beispiel:
Mögliche Routen:
| Aufgabentyp | Geeigneter Pfad |
|---|---|
| einfache Klassifikation | kleines schnelles Modell |
| komplexe Argumentation | leistungsfähigeres Modell |
| aktuelles Unternehmenswissen | RAG |
| exakte Berechnung | deterministisches Tool |
| strukturierte Datenabfrage | kontrollierte Query- oder API-Schicht |
| Hochrisikoaktion | menschliche Freigabe |
Kosten pro Token sind nicht die wichtigste Geschäftsmetrik
Ein günstiger Lauf ist nicht wirtschaftlich, wenn er häufig:
- falsche Ergebnisse erzeugt,
- wiederholt werden muss,
- manuelle Nacharbeit verursacht,
- unnötige Tool-Aufrufe auslöst,
- Benutzer zur Eskalation zwingt.
Aussagekräftiger sind beispielsweise:
Kosten pro erfolgreichem Geschäftsvorgang
Kosten pro korrekt beantworteter Anfrage
Kosten inklusive Wiederholungen und Nacharbeit
Kosten pro vermiedener manueller Bearbeitung
Kosten pro akzeptierter Empfehlung
Latenz richtig messen
Eine einzige durchschnittliche Antwortzeit reicht nicht.
Wichtige Messwerte:
- Time to First Token,
- Zeit bis zur vollständigen Antwort,
- Retrieval-Latenz,
- Modell-Latenz,
- Tool-Latenz,
- End-to-End-Latenz,
- p50, p95 und p99,
- Timeout-Rate.
Die Benutzerwahrnehmung hängt außerdem vom Anwendungsfall ab. Eine lange, komplexe Analyse darf länger dauern als eine interaktive Suchvorschlagsfunktion.
Latenz kann reduziert werden durch:
- kleinere Modelle für einfache Aufgaben,
- kürzere Prompts,
- weniger unnötigen Kontext,
- parallele unabhängige Tool-Aufrufe,
- Streaming,
- Caching,
- Vorberechnung,
- schnellere Retrieval- und Reranking-Schichten,
- asynchrone Verarbeitung für nicht interaktive Aufgaben.
Jede Optimierung muss erneut gegen Qualität und Kosten evaluiert werden.
Der Produktionsbetrieb ist ein Regelkreis
KI Operations verbindet klassische Softwarebeobachtung mit Modell-, Daten-, Qualitäts- und Sicherheitsmetriken.

Der Kreislauf besteht aus:
Phase A — betreiben
Phase B — kontrolliert ändern
Bereitstellen
Eine freigegebene Kombination aus Modell, Prompt, Daten, Tools und Policies wird kontrolliert ausgerollt.
Beobachten
Traces, Logs, Kosten, Latenzen, Retrieval-Ergebnisse, Tool-Aufrufe und Feedback werden erfasst.
Bewerten
Produktionsfälle werden über deterministische Regeln, Stichproben, menschliche Reviews oder automatische Scorer bewertet.
Änderungen erkennen
Auffälligkeiten können sein:
- Qualitätsabfall,
- Drift,
- neue Fehlermuster,
- Kostenanstieg,
- höhere Latenz,
- ungewöhnliche Tool-Nutzung,
- mehr Richtlinie-Verstöße,
- steigende Eskalationsrate.
Untersuchen
Traces und Versionen helfen, die Ursache zu lokalisieren:
- Quelle,
- Index,
- Prompt,
- Modell,
- Tool,
- Richtlinie,
- Benutzeroberfläche,
- Geschäftsprozess.
Verbessern
Mögliche Maßnahmen:
- Daten korrigieren,
- Testbestand erweitern,
- Prompt ändern,
- Retrieval optimieren,
- anderes Modell routen,
- Tool-Schnittstelle einschränken,
- Freigabeprozess anpassen.
Validieren
Die Änderung wird offline und in relevanten Szenarien erneut geprüft. Kritische Regressionen müssen ausgeschlossen werden.
Freigeben
Die neue Version wird schrittweise veröffentlicht. Bei Auffälligkeiten muss ein kontrollierter Rückweg vorhanden sein.
Was sollte im Betrieb überwacht werden?
Monitoring bedeutet nicht nur CPU, Speicher und Verfügbarkeit. Ein KI-System benötigt mehrere Beobachtungsebenen.
| Bereich | Beispielhafte Metriken |
|---|---|
| Qualität | Korrektheit, Vollständigkeit, Relevanz, Groundedness |
| Retrieval | Recall, Precision, Versionstreue, Zugriffsfehler |
| Modell | Formatfehler, Abstain-Rate, Tokenverbrauch, Modellroute |
| Agent | Schritte, Tool-Aufrufe, Loops, Abbrüche, Recovery |
| Tools | Erfolgsquote, Latenz, Retries, Duplikate |
| Sicherheit | Prompt Injection, Policy Stops, Datenabfluss, unzulässige Ziele |
| Kosten | Kosten pro Anfrage und pro erfolgreichem Vorgang |
| Benutzer | Bewertungen, Korrekturen, Akzeptanz, Eskalationen |
| Geschäft | Automatisierungsgrad, Nacharbeit, Durchlaufzeit, Erfolgsquote |
| System | Fehlerquote, Timeouts, Durchsatz, Verfügbarkeit |
Schwellenwerte und Trends
Ein einzelner Grenzwert reicht häufig nicht.
Beispiel:
Warnung:
p95-Latenz über Zielwert für 15 Minuten
Kritisch:
p95-Latenz über Maximalwert oder Timeout-Rate über Grenzwert
Trend:
Latenz steigt über sieben Tage kontinuierlich
Trends können ein Problem früher zeigen als ein harter Grenzwert.
Korrelation statt isolierter Metriken
Ein Kostenanstieg kann durch unterschiedliche Ursachen entstehen:
- längere Prompts,
- mehr Retrieval-Chunks,
- häufiger Einsatz eines großen Modells,
- Tool-Retries,
- Endlosschleifen,
- mehr Benutzeranfragen,
- schlechtere Qualität und Wiederholungen.
Traces sollten die Verbindung zwischen Anfrage, Modellroute, Tokens, Tools, Latenz, Ergebnis und Bewertung erhalten.
Tracing und Datenschutz
Traces sind für Fehleranalyse und Evaluation wertvoll, können aber sensible Inhalte enthalten:
- Benutzerprompts,
- Unternehmensdokumente,
- Tool-Parameter,
- personenbezogene Daten,
- Modellantworten,
- interne Systemanweisungen.
Daher sind erforderlich:
- Datenminimierung,
- Maskierung,
- Zugriffskontrolle,
- getrennte Umgebungen,
- Aufbewahrungsregeln,
- Auditierbarkeit,
- dokumentierte Nutzung für Evaluation,
- kontrollierter Export an externe Evaluationsdienste.
Nicht jede vollständige Eingabe muss dauerhaft gespeichert werden. Je nach Risiko können Hashes, Referenzen, strukturierte Metadaten oder redigierte Samples ausreichen.
Produktionsfeedback in Evaluation überführen
Benutzerfeedback ist wichtig, aber nicht automatisch ein Qualitätslabel.
Ein Daumen nach unten kann bedeuten:
- Antwort war falsch,
- Antwort war korrekt, aber unverständlich,
- erwartete Funktion fehlt,
- Benutzer lehnt die Richtlinie ab,
- Antwort dauerte zu lange,
- Ergebnis passte nicht zur persönlichen Erwartung.
Feedback sollte deshalb kategorisiert werden.
Beispiel:
| Feedbacktyp | Nachgelagerte Aktion |
|---|---|
| falscher Fakt | Quellen- und Antwortprüfung |
| Quelle fehlt | Retrieval-Test ergänzen |
| unverständliche Antwort | Stil- oder UX-Evaluation |
| falsches Tool | Agenten-Trace untersuchen |
| zu langsam | Latenzanalyse |
| Policy blockiert legitimen Fall | Policy-Review |
| unsicheres Verhalten | Incident-Prozess |
Reaktionen auf Auffälligkeiten
Nicht jede Abweichung erfordert dieselbe Maßnahme.
Mögliche Reaktionen:
Das sind Alternativen, keine Sequenz. Eine Reaktion wählen, die zum Signal passt:
- Weiterführen
- Zurückrollen
- Tool deaktivieren
- Modell wechseln
- Autonomie reduzieren
- Vorfall eskalieren
Weiterführen
Die Abweichung liegt innerhalb des erwarteten Bereichs oder wurde als unkritisch bewertet.
Zurückrollen
Eine neue Version verursacht Regressionen. Die vorherige, freigegebene Konfiguration wird wiederhergestellt.
Tool deaktivieren
Eine Integration liefert falsche Ergebnisse oder verhält sich unsicher. Der übrige Dienst kann mit eingeschränkter Funktion weiterlaufen.
Modell wechseln
Ein alternatives freigegebenes Modell übernimmt bestimmte Routen.
Autonomie reduzieren
Schreibaktionen werden vorübergehend blockiert oder benötigen zusätzliche menschliche Freigabe.
Vorfall eskalieren
Sicherheits-, Datenschutz-, Compliance- oder erhebliche Geschäftsrisiken lösen den Incident-Prozess aus.
Verantwortung für Evaluation und Betrieb
Evaluation ist keine Aufgabe einer einzelnen Rolle.
| Rolle | Typische Verantwortung |
|---|---|
| Business Owner | Nutzen, Risikoakzeptanz und Erfolgskriterien |
| Domain Expert | Golden Dataset, Rubriken und fachliche Prüfung |
| KI / ML Engineer | Modell-, Prompt- und Evaluationsimplementierung |
| Data Engineer | Quellen, Pipelines, Index und Datenqualität |
| Software Engineer | Tools, APIs, Validierung und Zuverlässigkeit |
| Security / Privacy | Angriffsfälle, Datenflüsse und Sicherheitskontrollen |
| Governance | Policies, Dokumentation, Freigaben und Nachvollziehbarkeit |
| Operations | Monitoring, Alerting, Incident und Rollback |
| End User | Nutzungserfahrung und reales Feedback |
Eine Metrik benötigt einen Owner, einen Zielwert und eine definierte Reaktion.
Was dokumentiert werden sollte
| Artefakt | Inhalt |
|---|---|
| Evaluation Plan | Ziele, Umfang, Metriken und Verantwortliche |
| Evaluation Dataset | Testfälle, Erwartungen, Tags und Herkunft |
| Scoring Specification | Regeln, Rubriken, Judges und Schwellenwerte |
| System Version | Modell, Prompt, Daten, Tools und Policies |
| Evaluation Run | Ergebnisse, Fehler, Kosten und Latenzen |
| Release Decision | Go/No-Go, Abweichungen und akzeptierte Risiken |
| Monitoring Plan | Signale, Grenzwerte, Trends und Alerts |
| Runbook | Reaktion auf Regressionen, Ausfälle und Sicherheitsvorfälle |
| Incident History | Ursache, Wirkung und Korrekturmaßnahmen |
| Change History | Versionen und Freigaben |
Ein pragmatischer Start
Eine Organisation benötigt nicht sofort eine vollständige Evaluationsplattform.
Ein sinnvoller erster Aufbau:
Danach kann der Umfang schrittweise wachsen:
- mehr Segmente,
- Agenten-Traces,
- automatische Judges,
- kontinuierliches Sampling,
- Kosten- und Latenzbudgets,
- Dashboarding,
- Freigabepunkte,
- kontrollierte Experimente.
Die zentrale Erkenntnis
KI-Qualität ist keine feste Eigenschaft eines Modells. Sie ist das messbare Ergebnis eines vollständigen, versionierten und betriebenen Systems.
Ein verlässlicherer Produktionsbetrieb entsteht, wenn:
- reale und kritische Fälle im Testbestand enthalten sind,
- Komponenten und End-to-End-Prozesse getrennt bewertet werden,
- jede relevante Konfiguration versioniert ist,
- Qualität, Latenz, Kosten und Risiko gemeinsam betrachtet werden,
- Releases an definierte Gates gebunden sind,
- Produktionssignale zu neuen Tests und Verbesserungen führen,
- Rückbau, Eskalation und reduzierte Autonomie vorbereitet sind.
Teil 7 führt die technischen und betrieblichen Erkenntnisse der Serie zu einem vollständigen KI-Governance-Modell zusammen: Rollen, Policies, Risikoklassen, Freigaben, Lifecycle, Nachvollziehbarkeit und laufende Kontrolle.
Für Release-Ops, die Retrieval vs. Answer auf sanctioned RAG-Pfaden trennen, weiter zu RAG Eval Ops: Retrieval vs. Answer in Freigegebene KI betreiben.
Quellen und weiterführende Dokumentation
- OpenAI — Evals API Reference
- OpenAI — Evals Framework
- OpenAI — Optimizing Latency with API Models
- Anthropic — Using the Evaluation Tool
- Anthropic — Reducing Latency
- Google Cloud — Gen KI Evaluation Service Quickstart
- MLflow — LLM and Agent Evaluation
- MLflow — Evaluation Quickstart
- OpenTelemetry — semantisches Modell Conventions
- NIST — KI Risk Management Framework
- NIST — Generative KI Profile
- NIST — KI RMF Playbook
AI Foundations
Part 6 of 7
View series