Zum Inhalt springen
Search the hub
Nach Änderungen erneut prüfen

Nach Änderungen erneut prüfen

Ein bestandenes Eval-Gate gilt nur für den geprüften Umfang. Neue Tools, Daten, Umgebungen oder Identitäten öffnen die Prüfung wieder.

Category
Data Governance
Reading time
1 min
Published
Tags
ai-agents eval cadence tool-scopes operating-model
Download PDF

Teil 1 hat das Gate vor dem neuen Werkzeug beschrieben. Teil 2 hat gezeigt, wie Soll-Fälle und Missbrauchsfälle aussehen. Dieser Teil klärt, wann eine bestandene Prüfung wiederholt werden muss.

Der kurze Merksatz lautet: Ein bestandener Test ist keine Dauerlizenz. Er gilt für den Umfang, der tatsächlich geprüft wurde.

<- Vorheriger Teil

Einstieg

Der Support-Agent durfte nach erfolgreicher Prüfung eine Erstattung in der Support-Umgebung vorbereiten. Später soll dasselbe Werkzeug auch in Finance genutzt werden. Die technische Funktion sieht gleich aus, aber der Kontext ist ein anderer: andere Daten, andere Verantwortliche, andere Folgen.

Wenn das Team jetzt nur auf die alte Prüfung verweist, entsteht ein Governance-Fehler. Der Agent wurde nicht für "alles mit Erstattung" freigegeben. Er wurde für einen konkreten Pfad, ein konkretes Werkzeug und einen konkreten Umfang geprüft.

Begriffe vor dem Lesen

  • Scope: Der geprüfte Umfang, zum Beispiel Werkzeug, Datenbereich, Umgebung und Berechtigung.
  • Scope-Änderung: Eine relevante Erweiterung dieses Umfangs.
  • Identität: Das technische Konto oder die Rolle, mit der der Agent ein Werkzeug nutzt.
  • Umgebung: Der Systemkontext, zum Beispiel Support-Testsystem, Produktivsystem oder Finance-System.
  • Retest: Die erneute Prüfung mit den bestehenden Testfällen und ergänzten Fällen für die neue Fähigkeit.
  • Drift: Eine schleichende Veränderung, durch die ein ehemals sicherer Pfad heute anders reagiert.

Wann erneut geprüft wird

Eine erneute Prüfung ist nötig, wenn sich etwas ändert, das die Wirkung des Agenten verändern kann:

  • ein neues Werkzeug
  • ein weiterer Datenbereich
  • eine neue Umgebung
  • eine breitere Berechtigung
  • eine wiederverwendete technische Identität
  • ein größerer Modell-, Prompt- oder Regelwechsel
  • ein neuer fachlicher Zweck

Entscheidung

Der technische Betreiber darf eine Erweiterung nur freischalten, wenn eine aktuelle Gate-Zeile für genau diese Erweiterung existiert. Ein alter Pass darf nicht für einen neuen Umfang gedehnt werden.

Das bedeutet nicht, dass jedes Mal alles neu erfunden wird. Das bestehende Testpaket bleibt die Basis. Die alten Soll- und Missbrauchsfälle werden erneut ausgeführt. Für die neue Fähigkeit kommen passende Fälle hinzu. So bleibt die Prüfung leichtgewichtig, aber nachvollziehbar.

Auch ohne sichtbare Änderung sollte das Paket regelmäßig wiederholt werden. Das ist kein Workshop mit neuen Folien, sondern ein Wiederholungslauf: gleiche Kernfälle, neues Datum, neues Ergebnis.

Mini-Fall

Das Werkzeug "Erstattung anlegen" wurde für den Support getestet. Jetzt soll es im Finance-Bereich laufen, weil dort Reklamationen nachbearbeitet werden. Die Bot-Identität bekommt Zugriff auf andere Buchungsdaten.

Das ist eine Scope-Änderung. Der alte Support-Pass reicht nicht. Finance hat andere Risiken: Zahlungen können anders verbucht werden, andere Personen sehen die Ergebnisse, und Fehler können in den Monatsabschluss laufen.

Das Team wiederholt die vorhandenen Testfälle und ergänzt Finance-spezifische Fälle. Erst danach wird entschieden, ob die Allowlist erweitert wird.

Woran du schlechte Praxis erkennst

  • "Der Agent wurde schon evaluiert" ersetzt die konkrete Scope-Prüfung.
  • Eine technische Identität wird für ein neues Team erweitert, ohne erneute Entscheidung.
  • Ein Prompt- oder Modellwechsel wird nicht gegen die Werkzeugfälle getestet.
  • Monitoring in Produktion wird als Retest ausgegeben.
  • Der technische Betreiber bekommt kein klares "ja", "nein" oder "befristete Ausnahme".

Umsetzung im Alltag

Nutze den Plan nicht als starre Kalenderübung, sondern als Nachweis, wann eine Erweiterung wirklich geprüft wurde. Ein Eval-Pass ersetzt keine Laufzeitüberwachung oder Berechtigungsgrenze. Freigabe-, Eskalations-, Stopp- und erforderliche Rückfallwege bleiben im Betrieb verantwortlich zugeordnet und nutzbar.

Praktisch gehst du so vor:

  1. Notiere beim Agent-Pfad den aktuell geprüften Scope.
  2. Definiere, welche Änderungen das Gate wieder öffnen.
  3. Lasse bei jeder relevanten Änderung das Testpaket erneut laufen.
  4. Ergänze Testfälle nur dort, wo die neue Fähigkeit neue Risiken bringt.
  5. Halte Datum, Umfang, Ergebnis und Verantwortliche sichtbar fest.
  6. Lege ein Wiederholungsintervall fest, damit schleichende Veränderungen sichtbar werden.

Weiterlesen

Abschluss

Nach dieser Serie sollte ein Team drei Dinge sauber können: ein neues Agent-Tool vor der Freischaltung begrenzen, gute und schlechte Testfälle dokumentieren und die Prüfung bei relevanten Änderungen wiederholen.

<- Vorheriger Teil

Test before the next agent tool

Part 3 of 3

View series

Knowledge check

Tour