Erst prüfen, dann das Write-Tool
Ein Write-Tool ist kein Demo-Upgrade. Eval ist das Go/No-Go-Gate, bevor die Allowlist wächst — Startwahl ist ein Pfad, ein Tool.
Agent-Tool-Calling-Ops fährt HITL, Scopes und Rollback. AI-Assurance packt Fairness und FRIA. Diese Serie ist das Eval-Gate: Go oder No-Go, bevor das nächste Write-Tool auf die Allowlist kommt.
Diese Serie ersetzt kein Betriebs-/HITL. Sie schneidet Eval als Release-Entscheidung.
Die Serie Prüfen vor dem nächsten Agent-Tool gibt dir den Einstieg und den roten Faden für die folgenden Teile.
Ausgangslage
Support will, dass der Agent Tickets schließt und Erstattungen auslöst. Das Read-Tool „hat in der Demo funktioniert“. Niemand hat einen failing Trace, der den Write blockieren würde. Teams legen das Refund-Tool im Meeting auf und nennen das Wochenende den Test.
Diese Serie ist für dich, wenn ein Agent-Pfad schon läuft (oder kurz davor steht) und du vor dem nächsten Write-, Money- oder Identity-Tool pass oder block festhalten musst.
Nicht diese Serie, wenn du Betriebs-/HITL und Rollback designst — Agent & Tool-Calling Operations — oder Fairness / FRIA / Red-Team-Assurance packst — AI-Assurance betreiben.
Was diese Serie klärt
- Orientierung: Eval ist Go/No-Go vor dem nächsten Tool; Startwahl ist ein Pfad
- Tiefe: Golden Traces mit erwarteten Side Effects; Tool-Missbrauch; block / befristet ausnehmen / pass
- Abschluss: Retest, wenn sich Scopes ändern — kein einmaliger Workshop
Begriffe vor dem Lesen
- Eval-Prüfpunkt — festgehaltenes Pass, Block oder zeitlich begrenztes Waive bevor ein Umfang wächst.
- Write-Tool — Side-Effect-Stufe
write,money,identityoderexternal— Scopes. - Startwahl — ein Agent-Pfad, ein Kandidaten-Tool. Nicht das ganze Gateway.
- Golden Trace — fester Prompt plus erwartete Tool-Calls und Side Effects.
Lesepfad
zenz für einen Write. Eval ist eine Folie nach Go-live.
Lösung: Das Kandidaten-Tool benennen. Zuerst das Eval-Gate fahren. Kein Allowlist-Expand ohne Pass oder ausdrückliches, zeitlich begrenztes Waive.
In einem Satz: Erst prüfen, dann das Write-Tool — nicht nach der ersten Erstattung.
Entscheidung
- Startwahl. Ein Pfad, ein Kandidaten-Tool, ein Owner, der A für das Gate ist.
- Read ist keine Write-Lizenz. Ein funktionierender Q&A-Pfad besteht kein Refund-Tool.
- Gate vor Allowlist. Custodian darf den Scope nicht liefern, bis das Gate festgehalten ist.
- Betriebs-/HITL bleibt getrennt. HITL gilt nach Pass weiter — diese Serie ersetzt es nicht.
Szenario
Der Policy-Bot antwortet gut. Product legt create_refund nach, weil „der Agent sanctioned ist“. Es gibt keinen failing Trace, keine erwartete Side-Effect-Liste, keine Gate-Zeile. Das fehlende Artefakt ist das Eval-Gate für genau dieses eine Tool — Startwahl — kein neues Chat-Theme. Ein Wochenende „Slack beobachten“ ist das Gate nicht.
Anti-Patterns
- Demo-Erfolg als Write-Freigabe
- Drei Tools nachlegen, weil das Gateway sie kann
- Eval für das Quartal nach Go-live geplant
- verantwortliche Person, der A für den Prompt ist, nicht für das Prüfpunkt
- menschliche Freigabe das Eval nennen
Umsetzung im Alltag
Dieser Einstieg ist kein Kalenderzwang und keine Leseliste. Nimm einen echten Fall, an dem sich die Entscheidung prüfen lässt.
Arbeitsweise: Nutze den verlinkten Plan als Arbeitsfläche für Owner, Termine und offene Punkte. Die fachliche Entscheidung muss trotzdem in der Story verständlich bleiben.
Starte mit dem kleinsten Fall, der fachlich wichtig genug ist. Prüfe danach, ob die Entscheidung wirklich auffindbar, umsetzbar und auditierbar ist. Rollenklärung: Wer hilft wem an der Quelle.
- Die Startwahl treffen: ein Agent-Pfad, der ein Write-Tool will.
- Allowlist einfrieren; das Tool noch nicht nachlegen.
- Benennen, wer A für das Eval-Gate auf diesem Pfad ist.
- Die Go/No-Go-Frage schreiben: was muss bestehen, bevor dieses Tool ausgeliefert wird.
Nächster Schritt
Test before the next agent tool
Part 1 of 3
View series