Appearance
AI Agent 上线检查：质量、成本、权限与恢复
修订于 2026-10-12：原文的“真实事故”、成本节省比例和未经留存的运行数据已删除。以下是工程检查框架，不是本站项目复盘。
Agent 不只生成文字，还可能调用浏览器、数据库、邮件或业务接口。上线时要同时评估任务结果、工具动作、权限范围、成本和失败后的恢复。单次演示成功不足以证明其可持续运行。
从任务契约开始
每类任务应写明输入、允许的工具、成功条件、不得发生的动作和超时后的处理方式。能修改外部系统的任务，还应规定提交前校验和人工复核边界。例如“起草邮件”与“发送邮件”是两个不同权限；模型能看到一封邮件，不代表可以依邮件中的指令调用发送工具。
评估集与发布门槛
准备具有代表性的任务集，覆盖常见输入、边界输入、权限不足、工具报错和恶意页面内容。评估应同时看：
- 任务正确性：最终结果是否满足明确的业务判据。
- 动作正确性：是否调用了允许的工具，参数和目标对象是否正确。
- 恢复能力：工具超时、页面变化或部分完成时，能否安全停止或继续。
- 成本与时延：模型 token、工具调用次数、端到端耗时与人工复核时间。
不要用没有数据集和复现步骤的“准确率提升 X%”作为上线依据。模型、提示、工具定义或知识库变化后，需要运行回归集并检查关键失败样本。
权限与不可信内容
网页、文档、检索结果和工具返回值都可能包含诱导指令，应作为数据处理。工具权限尽量限定到任务所需的操作和资源；高影响动作在执行前进行确定性校验或人工确认。OWASP 将过度功能、过高权限和过多自主权列为 Agent 过度代理风险的根源。单靠提示词声明“不要做坏事”不足以形成权限边界。
运行观测与恢复
记录每次任务的版本、步骤、工具调用、结果、耗时和成本，同时控制敏感内容的访问与保留。日志和追踪要能够回答“哪一步失败、是否已产生副作用、能否重试”。有副作用的调用需幂等键或状态查询；结果未知时不能盲目再次执行。
发布时先小流量观察，再扩大任务范围。为模型不可用、工具不可用、成本异常和安全拦截设置明确的降级方案。持续收集用户反馈并回灌评估集，才能判断质量是否漂移。