Appearance
AI 评估框架：从任务样本到回归门槛
修订于 2026-10-12：原文中没有可复现数据集和运行记录的准确率、榜单分数及模型对比表已删除。本文介绍评估方法，不发布本站实测排名。
公开基准可以帮助了解模型的某一类能力，却无法直接回答“这个模型能否完成我们的业务流程”。评估框架要把真实任务转化为可重复的输入、判据和结果记录。生成式系统有输出波动，因此一次通过不能代替重复运行和失败样本分析。
先写任务与失败代价
为每类任务明确输入、期望输出、允许的工具动作和不可接受的错误。例如客服问答可分为事实正确、引用来源、语气和拒答边界；Agent 任务还要评估工具参数、执行对象、权限与副作用。高风险错误应单独统计，不能被总体平均分掩盖。
样本集怎么建
- 覆盖常见、边界、异常和对抗输入。
- 保留数据来源、采样日期、授权范围和隐私处理方式。
- 避免训练数据或提示样例泄漏进评估集。
- 对重要切片分别统计结果，例如语言、任务长度、数据新旧、工具失败。
- 从线上错误与人工反馈中补充样本，但要审查标签质量。
样本数量由任务多样性与置信要求决定，没有普遍适用的固定数量。
评分规则
能用确定性规则检查的字段，优先检查 JSON 结构、必填项、数值范围、引用链接和工具调用对象。语义质量可结合人工标注或模型评分，但需要校准评分者、抽样复核和记录分歧。对一个错误给出“总体 85%”不如指出“支付对象识别错误 3 例”有用。
每次运行至少记录模型版本、提示版本、工具版本、数据集版本、参数、时间、成本和逐条结果。对同一配置重复运行，观察波动；比较两版时保持数据与评分规则一致。公开基准的分数不应和内部任务分数混为一谈。
发布与回归
变更模型、提示、检索库或工具后，运行固定回归集，查看总体和关键切片。发布门槛应包括高风险错误上限、时延和成本边界。上线后继续采样，验证离线指标是否对应真实用户结果。评估集也要持续维护，防止过度针对旧样本优化。
OpenAI 的评估指南强调按具体任务定义成功标准与结构化测试；其产品接口可能更新，本文不绑定某一个评估平台。选择工具时重点检查数据格式、版本追踪、评分可解释性和导出能力。