AI应用评测方法：业务样本、分层指标与回归检查

行业观察 · AI

先写出不可接受的失败

一个 AI 应用获得较高平均分，仍可能在少数关键任务上无法使用。评测开始时，应先列出业务不能接受的结果：遗漏必要条件、引用错误文件、输出不合法格式，或者未经授权执行操作。

这些问题的后果不同，不适合简单相加。语句不够自然可能只需要编辑，业务记录修改错误则需要立即停止执行。指标应保留这种差别，让团队知道哪些问题必须先解决。

完成标准还应描述正面结果。例如资料摘要需要保留关键限制并附上可核对来源，客服查询需要与业务系统状态一致。标准越接近实际交付，评测越不容易退化成对文风的偏好判断。

可以从已处理任务中整理样本，但应剔除不适合进入评测集的个人信息。每条样本保留任务背景、必要材料、期望行为和判定依据，避免只有一道问题和一个固定答案。

同一任务可以包含资料齐全、关键内容缺失、来源互相冲突等版本。优秀系统不一定在每个版本都给出答案，能够识别材料不足并提出恰当补充请求，也属于正确行为。

如果样本来自跨地区公开网页，还应固定或记录动态代理出口、浏览器语言和采集时间。纯净IP需通过来源、历史信誉与实际访问情况核验；网络条件变化造成的输入差异，不应直接算成模型能力退化。

格式、必填字段和链接结构可以交给程序检查，事实是否被证据支持则需要更细的核对。涉及专业政策或业务裁量时，应由有相应背景的人参与制定判定规则。

使用模型辅助评分时，需要抽样检查其判断是否稳定。评分模型可能偏爱某种措辞，也可能忽略隐藏在长答案中的错误。评分解释应能回到原始证据，而不是只返回一个分数。

对于存在多种正确表达的任务，可以评估关键事实与约束是否满足，不必要求逐字匹配参考答案。这样既保留开放性，也避免把“说得像参考答案”当成“确实解决了问题”。

提示词、知识库、模型版本和工具接口都可能改变结果。每次调整后，应运行一组固定回归样本，并标记新增失败。否则优化一个场景时，可能悄悄损害其他已经稳定的功能。

线上反馈应不断补充新的失败类型，但不能只把当前错误加入测试而忽略正常样本。一个有代表性的评测集，需要同时保留常见任务、复杂边界与关键风险场景。

评测报告最好回答三个问题：哪里变好了、哪里变差了、下一步该修哪一环。本文认为，评测的价值不在于产生漂亮的总分，而在于把业务失败转化为能够定位、讨论和验证的改进任务。