很多 AI 项目靠几次演示来评判。有人试了五个问题，回答看起来不错，团队就继续往下做了。等真实用户带着没人试过的问题到来，质量才发现比预期差很多。之后，一次小小的提示词或模型调整可能悄悄让效果变差，却没人注意到。

解决办法很简单，也不需要数据科学家：建一套测试集，也叫评估集。它就是一份真实样例清单，并且写清楚什么样的结果才算好。下面讲讲怎么做。

什么是测试集

测试集就是一组输入，以及对应的预期结果：

  • 客服助手：真实的客户问题、正确答案，以及答案应该来自哪篇文档。
  • 文档提取：真实的发票，以及每个字段的正确数值。
  • 分类任务：真实的消息，以及正确的类别。

一开始用一张表格就够了。把样例交给 AI 处理，和预期结果对比，再记下得分。

第一步：收集真实样例

尽可能使用真实数据，并去掉个人信息。对试点项目来说，三五十个样例就是不错的起点，之后可以慢慢增加。

样例的构成要贴近真实情况：

  • 常见情况：占业务量大部分的问题
  • 困难情况：比如表达含糊、有错别字，或者一次问了好几个问题
  • 超出范围的情况：正确的反应是回答「不知道」或者转人工
  • 高风险情况：答错的代价很大

第二步：定义什么叫「好」

在看结果之前，先把标准写下来，免得之后忍不住去调整。对助手类产品，可以检查：

  • 答案正确吗？
  • 引用的出处对吗？
  • 该拒绝的时候拒绝了吗？
  • 语气可以接受吗？

评分尽量简单，比如每项标准只判通过或不通过。请懂业务的人来评判，最好让两个人同时评一部分样例，确认大家对「好」的理解是一致的。

第三步：运行测试，并认真看失败的样例

把全部样例跑一遍，算出通过率，但把大部分时间花在阅读失败的样例上。它们通常可以归为几类：

  • 内容缺失或者过时
  • 检索到了错误的文档
  • 给模型的指令不清楚
  • 本该转给人处理的问题

每一类都对应一个具体的修复方向，而修改内容往往是成本最低的。

第四步：决定什么水平算够好

没有通用的标准，门槛取决于出错的代价。起草回复、由人审核后发送的工具，通过率可以低于直接回答客户的工具。上线前就约定好门槛，并为高风险情况设定更严格的标准，这类样例可能要求每次都通过。

第五步：每次改动都跑一遍

这才是测试集真正发挥价值的地方。每次修改提示词、模型或内容时都跑一遍，并和上一次的结果对比。这样，「感觉变好了」就变成了证据，也能在用户发现之前抓住退步。

上线后持续维护

  • 把线上真实出现的失败案例加入测试集。
  • 定期抽查真实对话。
  • 关注用户的信号，比如点踩、转人工和重复提问。
  • 删掉已经不适用的样例，政策变化时更新预期答案。

示例：退货助手

一家网店在搭建退货助手时，可以收集 40 个真实问题，其中包括几个应该拒绝回答的问题，并为每个问题标注正确的政策文章。第一轮测试可能发现，大部分失败都来自一篇过时的文章。修正之后重新跑一遍，对比结果，再决定是否扩大试点。这只是一个示意性的例子，具体门槛取决于你们面临的风险。

总结

无法衡量，就无法改进。一小套真实样例、清晰的标准，再加上反复运行的习惯，比任何演示都更能说明问题。

如果你需要帮忙搭建测试集，或者想在上线前评估一个 AI 功能，可以看看我们的 AI 产品与智能体服务，或者给我们发邮件。