内部助手回答了一个差旅报销的问题,并注明“来源:财务手册”。审核人员打开手册,发现它有 42 页,共享盘里还有三个版本,也找不到明显相关的章节。十分钟后,他放弃了,直接相信了答案。

这条引用看起来像证据,实际上却无法核对。如果审核人员没法快速验证答案,他们要么不再检查,要么不再使用这个助手。

指向段落,而不是整份文档

有用的引用能把读者带到支持答案的那几句话。根据所用工具,可以是:

  • 直接打开文档对应标题或页码的链接。
  • 在答案旁显示的一小段原文摘录。
  • 大家已经习惯使用的章节号或条款编号。

摘录要短。它的作用是让人确认答案,而不是替代原文。

写明用的是哪个版本

制度会变。要显示文档标题、最后更新日期和存放位置。如果助手能看到多个版本,应该引用经过批准的那一版,审核人员也要能看出是哪一版。

两份文档说法不一致时怎么处理,可参考知识库来源冲突指南。

每个观点对应自己的来源

答案包含多个要点时,只在末尾列一串来源很难核对。把来源附在它所支持的那句话或那一条后面。如果某个要点没有来源,应该一眼就能看出来,而不是混在有引用的内容里。

允许回答“没找到来源”

如果助手必须引用点什么,它有时就会引用不相关的内容。应允许它说明没有找到经过批准的来源,并把这类问题转给人工或负责相关内容的团队。这些空白很有价值:它们说明了缺哪些文档。

不只测答案,也要测引用

抽查输出时,检查每条引用是否真的支持它所附的那句话。答案正确但引用错段落的情况也要统计,因为这会让审核人员慢慢不再点开链接。把这类用例加入你的 AI 质量测试集。

审核人员的快速检查

对任何带引用的答案,审核人员应该能在一分钟内回答三个问题:

  1. 哪一段支持这句话?
  2. 这是当前经过批准的版本吗?
  3. 这段原文说的和答案一致吗?

只要有一个问题的答案是“看不出来”,就先改进引用格式,再扩大助手的使用范围。如需检查现有助手,欢迎联系 Storm Nova Labs。