内部助手回答了一个差旅报销的问题,并注明“来源:财务手册”。审核人员打开手册,发现它有 42 页,共享盘里还有三个版本,也找不到明显相关的章节。十分钟后,他放弃了,直接相信了答案。
这条引用看起来像证据,实际上却无法核对。如果审核人员没法快速验证答案,他们要么不再检查,要么不再使用这个助手。
指向段落,而不是整份文档
有用的引用能把读者带到支持答案的那几句话。根据所用工具,可以是:
- 直接打开文档对应标题或页码的链接。
- 在答案旁显示的一小段原文摘录。
- 大家已经习惯使用的章节号或条款编号。
摘录要短。它的作用是让人确认答案,而不是替代原文。
写明用的是哪个版本
制度会变。要显示文档标题、最后更新日期和存放位置。如果助手能看到多个版本,应该引用经过批准的那一版,审核人员也要能看出是哪一版。
两份文档说法不一致时怎么处理,可参考知识库来源冲突指南。
每个观点对应自己的来源
答案包含多个要点时,只在末尾列一串来源很难核对。把来源附在它所支持的那句话或那一条后面。如果某个要点没有来源,应该一眼就能看出来,而不是混在有引用的内容里。
允许回答“没找到来源”
如果助手必须引用点什么,它有时就会引用不相关的内容。应允许它说明没有找到经过批准的来源,并把这类问题转给人工或负责相关内容的团队。这些空白很有价值:它们说明了缺哪些文档。
不只测答案,也要测引用
抽查输出时,检查每条引用是否真的支持它所附的那句话。答案正确但引用错段落的情况也要统计,因为这会让审核人员慢慢不再点开链接。把这类用例加入你的 AI 质量测试集。
审核人员的快速检查
对任何带引用的答案,审核人员应该能在一分钟内回答三个问题:
- 哪一段支持这句话?
- 这是当前经过批准的版本吗?
- 这段原文说的和答案一致吗?
只要有一个问题的答案是“看不出来”,就先改进引用格式,再扩大助手的使用范围。如需检查现有助手,欢迎联系 Storm Nova Labs。