上线 AI 功能和上线普通软件不一样。传统代码每次都做同样的事；AI 的输出会变化，可能自信地答错，甚至会被它读到的内容所操纵。这些都不是回避 AI 的理由，但都是上线时需要安全护栏的理由。

在 AI 功能交到真实用户手里之前，可以用这份清单逐项检查。不是每一项都适用于所有产品，但每一项都值得认真做个决定。

1. 答错或编造答案

AI 模型有时会给出听起来正确、实际上错误的回答，这通常被称为「幻觉」。

  • 尽量基于自有资料回答，并显示出处，方便用户核对。
  • 允许回答「不知道」。 要求系统在信息不足时如实说明，并测试它是否真的会这样做。
  • 按影响程度分级处理。 对价格、医疗、法律、财务等影响较大的输出，保留人工审核环节。
  • 清楚标注 AI 生成的内容，让用户知道什么时候需要再核实一下。

2. 隐私与敏感数据

  • 弄清楚数据流向哪里。 梳理哪些信息会发送给哪个模型服务商，并了解对方的数据保留和训练政策。
  • 只发送必要的数据。 去掉任务用不到的个人信息或机密数据。
  • 遵守权限。 AI 功能绝不能向用户展示他原本无权查看的信息。
  • 谨慎对待日志。 对话日志对改进很有价值，但可能包含敏感数据。要明确谁能查看、保存多久。

3. 提示注入与滥用

如果你的 AI 会读取来自用户、网页、邮件或文档的内容，这些内容里可能藏着专门用来劫持它的指令。这被称为「提示注入」。

  • 把外部内容当作数据，而不是指令。 在提示词和系统逻辑的设计上，确保 AI 读到的内容无法改变它的规则。
  • 限制 AI 能做的事。 如果它能执行操作，比如发邮件、修改记录或付款，只给它真正需要的权限。
  • 重要操作需要确认。 任何不可撤销的动作，都要先由人点击确认。
  • 用恶意输入做测试。 在别人攻破你的功能之前，先自己试着攻破它。

4. 有害或不符合品牌的输出

  • 明确哪些超出范围。 决定这个功能应该拒绝哪些话题，以及拒绝时怎么回应。
  • 在合适的场景使用内容审核，尤其是面向公众、允许自由输入的功能。
  • 统一语气。 确保回答符合品牌调性，不要做出公司无法兑现的承诺。

5. 稳定性与成本

  • 为服务中断做准备。 想好模型服务变慢或不可用时，用户会看到什么。
  • 设置上限。 用频率限制和费用提醒，防止成本失控和被滥用。
  • 关注响应速度。 回答太慢会让人觉得功能坏了。在合适的地方使用流式输出或显示进度。

6. 上线后的监控

安全护栏并不是上线那天就完成了。

  • 定期查看真实对话，尤其是用户给了差评或中途放弃的对话。
  • 维护一套测试集，包含真实问题和刁钻问题，每次修改提示词、模型或数据后都跑一遍。
  • 让反馈更容易。 给用户一个简单的方式标记错误回答。
  • 指定负责人，对质量和突发问题负责。

7. 透明与合规

  • 告诉用户他们在和 AI 互动。 这能建立信任，在一些地区也是法律要求。
  • 了解适用于你的规定。 根据所在行业和地区，隐私与 AI 相关法规可能有具体要求。拿不准时，请咨询法律顾问。
  • 记录你的决定。 一份简短的记录，写明考虑过哪些风险、采取了哪些防护措施，有助于应对审计和客户的安全审查，也方便日后调整。

上线前的快速自检

正式上线前，下面这几条你都应该能回答「是」：

  • 我们清楚这个功能用了哪些数据、数据流向哪里。
  • 用户能分辨哪些内容是 AI 生成的，并能核实重要的回答。
  • 没有确认，AI 无法执行不可撤销的操作。
  • 我们用困难和恶意的输入测试过。
  • 有人负责监控，并且有应对突发问题的预案。

如果安全护栏从一开始就是设计的一部分，它并不会拖慢开发，反而能让你更有信心地上线。如果你希望在上线前请人审查一下 AI 功能，我们很乐意帮忙。