每隔几周，就会有新的 AI 模型发布，号称更快、更便宜或更聪明。对正在做产品的团队来说，这带来一个很实际的问题：我们到底该用哪个模型？

诚实的答案是：取决于具体任务，而正确的决定方法是用你们自己的样例去测试。这篇指南用通俗的话讲清楚其中的取舍，让这个决定不再靠猜。

三个取舍

质量

能力更强的模型，通常更擅长复杂推理、遵循详细指令、撰写有细腻层次的文字，以及处理少见的情况。但对很多简单任务来说，小模型的表现几乎一样好。

速度

小模型的响应通常更快。当有人在等待时，比如聊天、语音或产品内的实时建议，速度最重要；而对于夜间批量处理文档这类后台工作，速度就没那么关键。

成本

服务商一般按输入和输出的文本量收费。大模型每次调用更贵，所以调用量越大、输入越长（比如大文档或长对话），差距就越明显。AI 项目的成本由什么决定

按任务选模型

  • 分类和分派，比如按主题给消息归类：通常一个更小、更快的模型就够了。
  • 从文档中提取字段： 小模型往往也能做好，尤其是配上清晰的指令和样例，但要用你们最杂乱的文档来测试。
  • 根据你们的资料回答问题： 检索质量和内容质量与模型同样重要，中等规模的模型往往是不错的平衡点。
  • 复杂推理、多步骤智能体和细腻的写作： 这才是能力更强的模型值回成本的地方。

同时使用多个模型

很多好用的系统都会组合多个模型：

  • 由小模型先分类或筛选请求，大模型只处理难题。
  • 由能力强的模型起草内容，再由便宜的模型检查格式或提取结构化数据。
  • 由更快的模型先给出即时回应，更慢、更深入的工作在后台进行。

这样既能在关键环节保持高质量，又能控制成本和响应时间。

其他需要考虑的因素

  • 数据处理： 数据在哪里处理、保存多久、是否可能被用于训练。
  • 上下文长度： 模型一次能处理多少文字，这对长文档很重要。
  • 语言： 不同语言下的质量可能不同，要在你们支持的每种语言下都测试。
  • 稳定性和限制： 服务可用性、调用频率限制，以及服务商的支持。
  • 部署方式： 有些团队需要模型部署在特定地区，或者部署在自己的基础设施上。

如何决定：用你们自己的样例来测试

公开的评测排行榜可以作为参考，但真正重要的是你们的具体任务。

  1. 建一小套带有预期结果的真实样例。如何检验 AI 的质量
  2. 用同一套样例测试两三个候选模型。
  3. 比较质量、响应时间，以及在预期调用量下的估算成本。
  4. 选择能达到质量标准的最小模型。
  5. 有新模型推出时，用同一套样例重新测试。

避免被锁定

在设计系统时，让模型可以轻松替换：把提示词和配置与应用逻辑分开，并持续更新测试集。模型进步很快，价格变化也很快，能够随时切换是实实在在的优势。

示例：客服助手

一个团队可以用 40 个真实的客服问题测试三个模型。如果中等规模的模型回答得几乎和最大的模型一样好，成本却只是零头、回复也更快，那它可能就是合适的默认选择，而最大的模型则留给自动升级处理的复杂问题。这只是一个示意性的例子，你们的实际结果会因任务和语言而不同。

总结

没有所谓唯一最好的模型。用你们自己的样例，选出能达到质量标准的最小模型，在有帮助的地方组合使用多个模型，并保留随时切换的能力。

如果你需要帮忙为产品挑选和测试模型，可以看看我们的 AI 产品与智能体服务，或者给我们发邮件。