别再为大模型的高成本犯愁！小模型在分类、抽取、重排这三个边界清晰的任务上，成本更低、速度更快、效果更稳定。
核心内容：
1. 小模型在成本、延迟和稳定性上的独特落地优势
2. 分类、抽取、重排三大核心任务的应用场景与原理
3. 如何将三个方向串联构建高效AI应用流水线

过去两年，很多团队接入大模型后都会遇到同一个问题：大模型效果很好，但成本、延迟和稳定性不一定适合所有环节。尤其在生产系统里，真正高频的任务往往不是开放式长文生成，而是分类、抽取、排序、过滤、路由、审核、结构化处理。

这些任务有一个共同特点：输入可以复杂，但输出空间相对可控。因此它们非常适合用小模型落地。

如果把一个 AI 应用拆开看，大模型更像“复杂推理和生成引擎”，小模型更像“数据处理流水线里的专用算子”。其中最容易落地的三个方向是：

• • 分类 Classification：判断输入属于哪一类。
• • 抽取 Extraction：从文本里提取结构化字段。
• • Rerank 重排：对候选内容重新排序，把最相关的放前面。

这篇文章用数据流图和工作流图讲清楚这三个方向的原理、方法和落地路径。

1. 为什么这三个方向最适合小模型？

小模型的优势不是“无所不能”，而是：

• • 便宜：适合高频调用。
• • 快：适合在线链路和低延迟场景。
• • 稳定：输出格式更容易约束。
• • 可训练：少量业务数据就能明显提升。
• • 可部署：可以 API、自托管、边缘侧或私有化部署。

分类、抽取、Rerank 正好符合这些条件。

这三个方向不是彼此独立的。很多真实系统会把它们串起来：先分类判断意图，再抽取关键字段，最后对候选知识或商品做 rerank。

2. 方向一：分类，让模型成为业务流量的路由器

分类是最容易落地的小模型任务。它的目标很简单：给定一段输入，输出一个或多个标签。

典型场景包括：

2.1 分类的数据流

分类任务的关键不是让模型“会聊天”，而是让模型在固定标签空间里做稳定判断。

例如客服场景里，模型不需要生成解释，只需要输出：

{
  "intent": "refund",
  "confidence": 0.92
}

2.2 分类的常见方法

分类可以按成本和效果分成四种路线：

最常见的落地工作流是：先用大模型和规则冷启动，再积累真实数据，最后训练小分类模型。

2.3 分类落地的关键点

分类不是标签越多越好。真正重要的是标签体系要服务业务动作。

一个好分类系统通常满足：

• • 标签之间互斥或层级清晰。
• • 每个标签都有明确下游动作。
• • 低置信度样本可以兜底。
• • 线上持续收集错分样本。
• • 定期评估不同标签的 precision 和 recall。

如果某个标签没有对应业务动作，它往往不是一个好标签。

3. 方向二：抽取，把非结构化文本变成结构化数据

抽取的目标是从文本中提取字段，比如姓名、公司、时间、金额、地址、诉求、风险点、合同条款等。

它是小模型落地的第二个高频方向，因为大量企业流程的本质都是“把文档和对话变成表格”。

典型场景包括：

3.1 抽取的数据流

抽取任务和分类不同：分类输出一个标签，抽取输出一组字段。

例如销售线索抽取可以输出：

{
  "company": "某某科技有限公司",
  "contact": "张先生",
  "budget": "20万以内",
  "need": "私有化部署知识库问答",
  "timeline": "本季度",
  "risk": "预算未确认"
}

3.2 抽取的三种主流方法

抽取任务常见有三种做法。

3.3 抽取的工程工作流

生产级抽取系统一般不会只依赖一次模型输出，而是“模型抽取 + 规则校验 + 置信度判断 + 复核闭环”。

抽取落地最容易踩的坑是只看整体准确率，不看字段级错误。比如金额、日期、合同主体这类字段，错误成本远高于普通描述字段。

因此抽取评估要分字段看：

• • 字段是否抽到。
• • 字段边界是否准确。
• • 字段标准化是否正确。
• • 缺失字段是否误填。
• • 高风险字段是否进入人工复核。

4. 方向三：Rerank，把“召回到”变成“排得准”

Rerank 是小模型最容易被低估的方向。它通常出现在搜索、推荐和 RAG 系统里。

一个典型 RAG 链路不是直接让大模型读整个知识库，而是先召回一批候选片段，再用 rerank 模型重新排序，把最相关的证据放进上下文。

Rerank 的价值在于：召回阶段追求“不要漏”，重排阶段追求“排得准”。

4.1 为什么只靠向量检索不够？

向量检索擅长语义相似，但在真实业务里会遇到很多问题：

• • 问题和答案词面不一致。
• • 多个候选片段都相似，但只有一个真正回答问题。
• • 文档有新旧版本冲突。
• • 召回片段包含关键词，但语义不相关。
• • 用户问题需要精确字段、数字或约束匹配。

Rerank 模型会同时读取 query 和 document，判断它们是否真的相关。

相比 embedding 召回，rerank 更慢，但更准。所以通常只对 Top 20、Top 50 或 Top 100 候选做重排。

4.2 Rerank 的常见模型形态

4.3 Rerank 的训练数据怎么来？

Rerank 的训练数据本质是三元组：query、正样本、负样本。

其中最重要的是难负样本。也就是“看起来很像，但其实不相关”的文档。没有难负样本，rerank 模型很难学会精细区分。

4.4 Rerank 在 RAG 中的工作流

Rerank 的收益通常非常直接：同样的上下文长度下，放进去的证据更相关，大模型回答就更稳；同样的回答质量下，可以减少进入 prompt 的片段数量，降低成本和延迟。

5. 三个方向如何组合成一条小模型流水线？

在真实系统里，分类、抽取、Rerank 经常组合出现。

比如一个企业知识库客服系统：

再比如一个销售线索处理系统：

这也是小模型落地的正确姿势：不要试图让一个小模型做所有事，而是把它们拆成多个稳定节点，每个节点解决一个清晰问题。

6. 从大模型到小模型：推荐落地路径

很多团队一开始没有标注数据，这时可以先用大模型冷启动，再逐步沉淀小模型。

这条路线的关键是：大模型负责探索和造数据，小模型负责稳定、低成本执行。

推荐分三阶段：

7. 评估指标：不要只看“准确率”

三个方向的评估指标不一样。

Mermaid render failed:

分类要重点看：

• • 每个类别的 precision 和 recall。
• • 低频类别是否被忽略。
• • 错分后业务代价有多大。
• • 置信度阈值如何设置。

抽取要重点看：

• • 字段级准确率，而不是只看整条样本。
• • 关键字段是否有更高复核要求。
• • JSON 格式是否稳定。
• • 标准化和业务校验是否通过。

Rerank 要重点看：

• • 正确证据是否进入 Top-K。
• • 排名第一是否真正可回答问题。
• • 是否能处理难负样本。
• • Rerank 后是否提升最终回答质量。

8. 部署选型：小模型为什么更适合生产链路？

小模型的部署方式更灵活：

实践中可以按任务频率选：

• • 高频、简单、稳定：优先小模型或规则。
• • 中频、复杂、可训练：小模型微调。
• • 低频、高复杂度：保留大模型。
• • 高风险、不确定：小模型判断后转人工或大模型复核。

9. 常见坑：小模型落地不是只换一个模型

9.1 标签和字段定义不清

很多项目失败不是模型不行，而是业务定义不清。分类标签互相重叠，抽取字段没有标准，rerank 相关性没有判定规则，都会让训练数据变脏。

9.2 只看离线指标，不看线上链路

分类准确率高，不代表业务自动化率高；抽取字段准确，不代表能通过业务校验；rerank 指标提升，也要看最终 RAG 答案是否更好。

9.3 没有兜底机制

小模型适合高频稳定任务，但必须有置信度阈值、人工复核、大模型兜底或规则兜底。

9.4 数据回流没有闭环

小模型最大的优势是可以持续适配业务。如果没有错例回流和周期训练，它很快会跟不上业务变化。

10. 总结：小模型最先落地的不是聊天，而是流水线节点

分类、抽取、Rerank 可以概括为一句话：

它们之所以适合小模型，是因为任务边界清晰、输出可控、调用高频、业务价值直接。

未来很多 AI 应用不会是一个大模型从头做到尾，而是由多个模型组成的流水线：小模型负责判断、过滤、抽取、排序和校验，大模型负责复杂推理和自然语言生成。

真正有效的落地方案，不是简单用小模型替代大模型，而是把大模型能力拆解成一组可训练、可评估、可部署的专用节点。谁能把这些节点串成稳定工作流，谁就能把 AI 应用从“能演示”推进到“能规模化运行”。

登录查看剩余 70% 内容