这是什么

一边跑大模型一边单独采购 embedding API 的日子，可能要被一个开源插件打破。我们注意到，法国 AI 公司 NuMind 这周给 vLLM（开源大模型部署框架）提交了一个插件：给已经跑起来的大语言模型（LLM，比如 Qwen、Llama、DeepSeek）装上之后，让它顺手把 embedding 也吐出来。

embedding 是 AI 检索的底层技术——把文字或图片转成一串数字，让计算机能判断「两段内容像不像」。过去通常要单独调用 OpenAI 的 text-embedding-3、Cohere，或国内的 BGE、M3E。NuMind 的做法思路不复杂：提示模型「用一个词总结上面内容」，再把最后一层隐藏状态（模型内部计算产生的中间向量）取出来当作输出。代码 Apache-2.0 开源，正在申请合并进 vLLM 主线。

行业怎么看

乐观的看法是：做 RAG（让 AI 先从企业自己的文档里查资料再回答，目前企业 AI 落地的标准做法）的成本结构可能被压扁。很多公司一边付钱跑大模型、一边付钱买 embedding API——一台服务器可能就能干两件事。NuMind 自己也是这个思路的受益者，他们的 NuExtract3（4B 参数的开源文档结构化抽取模型）就是用类似方法做出来的。

但值得我们警惕的是：隐藏状态本来就不是为 embedding 设计的向量，质量高度依赖模型规模、提示词和任务类型。在生产环境里，专门训练的 embedding 模型大概率还是更准、更快。这条路也只对「自建部署大模型」的团队成立——用 OpenAI、DeepSeek 云端 API 的公司拿不到模型内部状态，省不了钱。另外 vLLM 还没正式合并这个 PR（代码合并请求），短期属于「可玩但不稳定」的状态。

对普通人的影响

  • 对企业 IT：正在自建 AI 基础设施（私有部署大模型）的团队值得重新算账，embedding 这一项的开支可能可以砍掉或缩量。
  • 对个人职场：普通员工暂时无需关心；等产品层封装完，可能一年后才会反映到日常工具上。
  • 对消费市场：终端消费者几乎无感；但长期看，企业知识库、AI 客服这类产品的报价可能往下走。