280B 总参数只激活 16B — 这周我们在 Hugging Face 上注意到了 dots-studio 发布的 dots3-note preview。这个数字本身说明一件事:开源大模型的竞争,正从'谁的总参数更大'转向'每次实际花多少算力'。
这是什么
dots3-note preview 是 dots3 家族中首个公开权重的模型,采用 MoE(Mixture-of-Experts,混合专家)架构:总参数 280B,但每次推理只激活 16B。打个比方——一个 280 人的公司,每次任务只派 16 个人上场。
它支持 512K 上下文(大约能塞进一本中长篇小说),能理解文本、图片、视频、音频,但输出只有文字。官方列出的应用场景包括多步骤 Agent 流程(AI 调用工具完成任务)、代码生成、数学推理、文档理解。
需要指出的是,它在家族中定位是'轻量版'——后面还有更大的模型。
行业怎么看
正面声音:dots-studio 把'激活参数'压到 16B,比许多对手的 70B+ 激活参数便宜一个数量级。对想要私有部署的企业来说,这是一个信号——开源模型不能再只比'总参数谁大',要看'每次实际花多少钱'。
但也有冷静的声音。有人指出,'open-weight'(开放权重)不是'open-source'(开源):权重可以下载,但训练代码、训练数据、训练流程都不公开。你不能复现这个模型,只能用。另外,16B 激活参数听起来小,跑起来仍需要多张高端 GPU,对中小企业的部署门槛并不低。
而且这只是 dots3 家族的'轻量版',最终成色还要看后续版本。
对普通人的影响
对企业 IT:开源多模态长文本模型又多了一个选项,但'open-weight ≠ open-source'会让合规审查更复杂——你需要评估能不能用、怎么用。
对个人职场:未来涉及长文档处理(合同、报告、代码库)的岗位会更容易用上 AI 助手,但这类模型离普通人直接用还有距离,仍需通过 ChatGPT、Claude、文心一言等界面访问。
对消费市场:dots3-note 这类模型跑在云端后,下一波'AI 助手产品'可能更便宜、更懂长上下文,但短期不会被普通用户直接感知。