这是什么

我们注意到一个数字:6.82%。这是 vivo 与上海交通大学联合发表的 Octopus 框架,在多模态大模型(能同时处理图像和文字的模型)持续学习任务上,对此前最好方法的领先幅度。

大模型有个老毛病:学了新东西,旧本事就丢了,行话叫"灾难性遗忘"。现有的解法都不够好——存旧数据反复练,存储和隐私成本高;给每个任务单独加模块,模型越来越臃肿;在训练时加约束,效果有限。

Octopus 走的是第三条路,但换了思路:不在"参数往哪走"上做文章,而是在"梯度(参数更新的方向)往哪走"上做约束。它用了一个叫 HiFGO 的方法——不需要访问旧数据,只用"旧参数在新数据上的梯度"作为代理,算出哪些更新方向会"踩到"旧知识,从而避开。在 UCIT 基准上,平均性能超过此前最好方法 2.14%,最终性能超过 6.82%。

行业怎么看

支持方认为,这篇论文切中了真痛点。在端侧 AI 部署中,隐私法规越来越严,旧数据拿不到;云端存储旧数据的成本也在涨。如果 Octopus 这条路走通,手机上能持续学习用户习惯、又不上传数据的 AI,就有了合规的解法。vivo 团队的参与也暗示了落地意图——手机厂商对"本地持续学习"的需求是真实存在的。

但我们注意到几个保留意见。第一,UCIT 是一个学术基准,离真实业务场景还有距离,论文未展示生产规模数据上的表现。第二,"学新反而提升旧能力"(论文称为"正向后向迁移")的声明在持续学习领域长期存在争议,需要独立复现。第三,2-6% 的提升幅度在工程落地中不一定转化为用户可感知差异,引入的额外计算开销反而可能让端侧芯片吃不消。

值得关心的是,这是一篇被顶会接收的基础研究,离产品化至少还有 2-3 年。短期内企业不应押注,更值得跟踪的是"梯度正交"这条路是否被更多团队验证和简化。

对普通人的影响

对企业 IT:如果未来手机、IoT(物联网)设备上的 AI 能在不收集用户历史数据的前提下持续学习,对数据合规是个好消息。但今天别急着规划,等开源代码和独立复现出来再说。

对个人职场:持续学习是 AI 行业的共识方向,但短期内你用的 ChatGPT、文心一言等产品不会因此升级。这篇研究的真正影响,可能在 2 年后才会间接传导到你用的工具上。

对消费市场:vivo 参与意味着未来安卓厂商可能把"本地学习不传数据"作为差异化卖点。如果你特别在意隐私,可以关注这类功能的落地进度。