这是什么

过去三年,多模态大模型完成了三代架构跃迁,从'翻译官'模式走到了'原生大脑'模式。

2022 年 LLaVA 的解法最朴素:把视觉编码器(把图片转成数字的'翻译器')和语言大模型都冻住,只训练中间一座小桥,让图像变成文字 token(模型处理的最小语言单位)后塞给语言模型。Qwen-VL 系列是国内这条路线的代表,到 2024 年的 Qwen-VL3 进化成'多层注入'——从视觉编码器的不同层抽取特征,分别喂进语言模型的不同层,保留了更多细节。

但这套'翻译官'模式有三个根本缺陷:视觉信息容易被语言模型'消化掉'丢失细节、模态分布不匹配、无法处理高分辨率图片。所以第三代 Gemma4 索性砍掉独立视觉编码器,把图片切成和文字一样大的'块',直接用同一个 Transformer(一种主流 AI 模型架构)从头开始训练。判断:这是一次'返璞归真'——承认图像和文字本质上是同一种东西,只是人类感知方式不同。

行业怎么看

国内主流玩家(阿里 Qwen、商汤、智谱)目前都押注第二代'深度融合',Qwen-VL3、GLM-4V 等产品表现稳定;第三代'原生架构'主要由 Google Gemma4 领跑,国内尚无对标大模型。

但值得我们警惕的是两个风险。其一,'原生架构'训练成本远高于前两代——Gemma4 从头训练多模态模型,所需的算力和数据比'翻译官'模式高一个数量级,这等于把入场券抬到了十亿美元级别,中小玩家可能被挤出。其二,模态冲突并未真正解决——把图像和文字用同一套神经网络处理,理论上图像任务会'稀释'语言能力,Google 公开的技术报告也承认了这一权衡。

另外也有研究者持反对意见:第三代架构目前只在论文和早期实验中验证,商业化稳定性远不如已经大规模部署的第二代。'翻译官'模式被淘汰可能还需要三到五年,而非一年。

对普通人的影响

对企业的IT:未来一年,多模态选型会明显分层。文档 OCR、表格识别、合同解析这类'看清文字'任务,用第二代 Qwen-VL3 已足够;通用视频理解、多模态生成等场景,可能需要等待原生架构成熟。

对个人职场:产品经理、内容运营、设计师会最先感受到冲击——能'看懂图'的 AI 已经可以独立完成竞品截图分析、海报文案的视觉一致性检查这类工作,初级视觉相关岗位的招聘需求可能收窄。

对消费市场:消费者最直接的变化是 AI 助手'看图说话'的能力会越来越像人,而不是像'加了一层滤镜的搜索引擎'——这是好事,但也要警惕:当 AI 把图和文当成同一种东西训练后,错误可能更难被发现。