一家头部智能驾驶公司把数十亿行标注数据放在多个云和数据中心,结果不是模型不够强,而是 GPU 经常等数据:Lance 负责少读,JuiceFS 负责快到,但只有两类瓶颈同时出现,这套组合才值得投入。
这是什么
Lance 是面向多模态 AI 的开源列式湖仓格式(按列组织数据,便于只读取所需字段),可管理图片、视频、文本、向量等数据。JuiceFS 则是位于业务与对象存储之间的分布式文件系统,通过本地缓存、数据预热和统一命名空间,把训练需要的数据及时送到计算节点。
简单说,Lance 解决“要读多少”,JuiceFS 解决“读取要等多久”。在头部智驾公司的架构中,对象存储保存原始数据,Lance 组织数据并生成训练清单,JuiceFS 再把清单中的数据预热到 GPU 节点的本地质块缓存。
行业怎么看
我们认为,这反映出 AI 基础设施的竞争正从模型参数规模转向数据供给效率。训练数据更多、类型更复杂后,读取放大和跨云延迟会直接拖累昂贵 GPU 的利用率;Lance 与 JuiceFS 的衔接,提供了一条“先筛选、再预热”的工程路径。
但这套组合并非普适答案。离线检索、数据标注等任务对延迟不敏感,缓存带来的收益可能有限。文章提到,在一个一亿行数据的 TOP20000 向量检索案例中,总耗时约 20 秒,主要瓶颈是 CPU 向量计算,而非网络读取。
风险也很明确:Lance 与 JuiceFS 的组合仍较新,公开生产实践有限。增加缓存层还会带来部署、运维和故障排查成本;如果瓶颈其实在计算、模型或数据质量上,单纯加速存储只会制造更昂贵的等待。
对普通人的影响
对企业 IT:多模态训练不能只看 GPU 采购量,数据是否按时到位同样决定项目成本。技术团队需要分别测量无效读取、网络延迟和 GPU 空转时间,再决定是否叠加缓存层。
对个人职场:数据工程、平台工程和 AI 基础设施岗位会更靠近模型训练现场。能把存储、数据组织与算力调度连起来的人,职责正在从“维护系统”扩展为“保障训练效率”。
对消费市场:自动驾驶、视频生成和智能设备背后,数据链路效率会间接影响迭代速度与成本。短期内它更像产业基础设施变化,而不是新的消费者功能。