同一个矩阵乘法(AI 模型最耗算力的基本动作),随手写的版本和工程师精心调优的版本,速度差几十倍甚至上百倍——同样的算法,效率天差地别。我们注意到:大模型竞赛已经从"谁的模型更聪明"进入下一轮,拼的是谁能让 AI 跑得更便宜、更快,靠的是一支几乎从不露面的工程师:算子(神经网络的基本计算单元)和 AI Infra(让模型跑起来的基础设施)。
这是什么
打个比方:AI 模型像菜谱,算子是"切炒煮"这些基本动作,AI Infra 像厨房、传菜系统与供应链。研究员负责设计菜谱,算子和 Infra 工程师负责让厨房高效运转。
真正决定 AI 跑得快不快的,是"怎么安排干活"。业内著名的 FlashAttention 是个好例子:它没改变模型的数学结果,只是重新安排计算顺序,让数据尽量在 GPU 内部高速缓存里算完,避免反复读写显存。结果:训练快了好几倍,显存占用大幅下降——这套思路叫算子融合(把多个计算步骤合成一步)。
写算子的人分四拨:硬件厂商(英伟达 cuBLAS、cuDNN 库)、框架开发者(PyTorch 内置数千个算子)、专业算子工程师(用 CUDA、Triton 手写调优)、AI 编译器(torch.compile、TVM 等尝试自动化)。
行业怎么看
乐观派认为这条赛道正在爆发:模型越大、推理越多,谁能把单次成本压到最低,谁就有定价权。英伟达的护城河不只是 GPU 硬件,更是几十年积累的算子库——这是后来者最难复制的东西。
但我们看到一个被低估的风险:算子工程极度依赖经验、非常"苦"。同一段逻辑,写法不同性能差百倍,这种功夫要反复在具体硬件上打磨。国产 AI 芯片目前最大的瓶颈就是"算子适配"——芯片参数再漂亮,成百上千个算子没调好,主流大模型就跑不起来或跑不快。
也有更冷静的声音:当 FlashAttention 这类关键优化已经普及,下一代边际改进越来越小。真正决定胜负的,可能不再是算子层,而是数据、算法和应用场景。
对普通人的影响
企业 IT:采购 AI 服务时别只盯模型跑分,更要看每秒处理多少请求、单次推理多少钱、延迟多少毫秒——这些数字由底层 Infra 决定。
个人职场:算子与 Infra 工程师是技术岗里被低估的一支,长期供不应求。应用层从业者懂一点底层逻辑,跟算法团队沟通会顺畅很多。
消费市场:AI 产品还会继续降价。今天一次 AI 对话可能几分钱,三五年后可能压到几厘——降本最大功臣不是模型,是这些看不见的"厨房改造"。