27.7 tokens/s，是开发者 Any_Frame9721 在英伟达 Jetson Orin Nano Super 上运行 Nemotron 3.5 Bolt E4B 测得的速度，比其参考的官方首测15 tokens/s快1.8倍。边缘AI（把模型直接部署在终端或现场设备上，而非依赖云端）的推理效率，正在成为大模型竞争的新战场。
这是什么
Nemotron 3.5 Bolt E4B 是一款面向边缘设备的小型模型。这次成绩来自 TensorRT-LLM（英伟达用于加速大模型推理的工具）、int4 量化（用更少位数保存和计算模型参数）以及定制运行环境。发帖团队还用它完成游戏编程，并开放了设备上的公开体验。
真正的变化不是单台设备快了，而是模型能力开始进入成本更低、延迟更小、离线可用的设备。端侧运行也意味着数据可以留在工厂、车辆或办公现场，减少上传云端的隐私与带宽压力。
行业怎么看
我们认为，这组数据最有价值的部分，是它说明部署工程仍有可观空间：同一模型、同一类硬件，经过量化和推理框架调整，速度可以出现明显差异。过去讨论模型榜单时，人们容易忽略“模型如何被真正运行”这一层。
但这项结果也带有宣传性质。它来自开发者的单次环境，27.7 tokens/s 并不能直接代表所有任务、功耗和长期稳定性；硬件价格、内存容量、模型版本与测试配置都会影响结论。边缘设备还要同时承受散热、续航和维护成本，演示速度不等于单位任务成本。
此外，低参数模型能写游戏，并不说明它已具备可靠的企业知识处理能力。代码生成、数学推理和多轮任务中的稳定性，仍需独立评测。对多数企业而言，是否接入云端 API、如何控制持续运行成本，会比峰值速度更早决定采购。
对普通人的影响
对企业 IT：本地小模型可能先在数据敏感、网络条件差或需要实时响应的场景落地。评估时应看完整任务的耗时、功耗和出错率，而非只看 tokens/s。
对个人职场：离线文档处理、代码辅助和设备内应用会变得更常见，但现阶段更适合作为轻量工具。企业仍需设置人工复核和访问权限，尤其是合同、财务与客户资料。
对消费市场：具备实时语音、图像识别和本地助手能力的终端设备可能增加，价格与续航将决定普及速度。若厂商能把模型能力封装成无需配置的环境，用户感知到的会是响应更快，而不是模型参数变大。