NVIDIA
英伟达边缘模型跑出27.7 tokens/s，效率翻倍仍难改门槛
开发者称，Nemotron 3.5 Bolt E4B 在 Jetson Orin Nano Super 上达到27.7 tokens/s，较官方首测快1.8倍。值得关注的是，量化与部署优化正在把小型模型带到更便宜、更低延迟的本地设备，但单次测试不等于稳定商用。
找到 1 篇关于此标签的文章
开发者称，Nemotron 3.5 Bolt E4B 在 Jetson Orin Nano Super 上达到27.7 tokens/s，较官方首测快1.8倍。值得关注的是，量化与部署优化正在把小型模型带到更便宜、更低延迟的本地设备，但单次测试不等于稳定商用。