NVIDIA Nemotron

开源项目让旧显卡跑起 Nemotron 3.5 — AI 推理降本有了新路径

一个社区维护的 vLLM 分支把 INT8 推理支持扩展到多代 AMD、英伟达旧显卡，并适配 Nemotron 3.5 Bolt。4 张 MI100 运行 27B 模型每秒解码超千 token，说明企业可用较低成本改造存量算力，但项目仍依赖社区维护。