4 张 AMD MI100 运行 Qwen3.8 27B，每秒解码超过 1000 个 token，这不是新硬件发布，而是一个社区开源项目对存量 GPU 的改造结果。我们注意到，AI 基础设施的降本机会正从购买更贵的芯片，转向让旧设备继续承担推理任务。

这是什么

项目 int8-vllm 是 vLLM 的分支。vLLM 是用于部署大语言模型的推理框架，作用是把模型接入服务器并处理并发请求。项目把 INT8 量化支持扩展到较老的 AMD MI 系列、英伟达 Volta 和 Ampere 显卡，并修复了部分数值计算问题。

此次更新加入对 NVIDIA Nemotron 3.5 Bolt 的支持。它还能让模型绕过 CPU、直接从存储设备载入 GPU，Bolt 的初始加载时间据开发者称从约 7 分钟降至 2 分钟。

行业怎么看

值得关注的是，企业采购新 GPU 的理由会从“绝对性能”转向“单位成本、兼容性和可用性”。如果一套开源分支能让已有服务器达到较高吞吐量，推理业务就有机会延长设备折旧周期，云服务商也能把闲置硬件转成可售算力。

但风险同样明确：该项目由个人开发者主导，更新和稳定性缺少正式产品团队背书。其测试数据也主要来自作者自有服务器，其他机型和真实业务负载未必能复现；社区项目在生产环境中还需考虑维护中断、依赖升级和安全修复。

对普通人的影响

对企业 IT：预算有限但已有显卡的企业，可先评估开源推理方案，而不是直接扩容机房。不过，部署前仍需验证模型质量、故障恢复与长期维护能力。

对个人职场：本地模型的速度与成本门槛继续下降，使用 AI 做检索、写作和代码分析时，企业可能更愿意保留在自有设备上处理敏感数据。

对消费市场：旧显卡继续获得软件优化支持，但目前更多价值落在企业算力复用，而非消费级“换卡不买新”的即时体验。