一台由 4 张 Radeon AI PRO R9700 组成的多用户推理服务器，总成本约 1.3 万加元；实测 8 名用户使用 12.8 万 token 上下文时，每秒输出约 80 至 225 token。这组数字值得关注，因为本地部署 AI 的门槛正从“少数人的实验”走向“小团队可评估的方案”。
这是什么
发帖者用 AMD EPYC 7402P、128GB 内存和 4 张 R9700 搭建推理服务器，并使用 Radiance 软件运行 Qwen 3.8 Flash Next。模型经过 FP8 与 4-bit 混合量化，主要目标是降低显卡和内存开销。
测试覆盖 32K 至 128K 上下文、1 至 8 名并发用户。预填充速度约为每秒 6800 token；普通 Agent 后续回复（模型在已有上下文中继续生成回答）首字等待约 0.2 至 2.5 秒。但当 8 名用户同时提交全新的 12.8 万 token 请求时，首个 token 需要等待约 2.5 分钟。
行业怎么看
我们认为，这组结果释放出一个务实信号：不必采购昂贵的专用 AI 加速卡，中小团队也能用消费级或专业级 Radeon 显卡构建本地推理服务。对医疗、法律、金融等敏感数据行业，“数据不出内网”不再只是一项原则，也可能成为可计算的成本方案。
不过，这仍是单台机器的初步测试，而且 4 张显卡并非同一品牌，供电和散热设置也有定制。反对者会指出，最极端的长上下文并发延迟达到 2.5 分钟，离交互式服务的理想状态仍有距离；如果业务依赖持续在线对话，这套配置未必足够。更稳妥的做法，是把软件兼容性、长期稳定性和总体拥有成本一起验证。
对普通人的影响
对企业 IT：敏感资料可以更多留在企业内部，AI 助手有机会从公有云 API 扩展到本地部署，但采购前仍要核算显卡、内存、运维和模型调优的完整成本。
对个人职场：懂服务器和模型部署的人会增加，企业也可能出现负责本地 AI 环境的岗位；不过，硬件组装之外，稳定性、监控与安全仍需要专业能力。
对消费市场：这类方案暂时不会直接变成普通电脑的标配配置，但它会持续压低企业使用本地模型的门槛，让更多软件和服务首先把模型部署在客户自己的设备上。