Radiance

四张 Radeon 显卡撑起多用户本地推理，成本约 1.3 万加元

一套总成本约 1.3 万加元的四卡 Radeon AI PRO R9700 服务器，初步测试显示可同时服务 8 名用户，并处理 12.8 万 token 的长上下文。它说明敏感数据场景中的本地大模型正在变得可行，但高并发首字等待仍可能达到 2.5 分钟。