Radeon AI PRO R9700
四张 Radeon 显卡撑起多用户本地推理，成本约 1.3 万加元
一套总成本约 1.3 万加元的四卡 Radeon AI PRO R9700 服务器，初步测试显示可同时服务 8 名用户，并处理 12.8 万 token 的长上下文。它说明敏感数据场景中的本地大模型正在变得可行，但高并发首字等待仍可能达到 2.5 分钟。
找到 1 篇关于此标签的文章
一套总成本约 1.3 万加元的四卡 Radeon AI PRO R9700 服务器，初步测试显示可同时服务 8 名用户，并处理 12.8 万 token 的长上下文。它说明敏感数据场景中的本地大模型正在变得可行，但高并发首字等待仍可能达到 2.5 分钟。