AMD
9070 XT 跑通 128K 上下文 — 本地大模型正跨过可用门槛
一名开发者在单张 16GB 显存的 RX 9070 XT 上，通过混合专家模型卸载与量化，将 128K 上下文任务的预填速度做到每秒约 1200 token。结果表明，高端显卡之外，普通硬件也能运行更接近实用的本地模型，但测试条件和规模仍有限。
找到 1 篇关于此标签的文章
一名开发者在单张 16GB 显存的 RX 9070 XT 上，通过混合专家模型卸载与量化，将 128K 上下文任务的预填速度做到每秒约 1200 token。结果表明，高端显卡之外，普通硬件也能运行更接近实用的本地模型，但测试条件和规模仍有限。