RTX 5060 Ti
四张 5060 Ti 是否值得升级本地推理,关键不只看显卡数量
一名用户在 r/LocalLLaMA 询问:现有两张 16GB 版 RTX 5060 Ti 运行 Qwen 模型约每秒 70 个 token,是否值得再买两张,把目标提高到每秒 150 个。讨论的价值不在“堆显卡”,而在于先判断工作负载、显存容量与硬件扩展是否匹配。
找到 1 篇关于此标签的文章
一名用户在 r/LocalLLaMA 询问:现有两张 16GB 版 RTX 5060 Ti 运行 Qwen 模型约每秒 70 个 token,是否值得再买两张,把目标提高到每秒 150 个。讨论的价值不在“堆显卡”,而在于先判断工作负载、显存容量与硬件扩展是否匹配。