llama.cpp
76款显卡同测:本地AI追新卡未必划算,显存通道更值钱
一份覆盖76款显卡的社区测试,把二手价格、生成速度和显存容量放在一起。它提醒我们,本地运行大模型时,判断性价比不能只看新旧,宽显存通道同样关键。
找到 3 篇关于此标签的文章
一份覆盖76款显卡的社区测试,把二手价格、生成速度和显存容量放在一起。它提醒我们,本地运行大模型时,判断性价比不能只看新旧,宽显存通道同样关键。
跑 AI 大模型不只靠显卡,更靠软件栈。Lemonade 这周放弃 AMD ROCm 改用 Vulkan,因为实测快 40 倍。这件事折射出 AMD 在 AI 时代的老问题:硬件能打,软件掉队,想跟英伟达掰手腕还差一口气。
在 AMD Ryzen AI MAX+ 395 上,Vulkan 在令牌生成方面胜出(约 57.5 t/s),而 ROCm 在提示处理方面领先(约 1052 t/s)。