阿里
280 美元的矿卡跑通千问 27B — 本地大模型不再是富人的游戏
一位极客用 eBay 上 280 美元的二手矿机 FPGA 芯片跑通阿里千问 9B 模型,27B 也在规划中。本地大模型部署的成本门槛正被悄悄打破。
找到 2 篇关于此标签的文章
一位极客用 eBay 上 280 美元的二手矿机 FPGA 芯片跑通阿里千问 9B 模型,27B 也在规划中。本地大模型部署的成本门槛正被悄悄打破。
Karpathy 的微型教学 GPT 被部署到 FPGA 上,跑出 50,000 tps——关键是把权重存进芯片内部而非外部内存。这验证了边缘 AI 推理的瓶颈在内存带宽,硬件创业者开始押注片上存储路线。