Google Gemma
两张游戏卡跑出每秒 75 字 — 本地大模型的成本故事被开源社区改写
Reddit 本地 AI 社区这周传来一个数据:用户借助开源量化技术,把 26B 参数规模的 Gemma 模型塞进两张 RTX 4060 显卡,跑出每秒 75 字生成速度。这意味着消费级硬件正在够到中等规模大模型的实用门槛。
找到 2 篇关于此标签的文章
Reddit 本地 AI 社区这周传来一个数据:用户借助开源量化技术,把 26B 参数规模的 Gemma 模型塞进两张 RTX 4060 显卡,跑出每秒 75 字生成速度。这意味着消费级硬件正在够到中等规模大模型的实用门槛。
本周 Reddit 上有用户用笔记本加外接显卡,把 27B 参数的通义千问跑到了 20 万 token 上下文。这意味着中型 AI 第一次离普通人的桌面这么近。