Gufo
号称 70 tokens/秒实测打回原形 — AI 跑分注水这事又来了
开源 AI 推理框架 Gufo 主推 70 tokens/秒性能,最近被实测打脸:真实任务下只有 38 左右,比竞品还慢 13%。问题不在造假,而在 benchmark 选了一道投机解码能抄答案的题——'把 red 写 1000 遍'。这是 AI 行业跑分注水的又一个案例。
找到 4 篇关于此标签的文章
开源 AI 推理框架 Gufo 主推 70 tokens/秒性能,最近被实测打脸:真实任务下只有 38 左右,比竞品还慢 13%。问题不在造假,而在 benchmark 选了一道投机解码能抄答案的题——'把 red 写 1000 遍'。这是 AI 行业跑分注水的又一个案例。
本周 Reddit 技术圈拆解了一张国内金融大模型 Ling 的官方跑分卡:不同模型在不同测试里用了完全不同的推理设置、Agent 框架甚至工具,所谓的榜单排名更像一场「测试方案」的比拼。这事对所有用 benchmark 选模型的企业和投资人都值得警惕。
大模型在 benchmark(标准测试)上刷出高分,落地却频频翻车。本期我们看一个正在升温的讨论:行业花几年建起的评测体系,可能从没在测「能不能干活」,只在测「记性好不好」。
r/LocalLLaMA 上一条『你信哪个 benchmark』的提问,评论区『我也不信』刷成主旋律。我们的判断是:这不是个别吐槽,而是 AI benchmark 整体失灵的信号。