LocalLLaMA 一个删帖疑问,为何让 13 万 AI 开发者集体共鸣
这一周我们在 r/LocalLLaMA 上看到一个只有 11 个英文单词的提问帖意外走红:「Why my post was deleted?」这个订阅用户超过 13 万的开源 AI 重镇,正在面对它壮大之后绕不开的治理难题。
相关推荐
基于 #Reddit 推荐
NInfervLLM
百万上下文跑在两张 5090 上 — 企业自建 AI 的硬件神话被业余玩家打破
一位 Reddit 开发者改造开源推理引擎 NInfer,让 27B 参数 Qwen 模型在两块消费级 5090 上跑出百万 token 上下文,速度比 vLLM 快近 3 倍。值得关心的是:企业自建大模型的硬件门槛正被业余项目瓦解。
8月30日·www.reddit.com
DeepSeekNVIDIA
DeepSeek 在两台几万元小机器上跑出 67 token/s — 本地大模型门槛正在塌方
本周一位 Reddit 用户用两台 NVIDIA DGX Spark 工作站(约 6 万元)跑出 DeepSeek V4 Flash 67-84 token/s 的稳定输出,配 100 万 token 上下文。我们关心的是这份民间复刻印证了一个被低估的趋势:开源大模型本地部署的成本正在快速下沉,企业
8月29日·www.reddit.com
Sesame AIChatGPT
语音 AI 想跑在本地?12GB 显卡暂时还差口气
本周 Reddit 的 LocalLLaMA 社区有热帖追问:有没有能在 12-24GB 消费级显卡上跑的语音对话模型,能对标 Sesame 或 ChatGPT 的体验。答案是——目前还没有真正能打的本地方案。云端语音 AI 的体验优势,正在成为本地化部署的下一道关卡。
8月29日·www.reddit.com
Ling金融大模型
金融大模型跑分争议:每家都穿自己的装备上场,这榜还公平吗
本周 Reddit 技术圈拆解了一张国内金融大模型 Ling 的官方跑分卡:不同模型在不同测试里用了完全不同的推理设置、Agent 框架甚至工具,所谓的榜单排名更像一场「测试方案」的比拼。这事对所有用 benchmark 选模型的企业和投资人都值得警惕。
8月29日·www.reddit.com
Political CompassLocalLLaMA
大模型也要测政治立场了:Reddit 用户拿 Political Compass 跑了十几个模型
Reddit 用户 Thrumpwart 把十几款主流大模型丢进 Political Compass 测试,结果多数偏向经济左翼 + 社会自由象限。这事表面是社区玩票,背后是训练数据偏见与企业部署选型的真实风险。
8月29日·www.reddit.com
QwenGLM
阿里和智谱同时押注小模型 — 本地 AI 圈开始陷入选择困难
阿里 Qwen Flash 和智谱 GLM Flash 几乎同时推出,让本地部署用户陷入"留一个还是都要"的纠结。这背后是中国开源大模型从"卷参数"转向"卷同档位"的信号。
8月29日·www.reddit.com