别嫌赛道太小,这哥们花了6年只为把手表地图做到极致
相关推荐
同分类:ai_news
DeepSeekGLM
GLM 两张显卡跑赢 DeepSeek — 国产开源不再「将就」
Reddit 用户用两台 NVIDIA DGX Spark(约六万元一台)对比智谱 GLM-5.3 Flash 与 DeepSeek V4 Flash:写代码测试 GLM 97%,DeepSeek 94.5%,但 GLM 慢三成、上下文也短。开源小模型开始有真正的取舍。
8月30日·www.reddit.com
腾讯Hy4
腾讯一个半月把模型从 295B 堆到 770B — 中国大厂用开源抢时间
腾讯发布 Hy4 开源预览版:770B 总参数、49B 激活、1M 上下文、只支持文本。一个半月内从 295B 做到 770B,中国大厂的开源节奏值得关注——但 49B 激活才决定真实算力成本。
8月30日·simonwillison.net
Qwen阿里
工程师把 Qwen 调到极限后发现:26 万 token 是本地 AI 的硬天花板
一位开发者把 Qwen 最新模型调到极致后发现:上下文一旦超过 10 万 token,生成速度暴跌 75%。这说明长上下文仍是本地 AI 的天花板,也是企业绕不开云端的关键证据。
8月30日·www.reddit.com
NInfervLLM
百万上下文跑在两张 5090 上 — 企业自建 AI 的硬件神话被业余玩家打破
一位 Reddit 开发者改造开源推理引擎 NInfer,让 27B 参数 Qwen 模型在两块消费级 5090 上跑出百万 token 上下文,速度比 vLLM 快近 3 倍。值得关心的是:企业自建大模型的硬件门槛正被业余项目瓦解。
8月30日·www.reddit.com
llama.cppMoE
llama.cpp 还有 50 个 PR — 本地跑 AI 不必靠显卡
开源项目 llama.cpp 攒 50+ 性能优化待合并,部分让 CPU 推理提速 3 倍。「本地跑大模型」正摆脱对高端显卡的依赖 — 敏感行业的私有部署和普通用户的离线 AI,都会因此更便宜。
8月29日·www.reddit.com
DeepSeekNVIDIA
DeepSeek 在两台几万元小机器上跑出 67 token/s — 本地大模型门槛正在塌方
本周一位 Reddit 用户用两台 NVIDIA DGX Spark 工作站(约 6 万元)跑出 DeepSeek V4 Flash 67-84 token/s 的稳定输出,配 100 万 token 上下文。我们关心的是这份民间复刻印证了一个被低估的趋势:开源大模型本地部署的成本正在快速下沉,企业
8月29日·www.reddit.com