阿里把消息队列改成"会话级" — AI 任务跑几天,底层才补上
相关推荐
基于 #阿里云 推荐
QwenGLM
阿里和智谱同时押注小模型 — 本地 AI 圈开始陷入选择困难
阿里 Qwen Flash 和智谱 GLM Flash 几乎同时推出,让本地部署用户陷入"留一个还是都要"的纠结。这背后是中国开源大模型从"卷参数"转向"卷同档位"的信号。
8月29日·www.reddit.com
DeepSeekGLM
GLM 两张显卡跑赢 DeepSeek — 国产开源不再「将就」
Reddit 用户用两台 NVIDIA DGX Spark(约六万元一台)对比智谱 GLM-5.3 Flash 与 DeepSeek V4 Flash:写代码测试 GLM 97%,DeepSeek 94.5%,但 GLM 慢三成、上下文也短。开源小模型开始有真正的取舍。
8月30日·www.reddit.com
腾讯Hy4
腾讯一个半月把模型从 295B 堆到 770B — 中国大厂用开源抢时间
腾讯发布 Hy4 开源预览版:770B 总参数、49B 激活、1M 上下文、只支持文本。一个半月内从 295B 做到 770B,中国大厂的开源节奏值得关注——但 49B 激活才决定真实算力成本。
8月30日·simonwillison.net
Qwen阿里
工程师把 Qwen 调到极限后发现:26 万 token 是本地 AI 的硬天花板
一位开发者把 Qwen 最新模型调到极致后发现:上下文一旦超过 10 万 token,生成速度暴跌 75%。这说明长上下文仍是本地 AI 的天花板,也是企业绕不开云端的关键证据。
8月30日·www.reddit.com
NInfervLLM
百万上下文跑在两张 5090 上 — 企业自建 AI 的硬件神话被业余玩家打破
一位 Reddit 开发者改造开源推理引擎 NInfer,让 27B 参数 Qwen 模型在两块消费级 5090 上跑出百万 token 上下文,速度比 vLLM 快近 3 倍。值得关心的是:企业自建大模型的硬件门槛正被业余项目瓦解。
8月30日·www.reddit.com
llama.cppMoE
llama.cpp 还有 50 个 PR — 本地跑 AI 不必靠显卡
开源项目 llama.cpp 攒 50+ 性能优化待合并,部分让 CPU 推理提速 3 倍。「本地跑大模型」正摆脱对高端显卡的依赖 — 敏感行业的私有部署和普通用户的离线 AI,都会因此更便宜。
8月29日·www.reddit.com