Ornith 1.5 出厂带了个没训练的部件 — 开源 AI 品控问题被低估了
Ornith 1.5 是个号称 350 亿参数的开源大模型(MoE 架构,即把参数切成多个"专家",每次推理只激活一部分计算,所以比同尺寸稠密模型更快)。这周被人扒出来:它附带的 MTP 预测头(Multi-Token Prediction,让模型一次预测多个词以加速输出的模块)从出厂起就是随机初始化——压根没训练过。一个宣称可商用的模型,带着半成品组件就发了版。
相关推荐
基于 #MoE 推荐
llama.cppMoE
llama.cpp 还有 50 个 PR — 本地跑 AI 不必靠显卡
开源项目 llama.cpp 攒 50+ 性能优化待合并,部分让 CPU 推理提速 3 倍。「本地跑大模型」正摆脱对高端显卡的依赖 — 敏感行业的私有部署和普通用户的离线 AI,都会因此更便宜。
8月29日·www.reddit.com
DeepSeekNVIDIA
DeepSeek 在两台几万元小机器上跑出 67 token/s — 本地大模型门槛正在塌方
本周一位 Reddit 用户用两台 NVIDIA DGX Spark 工作站(约 6 万元)跑出 DeepSeek V4 Flash 67-84 token/s 的稳定输出,配 100 万 token 上下文。我们关心的是这份民间复刻印证了一个被低估的趋势:开源大模型本地部署的成本正在快速下沉,企业
8月29日·www.reddit.com
OrnithQwen
一款 35B 开源大模型被悄悄"换芯" — 这背后是整个 AI 行业的供应链信任账
一款 35B 开源大模型的本地压缩版被悄悄重传——权重变了,校准数据换了,官方没发任何说明。这不是产品新闻,是整个开源 AI 圈被忽视的供应链信任问题。
8月29日·www.reddit.com
QwenGLM
阿里和智谱同时押注小模型 — 本地 AI 圈开始陷入选择困难
阿里 Qwen Flash 和智谱 GLM Flash 几乎同时推出,让本地部署用户陷入"留一个还是都要"的纠结。这背后是中国开源大模型从"卷参数"转向"卷同档位"的信号。
8月29日·www.reddit.com
Qwen阿里
工程师把 Qwen 调到极限后发现:26 万 token 是本地 AI 的硬天花板
一位开发者把 Qwen 最新模型调到极致后发现:上下文一旦超过 10 万 token,生成速度暴跌 75%。这说明长上下文仍是本地 AI 的天花板,也是企业绕不开云端的关键证据。
8月30日·www.reddit.com
NInfervLLM
百万上下文跑在两张 5090 上 — 企业自建 AI 的硬件神话被业余玩家打破
一位 Reddit 开发者改造开源推理引擎 NInfer,让 27B 参数 Qwen 模型在两块消费级 5090 上跑出百万 token 上下文,速度比 vLLM 快近 3 倍。值得关心的是:企业自建大模型的硬件门槛正被业余项目瓦解。
8月30日·www.reddit.com