MoE
找到 28 篇关于此标签的文章
Reddit 用户 8GB 显卡拆 Qwen — MoE 不是免费的午餐
一位 Reddit 用户用 8GB 显存的 RTX 4060，把 Qwen 0.5B 从稠密模型转成 32 专家 MoE 架构，每次推理算力降到原来的 40%，但平均精度掉了 13%。值得关心的是，这件事戳破了 MoE 叙事的盲区——大公司只讲省成本，没人讲要付多少精度账单。
8GB 显卡跑通千问 35B 模型 — 加速优化实测反而拖慢速度
开源推理工具 llama.cpp 这周新增 MoE 模型显存缓存功能，目标让大模型在普通消费级显卡上跑起来。但社区实测显示，该功能反而把生成速度拖慢 20-50%。本地部署的硬件门槛塌了，软件成熟度还差一口气。
LingBot-Video 采样降到8步，显存不能只看步数
LingBot-Video 新增8步生成方案，但这不是小显存承诺：300亿总参数仍在，官方测试甚至出现推理更快、显存占用更高的配置。视频模型选型需同时核对权重、采样与硬件。
面壁智能 35B 模型上架 Hugging Face — 大模型卷到「只激活 3B 就能跑」
面壁智能上传新模型 MiniCPM-V-4.7-35B-A3B 到 Hugging Face，总参数 35B 但推理时只激活 3B，是典型的 MoE 架构。但没发模型卡说明不是正式发布，可能是提前泄露。
Mistral 端出 1 万亿参数 Le Chonk，欧洲开源大模型重新上桌
法国 Mistral 发布 Mistral Large 4，代号 Le Chonk，总参数 1 万亿、单次激活 490 亿，本月底开放权重。欧洲阵营目前最强的开源大模型发布。
Mistral 万亿模型跑分紧追 DeepSeek，欧洲 AI 落后顶尖半年
法国 Mistral 推出 Mistral Large 4：1 万亿参数、自建 3800 张 GB200 训练、跑分紧追 DeepSeek 4.1 Flash。值得关心的是，欧洲 AI 终于回到主流讨论，但用 1 万亿参数才追平中国人 5520 亿参数做到的事。
家用电脑跑大模型这次不再只是折腾 — 超频 DDR5 让 MoE 提速 14%
LocalLLaMA 社区有人把 DDR5 超频 36%，跑 Qwen3.8 这类 MoE 大模型拿到 10-14% 提速。本身是 DIY 实验，但方向明确——本地 AI 开始从极客玩具往工程可用挪动。
本地 AI 提速 3 倍 — 一个 Reddit 测试显示私有 AI 硬件门槛正在松动
一位 Reddit 用户在 r/LocalLLaMA 公布测试：把本地 AI 助手从 Qwen3 27B 换到 Ornith 1.5 35B-A3B，推理速度从 60 字/秒拉到 180 字/秒，几乎快 3 倍。核心是混合专家（MoE）架构——35B 总参数只激活 3B。对企业来说，本地部署「数据不
35B 模型塞进 16GB 显卡，Reddit 开发者让准确率不降反升
一位 Reddit 用户改造开源推理引擎，让 35B 大模型在 16GB 显卡上跑到 60 token/s，并通过'扩专家'把考试分数提高 2.5 分。开源生态开始有自己的打法。
一个人用 86B token 训出能写代码的 AI — 数据效率飙升，但知识短板难补
独立开发者 YOON1v 用 86.5B token（约 Qwen2.5-1.5B 所用 18T 的 1/200）从零训练出 Apex-2，代码基准几乎追平前者，但知识与推理仍弱。这件事意味着训练 AI 的成本临界点，可能已经松动。
176B 大模型在一台游戏本上跑通了 — 本地 AI 离「能用」比想象中更近
这周一位开发者在 RTX 3080 笔记本（16GB 显存+32GB 内存+SSD）上成功运行 Qwen 176B MoE 模型（一种按需激活参数的稀疏架构），解码速度达每秒 11 个 token。关键不是硬件堆料，而是把显存、内存、SSD 当成统一资源调度。我们认为这意味着本地大模型离「真正可用」
300亿参数大模型塞进万元小主机 — 本地跑AI的门槛被打下来了
两个300亿参数的MoE大模型，最近被开源社区工程师装进一台128GB内存的AMD小主机，生成速度达到每秒30-44个token。真正值得关心的不是参数，而是过去要堆几张H100才跑得动的模型，现在一台万元桌面设备就能承担。
8GB 显存也能跑大模型了 — Qwen 和 Gemma 在抢本地 AI 玩家的显卡
Reddit LocalLLaMA 社区最近热议用 8GB 显存跑大模型,Qwen4 35B-A3B 和 Gemma 26B QAT 是焦点。本地 AI 正在从极客玩具变成消费级工具。
德国 AI 公司开源 78B 大模型 — 欧洲这次押注的是省钱，不是规模
德国 Aleph Alpha 开源 Kolibri-1：总参数 780 亿，每次只激活 35 亿，上下文支持 100 万 token，Apache 2.0 协议。欧洲想用 MoE 做主权 AI，绕开英伟达算力依赖。
千亿参数 Qwen 跑上万元台式机 — 「大模型必须上云」正在松动
海外开发者把 Qwen 系列 177B（约 1770 亿参数）开源模型量化压缩后，跑在万元级消费 PC 上，速度达到 11-15 tok/s。值得关心的是：开源社区正在用工程优化，把「本地跑大模型」从不可能变成勉强可用。
Percepta 想让 AI 记忆无限增长 — 架构创新还是研究童话
Percepta 这周公布了名为 Spotlight 的新架构：把模型的「记忆」和「智能」分开，记忆可以无限扩张，每次读取只触碰极少量记忆单元，模型权重却不需要重训。听起来像解决了一个核心难题 — 但目前只有博客，没有开源代码、没有基准测试。
社区给 Qwen MoE 提速，本地跑开源大模型又省一截
开源大模型推理引擎 llama.cpp 收到一项关键 PR，让 Qwen 这类 MoE（混合专家）架构模型在本地 GPU 上跑得更快。对想私有化部署大模型的企业，这是算力成本继续下行的信号；对开源生态，这是社区又一次主动适配中国模型。
Ai2 新报告里的'平均数陷阱'：AI 训练全局均衡，可能掩盖局部失灵
Ai2 开源的 OLMo-core 3 揭示了一个被忽视的工程陷阱：AI 训练指标看着均衡，局部却严重失衡。对管理者而言，这是个老问题的新版本——'平均数掩盖真实故障'，恰是企业数字化最常踩的坑。
显卡装不下时 FreeToken 比 llama.cpp 快 7 倍，日常反而慢 3 倍
Reddit 用户对比测试 FreeToken 与 llama.cpp：模型塞得进显存时 llama.cpp 快 2-3 倍，塞不进时（如 63GB 的 120B 模型）32 人并发 FreeToken 首 token 速度快 7 倍。两个工具针对场景不同，企业本地部署 AI 需按规模选型。
中国团队把 560 亿参数模型叫'Flash' — 开源大模型的命名通胀来了
一个中国开源模型把 560 亿参数叫'Flash'。我们关心的是：当'轻量'也开始论千亿，开源圈的话语权在被谁重新定义。
开源大模型不再堆参数了 — 有人把 Qwen 砍掉 44% 还能更强
一个 Reddit 用户用新技术把 Qwen 砍掉 44% 参数，跑分反而更高；同时推出加拿大版法规助手。开源 AI 的竞争正从「拼大小」转向「拼效率」和「拼本地化」。
50B 模型值不值得上 — 一家波兰法律 AI 公司算的细账
一家波兰法律 AI 创业团队在 r/LocalLLaMA 上公开了他们的模型选型纠结：50B+ MoE 还是 27B Dense？这是中型 AI 公司典型的生产环境算账——成本、延迟、并发上限都得算清楚。
IQuest 320B MoE 再押 Agent 编程 — 开源牌桌已经挤爆
本周 IQuest 在 Hugging Face 发布 IQuest-Q1：320B 总参数、激活 15B 的 MoE 模型，主打 Agent 编程与多步工具调用。这是开源圈又一款「专做 Agent」的模型 — 在参数堆量不再稀缺的当下，能不能真的跑起来干活才是关键。
309B 总参数只激活 15B — 小公司发新模型，正面挑战'越大越好'逻辑
一家名为 Naive 的小公司在 Reddit 开源社区发布模型 Naive-N0.5-Flash：总参数 309B，每次推理只激活 15.5B，搭配 100 万 token 上下文窗口。这套'大模型小跑'的设计正在动摇行业'越大越好'的范式。
Freetoken 让普通电脑也能跑 MoE 大模型 — 本地 AI 开始分流
MoE（混合专家架构，把大模型拆成多个子网络、按需激活）是当前大模型降本的核心技术。本周 Reddit 本地 AI 社区出现一个小信号：Freetoken 等新工具开始支持 MoE 卸载，让 24GB 消费级显卡也能尝试 70B 模型，而以前基本要 48GB 起步。这是边缘 AI 持续渗透的又一步。
85GB 大模型塞进 12GB 显卡 — 本地 AI 的成本墙松动了
开发者用 NVMe 固态当第四层内存，让 85GB 的 DeepSeek-V4-Flash 大模型在 12GB 显存的 RTX 3060 上跑出约 3 token/s。本地大模型的成本墙出现第一道裂缝。
6 个月追平云端，30B 本地大模型正在逼近闭源体验
Reddit 上一位用户问：消费级电脑（16G 内存+8G 显存）什么时候能跑出云端旗舰模型的质量？结合 30B 开源模型 6 个月内质量跃升的事实，这道题的答案，可能比你想象的近。
NVIDIA 把训练大模型的方法搬去搞新药研发了 — AI 制药正式进入工程化阶段
NVIDIA 本周把 MoE（混合专家模型）训练技术搬到了生物 AI 领域，未来药物研发大模型的训练成本有望大幅下降。这事值得关心的是：AI 制药正式从 PPT 阶段进入工程实操，算力门槛被削掉一层。