开源大模型
找到 30 篇关于此标签的文章
本地大模型有了新对标 — Qwen3.8-27B 接近前沿,但还不能省掉人工复核
一位开发者用 500+ 题工作流实测阿里 Qwen3.8-27B 与顶级闭源模型,发现前者已接近前沿但仍需人工复核。开源模型替代闭源 API 的成本账,正在被重新算过。
六张 3090 跑通千亿参数模型 — 企业自建大模型的成本账要重算
千亿参数级大模型 Qwen3-Next-Flash 在 6 张消费级 3090 显卡上跑通,撑 7 人并发、聚合 206 tokens/秒。这是单个开发者的实验而非生产方案,但信号明确:大模型本地化部署的成本边界正在被开源社区悄悄推开。
Qwen 27B 量化实测反常:压得最狠那个数学反而最强 — 开源大模型本地跑越来越像样了
一位 Reddit 用户用 AMD R9700 显卡实测 Qwen 27B 的三种量化版本,发现压缩最狠的 MXFP4 在数学题上反而拿了第一。这一反直觉结果,对「在本地跑一个还过得去的大模型」这件事是一个具体的、可复现的进展信号。
321B 大模型装进一张家用显卡 — '私有部署'成本被压到一台游戏机
智谱开源大模型 GLM-5.3-Flash 是 321B 参数级,社区项目 Project Maya 让它在单张 RTX 5090 上跑到 30+ token/秒,准确率保留 97.7%。值得关注的是:大模型'本地部署'从堆机柜变成买一台游戏主机,企业数据不出门第一次成了现实选项。
Qwen 成本地部署新默认 — 阿里开源路线靠'亲民'验证成功
本周 Reddit 本地大模型社区一个典型提问——怎么用 12GB 显存跑 Qwen Flash 新模型——我们认为提问本身不重要,折射的趋势值得关心:Qwen 已成为爱好者本地部署的事实默认起点。
本地大模型写代码够用了 — 资深工程师实测:开源 AI 已能交付 B+ 级代码
一位有 20 年经验的软件工程师在自家电脑上测试了 Gemma4-31B 和 Qwen3.8-27B 两个开源大模型,让它们读陌生代码、从零写 C# 项目。最终评分 B+ 和 B-。这件事值得关注:开源本地 AI 写代码已不再是 demo 阶段。
Qwen 本地版能写九成代码 — Cursor、Copilot 订阅生意开始被撬动
阿里开源模型逼近商用水平,海外开发者社区预测一年内本地部署即可完成九成代码工作。动的不仅是 Cursor、GitHub Copilot 的收入,更是 AI 工具订阅制本身的根基。
Hugging Face 用 SSH 聊大模型 — 30 年老协议意外成 AI 新入口
本周 Hugging Face 在 Reddit 抛出一行命令 ssh chat.hf.co,不用注册、不用密钥、不装客户端,直接终端和大模型对话。我们关心的是——AI 入口门槛被压到'打开命令行'这个量级,行业规则有没有被悄悄改写。
ChatGPT 智能界面被逆向不到 24 小时 — 大模型的产品窗口按周计算
OpenAI 这周推出的'智能界面'——AI 实时生成可交互网页而非纯文本——被独立团队 24 小时内完整逆向,且他们顺手发了一套能在本机大模型上跑的替代品。产品层差异化窗口正在被压缩。
Qwen 用户称本地小模型手感接近 Claude — 这条信号值得记,但只有一个样本
一个 Reddit 用户用量化版 Qwen 3.8 Flash Next 写 three.js 代码,觉得"在家像 Claude 4.6"。虽是个人体验,背后指向的趋势——开源/本地模型正在逼近闭源付费产品的实际可用性——值得关注。
63 亿美元开源模型被法国 Mistral 反超 — 中国玩家主场不再稳
本周开源模型赛道三家公司同周发声:Mistral、Reflection AI、Moonshot 都有新动作,其中一家估值 63 亿美元的玩家被法国 Mistral 在基准测试上反超。开源不再是中国公司的舒适区。
面壁智能 35B 模型上架 Hugging Face — 大模型卷到「只激活 3B 就能跑」
面壁智能上传新模型 MiniCPM-V-4.7-35B-A3B 到 Hugging Face,总参数 35B 但推理时只激活 3B,是典型的 MoE 架构。但没发模型卡说明不是正式发布,可能是提前泄露。
本地跑大模型三年走了多远 — Reddit 一张对比图背后的开源信号
本周 Reddit r/LocalLLaMA 社区流传的进度图:开源本地大模型从「勉强凑合」跨进「能进生产」。这件事不在硅谷头条,但正在悄悄改写企业 IT 的采购清单。
Mistral 万亿模型跑分紧追 DeepSeek,欧洲 AI 落后顶尖半年
法国 Mistral 推出 Mistral Large 4:1 万亿参数、自建 3800 张 GB200 训练、跑分紧追 DeepSeek 4.1 Flash。值得关心的是,欧洲 AI 终于回到主流讨论,但用 1 万亿参数才追平中国人 5520 亿参数做到的事。
Hugging Face 工程师开课:把大模型塞进自家电脑 — 云端不再是 AI 的唯一答案
Hugging Face 工程师 Merve 把「本地跑大模型」做成了公开课并免费放出。我们注意到,信号意义大于内容本身——AI 公司开始认真押注「不上云也能跑」这条路径。对于关心数据隐私与模型可控性的中小企业和个人开发者,这条赛道值得重新评估。
Mistral 4.0 月底或开放权重 — 开源开始认真挑战闭源
Mistral 4.0 权重或月底公开下载,开源大模型追平 GPT 的窗口正在打开。对关心 AI 成本和数据主权的读者,这是一次值得提前评估的事件。
Reflection 押注'非中国'开源 — 西方终于有自己的开源代表队
前 DeepMind 团队创办的 Reflection AI 推出首个开源模型 Beam,定位'非中国版'开源大模型,效率声称达同类 3-4 倍。这家估值 250 亿美元的公司想用身份差异切入被中国开源模型主导的市场。
Qwen 3.8 27b 跑分惊艳,实测却让开发者失望
Reddit 资深开发者用 32GB 显存实测阿里 Qwen 3.8 27b:跑分惊艳,但代码任务频繁陷入 thinking loop 自说自话,甚至误删编辑中的文件。开源大模型跑分榜与真实可用性的鸿沟,又一次摆到了台面上。
本地大模型跑 Agent 实测:通义千问 27B 夺冠,垫底者败在'刹不住车'
一位 Reddit 工程师用统一基准对 15 款开源大模型做实测。通义千问 27B 以 71.8% 拿下第一,但垫底模型的失败原因揭示了一个被忽视的工程难题:AI 不会做不重要,会不会收手才重要。
智谱 GLM 跑出 Claude 级表现 — 本地部署开始威胁云 API
本周 Reddit 本地 AI 圈实测发现,智谱开源的 GLM 5.3 Flash 在双卡 DGX Spark 上跑出接近 Claude Opus 4.8 的表现。这是中国开源大模型第一次在消费级硬件上摸到顶级闭源模型天花板,意味着本地部署的「够用时刻」可能比预期更早到来。
AI 太会奉承被嫌弃 — Kimi K2 和 GPT OSS 都掉队了
Reddit 技术社区有用户公开求推荐'不奉承'的开源大模型。他点名 Kimi K2 和 GPT OSS 120b 已经'太会顺着说',做研究被带偏、写代码漏 bug。值得关心的是:AI 用户的需求正从'能不能用'升级到'会不会顶嘴',这对所有大模型厂商都是新考题。
Reddit 一条 AI 段子爆火 — 开源社区用笑话消解大模型神话
r/LocalLLaMA 上一个关于'只训练笑话的 AI 模型'的零信息帖子爆火。这条段子的真正价值在于反映开源开发者对当前大模型营销话术的集体吐槽——能力被过度包装时,社区用幽默自救。
本地版 Qwen 在三项编程测试中追平 Claude Opus 4.6 — 订阅制 AI 开始有压力
Reddit 用户用消费级硬件(两块 RTX 5060 Ti 显卡共 32GB 显存)跑出对照测试,本地版 Qwen 综合得分 92.7,与付费版 Claude Opus 4.6 完全打平。开源模型在代码任务上首次如此接近顶级闭源,企业 IT 预算和个人开发者都在重新算账。
Qwen 模型本地显存砍半 — 中国开源 AI 从'卷参数'转向'卷效率'
Qwen 是阿里通义千问系列开源模型。本周 llama.cpp 社区的代码改动让 Qwen Flash Next 本地运行所需显存砍半——用消费级显卡跑中国顶级开源模型,正在变得更现实。
欧盟「儿童保护」法规或成打击开源 AI 的借口 — 开源社区开始警惕
本周海外开源大模型玩家社区 r/LocalLLaMA 抛出一个尖锐问题:欧盟推动的儿童保护法规,会不会成为限制「开放权重」模型的工具?我们整理了正反两方的看法。
27B 开源模型在单人测试中击败 GPT 和 Claude — 本地大模型开始够得着闭源阵营
一位 Reddit 用户用单张 RTX PRO 6000 工作站,花三周测试国产开源模型 Qwen3.8 三个版本。结果:27B 稠密模型在一项综合竞技测试中拿到 700/1000,超过 Claude 和 GPT。这对企业 IT 选型有参考意义。
AI 周报继续刷屏 — 本周有社区喊停:到底谁把项目跑通了
本周 LocalLLaMA 社区一篇热帖喊停:别再刷爆点,亮出真实落地案例。背后是开发者对『发布会繁荣、落地惨淡』的集体疲劳,也指向一个真问题——AI 从 demo 到生产,到底卡在哪。
同一个咒语让小模型多答对题,另一个反而变笨:AI 调优没有万能钥匙
本周 Reddit 上一个 AI 极客发现,给模型'惩罚'犹豫词汇能让 Qwen 多答对几道数学题,但在另一个开源模型上却失效。我们关心的是:AI 调优这件事,远没有'一招鲜'那么简单。
llama.cpp 上线 5 个社区小模型和专用接口 — 本地跑大模型的工具在变多
llama.cpp 是目前最主流的开源本地大模型推理引擎。本周它新增了 5 个社区模型和一个 systemone 接口,说明本地 AI 工具链在持续变厚,但离普通用户上手仍有距离。
Mirostat 这技术没人提了 — 老补丁被淘汰反映新大模型变聪明
一个不起眼的 Reddit 帖子问'还有人用 Mirostat 吗'——背后是开源大模型代际进步的信号。当'防笨补丁'被自然淘汰,说明底层模型已经不再需要这些外部工程技巧。