Crowd-v1 一周训练 130 亿词,开源协作模型开始受检验
Crowd-v1 是由社区共同训练、数据和代码开放的 10 亿参数模型。项目一周内获得 85 名贡献者并处理 130 亿词,显示分散算力也能参与基础模型训练,但它能否达到 Qwen3-0.6B 的水平,仍待基准测试验证。
找到 29 篇关于此标签的文章
Crowd-v1 是由社区共同训练、数据和代码开放的 10 亿参数模型。项目一周内获得 85 名贡献者并处理 130 亿词,显示分散算力也能参与基础模型训练,但它能否达到 Qwen3-0.6B 的水平,仍待基准测试验证。
腾讯提出 DSpine,通过在模型各层注入前序位置信息,改善并行草稿生成的连贯性。论文称其在 Qwen3 模型上提高平均接受长度与推理吞吐,值得关注的是,这类底层优化可能比单纯扩大模型更直接影响 AI 服务成本。
复旦大学团队提出 D3D,将草稿生成与目标模型验证并行化,在 Qwen3 测试中平均提速约 5 倍、最高 7.48 倍。值得关注的是,它瞄准了本地大模型推理延迟这一实际瓶颈,但跨硬件复现与成本收益仍待验证。
Cactus Compute 发布 Mirage,把图像描述、物体识别、文字读取和分割等能力压缩到 22MB,并在三星手机实现百毫秒级响应。它证明端侧模型可先看图、再把结构化结果交给大模型,但小样本成绩和识别漏检也提醒我们,能力距离稳定可用仍有距离。
监督微调(SFT)用成对的指令与回答,把只会续写文本的基座模型改造成能听懂要求、及时收尾的对话模型。它决定模型是否好用,数据质量、格式一致性与成本控制,远比堆叠参数更值得企业关注。
开发者 Jake Manger 上线了 whatmodel.sh——一个根据你机器的 RAM 和 GPU 告诉你能跑什么开源模型的开源榜单。一个值得关注的事实:32GB 内存的 Mac 就能跑出与 GPT-5 持平的分数。它意味着'必须联网调云端大模型'的默认假设,第一次被一个可量化的工具摆到了桌面
本周 Reddit 一帖被顶上首页:用户问 Qwen 3 27B 这种本地模型能不能做软件逆向。这问题不大,但它折射出本地 AI 的真实水位——普通用户开始拿它问“能不能替代专业工作”。开源阵营进展到哪一步,这类提问的反馈是个参照。
一位有 20 年经验的软件工程师在自家电脑上测试了 Gemma4-31B 和 Qwen3.8-27B 两个开源大模型,让它们读陌生代码、从零写 C# 项目。最终评分 B+ 和 B-。这件事值得关注:开源本地 AI 写代码已不再是 demo 阶段。
Reddit 上一位用户晒配置:单张 3090 + 32GB 内存,跑通 Qwen 27B 实现 15 万上下文、每秒 60 token。本地大模型需求正在向一条硬件门槛延伸——消费级硬件够不够装得下大模型。
Reddit 用户用 2498 美元的 M3 Max MacBook 在本地跑 Qwen3 系列大模型,MoE 版本拿到 110 tok/s。这是消费级笔记本首次摸到日常可用的速度,本地化 AI 正在变成中小企业可选的方案。
Reddit 用户用两张合计不到300美元的退役AMD MI50显卡跑通了Qwen3 35B等主流开源大模型,提示本地部署AI的硬件成本正在塌方式下降。
AI 搜索公司 Perplexity 这周开源了 Decider 27B,一个基于阿里 Qwen3-27B 微调的「决策模型」。它不擅长聊天写文章,专精做选择题、判断题。这代表开源生态从「比谁更像人」转向「比谁能干具体活」。
一位用户在 RTX 5060Ti 16GB 显卡上尝试本地运行阿里 Qwen3 27B 模型,一周未找到理想配置。这个案例比发布会更诚实地回答了一个问题:本地跑开源大模型,硬件门槛到底有多高。
一个叫 Strata 的推理引擎把消费级笔记本跑 Qwen3-8B 的速度从 23 t/s 拉到 51 t/s,是 llama.cpp 的两倍多。值得关心的是:本地 AI 跑生产力的临界点是否正在接近。
Reddit LocalLLaMA 社区一位开发者用双显卡跑 Qwen3 270 亿参数模型,怎么调参数都有 1GB 以上显存浪费。这不是个例——它说明 2026 年了,「本地部署 AI」依然只是极客玩具,不是普通人的工具。
本周一个开源项目 Splash 1.1.0 发布,让顶配 Mac 用户在本地流畅运行 270 亿参数大模型,速度约 50 字/秒。值得关心的是:本地 AI 推理开始具备实用性,企业不必再为每一次 AI 调用向云端付费。
LocalLLaMA 论坛开发者实测:用通义千问 27B(阿里开源中等参数模型)+ vLLM(本地推理加速工具),一块消费级显卡满载只能同时跑 8 个多 Agent(多 AI 协同拆任务执行)。多 Agent 是今年最热方向,但本地真实门槛比想象中贵得多。
本周 Reddit 一位开发者用一张 RTX 5090 显卡跑通义千问 Qwen3 27B,让 AI 自己写代码调 CAD 工具,设计出能 3D 打印的花盆和手机支架。这是开源大模型「从聊天到干活」的标志性演示,门槛悄悄下移到消费级硬件。
两款基于 Qwen3 的开源微调模型 ThinkingCap 和 Swift 在代码评测中各砍掉约四成 token,性能几乎不掉。值得关心的是:开源生态正在围绕「减少 AI 过度思考」形成一条新的优化赛道,直接改写本地部署的成本曲线。
一位开发者用自写推理引擎,把阿里开源的 Qwen3.8-Flash-Next 在一张 12GB 消费级显卡上跑到每秒 65 token 输出。这是「中国开源权重 + 全球社区专门优化 + 消费级硬件」组合在本地部署上的又一次突破,对关心 AI 成本和私有化的企业与个人都值得关注。
开源 CLM 模型在 Agent 决策任务上比闭源 Jev 快 4-13 倍,微调后编程验证器基准超过 Jev 约 10 个百分点。但代价是上下文缩到 8K,零样本广度仍输约 4 个百分点。对自建 Agent 的企业是一道新选择题。
Tenstorrent 用户晒出 QuietBox 2 工作站跑 Qwen3.7-27B 的推理数据。这是非英伟达阵营首次拿出接近商用的实测成绩,但距离撼动英伟达生态还很远。
本周 Reddit 一位开发者用一块 24GB 工作站显卡,把阿里通义千问 27B 模型跑出了 128K 上下文和每秒 60 个字的生成速度。值得关心的是:几万块硬件就能本地跑中型大模型,企业不必再把所有数据送去云端。
一位 Reddit 用户用 RTX 3070 笔记本(8GB 显存)跑通 Ornith-1.5-35B-A3B,速度约 32 token/秒,能完整执行 agentic 编程任务。这件事值得关心,是因为消费级硬件开始承接过去需要云端才能跑的 AI 工作流。
新推理引擎 Ninfer 让 Qwen3 模型在 RTX 5090 上跑出平均 170、最高 220 tokens/秒,速度比主流 llama.cpp 快一倍多。本地部署 AI 的体验正在逼近云端 API,企业自建的成本结构开始松动。
GitHub 用户 curvedinf 用 6500 美元的二手 AMD MI100 显卡,把 Qwen3 27B 模型推理速度从 15 token/s 拉到 972 token/s,约 65 倍提升。值得关心的不是某个开源分支,而是企业部署 AI 的硬件门槛正在被个人项目悄悄压低。
Reddit 一位用户计划自掏 100 美元租云端 GPU,系统测试阿里 Qwen3 不同量化版本在本地部署时的真实表现。事情虽小,但折射出一个判断:开源大模型看似免费,但跑起来选哪个版本最值,依然没人替普通用户回答。
本周 Reddit 本地 AI 社区用户发帖,准备用 AMD R9700 跑阿里 Qwen3 系列 27B 模型,结果发现官方公布的 51.8 tokens/秒是理想条件下的数字。真正的长文本场景下,速度从 75 跌到 26。值得关心的是:本地部署 AI 大模型正从能不能跑,进入跑得稳不稳的阶段。
DeepSeek-V3、Qwen3 系列在多项基准测试追平 GPT-5 级别,英伟达 748GB 显存桌面工作站让本地推理的回本周期缩短至两个月。企业用云不再是唯一选项,混合部署正在成为主流架构。