返回首页
Unsloth
找到 7 篇关于此标签的文章
IBMGranite
IBM 开源 Granite 4.1 小模型，21 个量化版本实验证明瓶颈不在体积
IBM 发布 Apache 2.0 开源的 Granite 4.1 系列。有人用 21 个不同大小的量化版本画鹈鹕，发现质量无差异 — 小模型的能力短板不在压缩精度，在基础能力本身。
May 51 分钟
MistralUnsloth
Mistral 本地版文件损坏已修复 — 开源模型的品控盲区比你想的大
Mistral Medium 3.5 的本地运行版本此前全部文件损坏，输出乱码，本周被社区修复。小事一桩，但暴露了开源模型"官方只管 API、本地格式靠社区"的品控真空——对企业本地部署决策有实际影响。
May 21 分钟
MistralUnsloth
Mistral 3.5 推理 bug 被开源团队修复 — 大模型交付质检亮红灯
开源团队 Unsloth 修复了 Mistral Medium 3.5 的推理缺陷，起因是一个核心参数配置错误。这暴露出大模型公司在交付商业产品时质检流程严重缺位，企业客户需警惕“社区公测”模式带来的业务风险。
May 21 分钟
QwenUnsloth
Qwen3.6-27B量化跑进单张消费显卡—本地部署甜蜜点正在出现
Qwen3.6-27B 经 Unsloth Q5 量化后部署在单张 RTX 5090 上实测，19 轮任务表现稳定。中等规模模型的本地部署可行性正在实质性提高，值得关心硬件成本与能力边界的交汇点。
May 11 分钟
UnslothQwen3.6
Qwen3.6 GGUF Benchmarks
Un sloth claims top KLD-vs-disk-space performance for Qwen3.6-35B-A3B quants in 21 of 22 pareto frontier comparisons.
Apr 173 分钟
llama.cppQwen3
GPoUr with ~12gb vram and a 3080 getting 40tg/s on qwen3.6 35BA3B w/ 260k ctx
ll ama.cpp 的 turboquant 分支通过 turbo3 KV cache 量化， 在单张 RTX 3080 12GB 显存上实现 Qwen3-35B-A3B 约 40 tok/s 推理速度，并支持 260k 上下文窗口。
Apr 161 分钟
UnslothMiniMax-M2.7
Unsloth 发布 MiniMax M2.7 完整 GGUF 量化套件
Unsloth 为 MiniMax M2.7 上传 22 个 GGUF 量化版本，覆盖从 1-bit（60.7 GB）到 BF16（457 GB）的完整量化梯度，大幅降低本地部署门槛。
Apr 121 分钟