量化技术

16GB 显卡跑通 20 万字上下文 — 本地大模型跨过一道坎

本周 Reddit 上有用户用笔记本加外接显卡，把 27B 参数的通义千问跑到了 20 万 token 上下文。这意味着中型 AI 第一次离普通人的桌面这么近。