模型分层

对话 context 烧钱 — 开发者让 0.8B 小模型给 70B 减压，按工种配模型

Reddit LocalLLaMA 板块一个讨论让我们注意到：让千问 0.8B 这种小模型专门压缩对话历史，再喂给 70B 大模型推理——不同任务不该共用一个模型，正在悄悄改变 AI 公司成本结构。