Mamba-2

大模型正放弃全量注意力 — 长上下文成本下降但检索可靠性仍待验证

开源大模型的架构正在从全量注意力转向混合与局部注意力，目标是降低长上下文计算和内存成本。不过，压缩历史信息可能损害精确检索，实际效果仍需结合具体任务验证。