Attention Residuals

月之暗面用注意力改造残差连接 — 大模型深网信息流开始按需选择

月之暗面团队提出 Attention Residuals，用可学习的深度注意力替代传统残差的固定累加，并给出适合推理框架的块化版本。它瞄准的是深层模型的信息稀释与工程成本，而非单纯扩大参数规模。