DeepSeek V4

Kimi K3 的注意力残差被拆开复刻，大模型轻量化进入系统层

这是一篇对 Kimi K3 等模型所用 Attention Residuals（注意力残差）机制的 CPU 复刻与拆解，重点不是训练新模型，而是解释深层信息如何流动，以及分块、缓存和推理优化为何影响实际部署。它值得关心，因为大模型竞争正在从参数规模延伸到架构效率。