Spectra-Global
有人用 FFT 砍掉大模型微调一半显存 — 这是真优化还是宣传
Reddit 社区一个叫 Spectra-Global 的开发者声称，用 FFT 替换 AdamW 优化器，把大模型微调的显存砍掉近一半，代价是每步训练变慢。未经同行评审，可信度待定。
返回首页
FFT
找到 2 篇关于此标签的文章
Wave Field LLM
一位独立研究者称把上下文拉到128K，真正值得看的是大模型降本新思路
Reddit 上一位独立研究者发布 Wave Field LLM，声称用新的注意力机制把训练复杂度降到 O(N log N)，并在 128K 上下文下避免传统方案爆内存。我们判断，这更像一次值得跟踪的底层架构试验，而不是马上可用的产品突破。