Oguz Eldereli

消费级显卡开始跑起大模型训练 — 门槛降低但尚未成熟

研究者用低比特训练方法，把大模型训练所需显存从传统 AdamW 优化器的约 16 字节/参数压到 1 字节以下，使 270 亿参数模型可在单张 24GB 显卡上训练。它为本地模型定制提供了新路径，但数据成本、事实记忆和稳定性仍未解决。