小模型训练

100 欧元训出 1 亿参数模型 — 训练白菜价了，但能力还差得远

一个 Reddit 用户用 100 欧元、不到 5B token，从零训练出 1 亿参数的 BitNet 小模型，支持 64K 上下文。值得关注的是训练成本骤降这件事本身，不是模型能力。