tinybrain
个人开发者用600亿Token训练中文小模型,开源的价值在流程
tinybrain项目公开了从数据清洗、架构设计到强化学习的中文小模型训练全流程,数据规模约600亿Token,代码和数据集同步开源。它尚未交付模型权重,但完整复现路径降低了中文模型研发门槛,也让个人参与基础模型训练更现实。
找到 2 篇关于此标签的文章
tinybrain项目公开了从数据清洗、架构设计到强化学习的中文小模型训练全流程,数据规模约600亿Token,代码和数据集同步开源。它尚未交付模型权重,但完整复现路径降低了中文模型研发门槛,也让个人参与基础模型训练更现实。
Qwen 团队新公开的 Engram 架构,核心是把"死记硬背"外包给查表,让小模型省下算力做真推理。对本地部署和企业都是好消息,但社区已经泼冷水:记忆不等于智能,1T 本地跑仍是幻觉。