字节级模型

字节直接喂 Transformer 效果更好 - 大模型的「分词」常识可能被改写

一篇 arXiv 论文证明：不做分词、直接把原始字节喂给标准 Transformer，在参数量对齐时损失更低，细粒度任务提升 40%。分词器是几乎所有大模型的底层组件，假设一旦松动，整个行业的训练和推理成本结构都要被重新讨论。