tokenizer

Qwen 写代码强、Gemma 聊文本好 — 分词器差异比想象中更致命

一份 Reddit 用户的实测发现：同样 330 行代码，Qwen 切成 1609 个 token，Gemma 切成 4258 个。这个 2.6 倍的差距，可能就是两款开源模型表现风格迥异的隐藏原因。