Kronos
Kronos 编码器并非激活函数,实测揭示两者层级差异
Kronos-Tokenizer-base 的实测显示,编码器末尾的 sign 确实是激活函数,但整个编码器包含可训练参数、跨位置信息交换和 7 个非线性。把它直接类比为激活函数,会掩盖模型组件之间真正的层级关系。
找到 1 篇关于此标签的文章
Kronos-Tokenizer-base 的实测显示,编码器末尾的 sign 确实是激活函数,但整个编码器包含可训练参数、跨位置信息交换和 7 个非线性。把它直接类比为激活函数,会掩盖模型组件之间真正的层级关系。