交叉熵
AI 怎么给自己打分?一篇文章讲透交叉熵 — 它撑起整个大模型训练
一篇掘金教程把交叉熵讲得清清楚楚:它决定了大模型训练时如何区分'40% 把握答错'与'1% 把握答错'。损失函数比准确率更值得企业 IT 关注。
找到 2 篇关于此标签的文章
一篇掘金教程把交叉熵讲得清清楚楚:它决定了大模型训练时如何区分'40% 把握答错'与'1% 把握答错'。损失函数比准确率更值得企业 IT 关注。
Lobsters 上一部讲交叉熵的教学视频最近被反复提起,是「Compression is Intelligence」系列的第二集。它真正想说的不是公式,而是 Sutskever 等人坚持了数年的一个假说:能压缩数据,就能理解世界。这条线索值得每个想理解大模型的人重新看一遍。