交叉熵

AI 圈疯传的科普视频：交叉熵背后是「压缩即智能」的旧判断

Lobsters 上一部讲交叉熵的教学视频最近被反复提起，是「Compression is Intelligence」系列的第二集。它真正想说的不是公式，而是 Sutskever 等人坚持了数年的一个假说：能压缩数据，就能理解世界。这条线索值得每个想理解大模型的人重新看一遍。