一名开发者把一个未训练的 Forth 解释器写入 NVIDIA Nemotron 3.5 Lightning 权重,使 30B 模型中有 3B 参数处于激活状态;经 LoRA 微调后,600 道题得分从 79.1% 升至 92.1%,但逐词执行带来的成本仍限制实用性。
值得关注的不是模型“学会”了一门低级语言,而是计算被放进了模型生成过程本身。这条路线减少了显式工具调用,却把推理效率推到了更显眼的位置。
这是什么
这是一个研究项目:在同一个 Nemotron 模型中,开发者额外加入 27 层网络,由脚本计算权重而非训练得到。它充当 Forth 解释器(一种以栈为核心、逐词执行的编程语言),模型每写出一个词,解释器就执行一步,并把结果作为后续文本继续生成。
测试中,765,734 个机器 Token(模型内部生成的计算步骤)与 Python 参考实现完全一致。LoRA(低秩适配,一种只调整少量参数的微调方法)解决了模型“不相信机器、拿到答案后仍重复手算”的问题。
行业怎么看
我们认为,这项实验证明模型权重可以承载确定性计算组件,为“生成即执行”提供了具体样本;开发者也公开了代码、测试、训练配方及失败记录。
风险同样明确:每一个机器步骤都要完成一次完整前向计算,速度远慢于普通工具调用。数值上限也只有 20 位,长整数测试仍输给 Python。此外,测试规模主要来自特定算术集,不能据此推断模型在通用任务上获得提升。这仍是研究演示,不是可直接部署的产品方案。
对普通人的影响
对企业 IT:它为内部计算组件与模型协同提供了新思路,但现阶段更适合研究团队验证概念,不宜据此重做现有工具链。
对个人职场:更可信的本地模型可能逐步承担计算和自动化任务;眼下直接价值主要体现在技术学习与开源实验,而非办公效率立刻提升。
对消费市场:消费者短期内不会直接接触这项方案;若后续效率问题得到解决,模型驱动的计算服务才可能进入更多桌面和移动应用。