这是什么
一位海外用户在 RTX 5060ti 16GB 显卡上,本地运行了阿里通义千问 3.8 系列的三个模型(Flash、Swift、27B 的量化版本),用 AtCoder 平台最近 30 天、确保未被训练数据污染的 14 道编程题作为测试集,配合 4 档思考强度(无/低/中/超高)做横向对比。整套测试耗时约 11 小时,单题思考预算上限 32K token。
行业怎么看
结论很直接:三款模型在低、中、高三档思考强度下,解出题目数的差异不超过 ±2 道;思考强度拉到最高,时间多花了 33% 到 57%,多出来的 token 主要花在"模型本来就要失败的题"上——也就是把思考预算撞满上限、最后还是写不出代码。真正稳定掉链子的只有"完全不开思考"这一档:无思考时,模型要不干脆不写代码(DNF),要不就写错(ERR)。
反对意见也得听:14 题样本偏少,统计噪声不小;测试硬件是消费级显卡,在企业级 GPU 集群、更长思考预算下,曲线可能不同。但这个发现与近几个月 Anthropic、Google 在内部基准上的观察方向一致——推理模型的边际收益正在递减,"思考"更像一个开关,而不是无级变速的油门。
对普通人的影响
对企业 IT:采购带"深度思考/推理"模式的 API 时,建议要求供应商在你们自己的业务场景上跑对比,而不是默认开最高档。多出的 token 费用,未必换来对等的准确率。
对个人职场:用 ChatGPT、通义、文心等工具解题或写方案时,不必迷信"深度思考"按钮。时间紧时关掉,可能比开着等更划算——等待时间显著拉长,答案未必更好。
对消费市场:订阅费里包含的"高级推理"溢价正在被这种实测挑战。预计未来一年,C 端订阅档位会分化得更清楚——基础档关思考、Pro 档保留思考,定价会比今天更透明。