30个测试问题里,有16个能被规则分到更便宜的模型,覆盖率为53%。这件事的判断是:AI应用降本的空间,往往不在砍掉功能,而在识别哪些请求根本不需要最强模型。

这是什么

这套方案叫动态路由(按问题复杂度,把请求分配给不同价位的模型)。作者先按长度、关键词和问候语计算复杂度,再决定交给便宜模型还是强模型,并用日志记录每次路由原因。

核心不是“简单问题走便宜模型”这句口号,而是建立接管清单:同一批问题分别交给两个模型测试,只有质量稳定达标,才把对应流量切过去。复杂问题一旦答错,应升级到强模型重试;把简单问题误送强模型只是多花钱,把复杂问题误送便宜模型才可能伤害业务。

行业怎么看

值得肯定的是,这种做法把模型选择变成可评测、可解释的工程问题。规则成本低、便于排查,适合作为起点;后续再考虑用小模型分类或让大模型打分,处理规则覆盖不了的长尾问题。

但53%的路由比例不等于53%的成本下降。文章也承认,来源只给出30个问题的初步分布,样本较小,且实际节省还要看两个模型的真实单价、通过率、失败重试和路由自身成本。尤其是涉及代码、安全、部署等专业问题时,误判不能仅靠关键词补救。

另一个风险是规则漂移:产品功能和用户提问方式变化后,原先的接管清单可能失效。若没有持续评测与线上监控,旧规则会持续把请求送往错误档位,省钱或变贵都难以察觉。

对普通人的影响

对企业 IT:模型采购的重点可能从“全量调用最强模型”转向分层调度,但前提是建立测试集、路由日志和失败升级机制,而非手工凭感觉配置关键词。

对个人职场:日常问答、资料整理等任务可能更多由低成本模型处理;涉及代码审查、合同分析和关键决策时,企业反而会更依赖强模型复核。

对消费市场:同样的AI服务价格有望更稳定,部分免费功能可能扩大;不过价格下降是否惠及用户,仍取决于模型成本究竟由平台吸收,还是通过涨价与功能限制转嫁。