这是什么

本周 Reddit r/LocalLLaMA 上一位独立开发者发了一篇实操笔记：他用单张 RTX5090（消费级显卡，市价 2-3 万人民币）+ 9800X3D 顶级 CPU 同时跑 25 个 AI Agent 做「agentic coding」——也就是让 AI 真的去调工具、跑代码、查文件。结果：GPU 闲置在每秒 700 token 的速度，CPU 所有线程却全部 100% 跑满。结论是：你以为 Agent 慢是模型慢，其实是被调度系统拖死。

他把这个现象叫做「工具调用（tool call）」瓶颈。当 AI 不再只是「说话」，而是要真去执行动作（点 API、查数据库、改文件），调度这些动作的 CPU 开销远远大于生成文字本身。这位开发者自己也写了推理引擎、做了 prefill 缓存复用，属于已经把单卡性能榨到极致的人。

行业怎么看

这个发现和上周吴恩达「90% Agent 项目卡在落地」的说法方向一致：不是模型不够好，是系统架构跟不上。但行业内也有不同声音，需要并排放：

  • 云厂商（Anthropic、OpenAI 等）会反驳：他们的方案已经在专用编排层处理 tool call，用户感受不到
  • 传统 IT 部门会警觉：Agent 落地瓶颈不在算力在调度，意味着「堆 GPU」的采购逻辑可能跑偏
  • 评论区有开发者指出：这是单机单卡方案的天然局限，分布式调度可以缓解

编辑部认为值得点出的是：这位开发者不是业余玩家。即便做到了极致，单机系统依然扛不住多 Agent 并发——这才是有信号的信号，而不是「一个人没优化好」。

对普通人的影响

对企业 IT：采购 AI 算力时，CPU、内存、调度框架（Agent 怎么排队、怎么互相通信）的预算比例需要重排，不能再只盯着 GPU 数量。

对个人职场：别被「AI 这么快」的演示忽悠。Agent 能不能稳定干活，取决于背后工程能力，而不是模型本身有多炫。

对消费市场：未来一两年 SaaS 厂商会把 Agent 功能堆进产品，但稳定性很可能参差不齐——先行的会暴露调度层脆弱的问题，后发的有机会抄作业。