这是什么

本周 Reddit 一组测试数据值得关心：在两块 NVIDIA DGX Spark（搭载 GB10 芯片）工作站上，开发者 sf-stav 自研的 Rust/CUDA 推理引擎 veloGB10 让 Swift 1.5 模型（基于 Qwen3-Flash-Next 的微调）单流解码跑到 110 token/秒（token 即 AI 处理文本的最小单位），是此前 vLLM（主流开源推理框架）方案的 2 倍多。

测试用 Claude Code 这类编码 Agent 跑真实任务：5 个日常编程任务平均耗时从 506 秒降到 371 秒；4 个高难度「陷阱」任务通过率从 50% 跳到 92%。

关键判断：现在可以开更高强度的推理档位（xhigh，即让模型思考更久）完成过去中等档位都做不好的活。这是「以速度换智能」的兑现。

行业怎么看

乐观派视之为「本地 AI 成熟」的信号：速度翻倍意味着对数据敏感的任务（内部代码、客户文档）可以留在自己机房，不必依赖云端 API。

但冷静的声音同样有力：

  • 硬件门槛高：单卡数千美元的 NVIDIA GB10 工作站，并非普通企业能复刻的配置
  • 兼容性糟糕：velo 默认只能加载官方量化版本，社区版几乎全报错，作者得自己写补丁才能跑
  • 云端 API 价格仍在下行：Token 成本年初至今已砍近一半，自建方案的总成本优势窗口在收窄

值得关心的是：硬件加速带来的红利，正被生态碎片化一点点吃掉。

对普通人的影响

  • 对企业 IT：本地部署 AI Agent 从「PPT 概念」进入「可测试方案」，金融、医疗、制造业等数据敏感场景值得在明年做小规模试点
  • 对个人职场：硬件门槛在降，但「会调模型、会排坑」的工程师比「会写提示词」的人更值钱
  • 对消费市场：这套硬件离普通用户仍有 2-3 年距离，Mac Studio 仍是当下更现实的选择