这是什么

上周 Reddit 社区 r/LocalLLaMA 一位工程师发帖：用两块华为 Ascend 310P 国产 AI 芯片（每张 96GB 内存），跑通了智谱 AI 开源的 GLM-5.3-Flash 模型（名字按发帖者所写）。这是个 3200 亿参数的 MoE（混合专家，即每次推理只激活一部分参数以节省算力的模型架构），单次激活约 180 亿参数。

经极限量化（2-4 bit 精度）和底层优化，他在国产硬件上做到：生成 8-9 token/秒、单请求最长可处理 31 万 token、开启 YaRN 后扩展至 100 万 token。他还设计了一套叫「Ascend Sidecard」的混合方案：让 NVIDIA 卡与华为卡协同，分别承担模型不同层的计算负载。

行业怎么看

乐观的声音主要来自硬件替代阵营。这是国产 AI 加速卡（专门跑 AI 计算的处理器）首次被公开证明能承载旗舰级开源大模型。同档内存下 Ascend 310P 价格约为 NVIDIA RTX 6000 的七分之一，如果这条路真跑通，国内 AI 部署的成本结构会变。

但请注意三个现实问题：

  • 8-9 token/秒的生成速度，对实时类企业应用仍偏慢。ChatGPT 类服务通常达 50+ token/秒；
  • Reddit 工程师的实验 ≠ 商业可用。华为 CANN 软件栈成熟度仍远落后于 CUDA，企业真要上线，要补的工程活远比一篇帖子多；
  • W2/W3/W4 这种极限量化会让模型精度损失，目前仅适合研究和测试场景。

外部环境上，美国正在讨论新一轮针对 Ascend 的出口限制，这条路并不平坦。

对普通人的影响

对企业 IT：仍属小众，但多了一个「备胎」选项值得跟踪 — 尤其在数据合规要求本地化部署的国内场景。

对个人职场：硬件层变化对打工人无直接影响，ChatGPT、文心一言、豆包等产品背后用什么芯片你都感觉不到。

对消费市场：短期不会传导到 C 端。这条新闻的「信号意义」大于实际商业影响，普通消费者无需为此做任何调整。