这是什么
流式输出,指 AI 一边生成回答、一边把内容推给用户,而不是等全部生成完毕再一次性甩出。衡量它的核心指标是「首字延迟」(TTFT,Time To First Token)—— 从用户发出问题到看到第一个字的时间。
差别有多大?我们注意到一组数据:同步接口下用户等 8 秒看到全部答案;流式接口总耗时同样 8 秒,但 0.5 秒就能看到第一个字,后面逐字「打字」推进。心理学上这叫感知性能:用户对「正在进行」的容忍度远高于「毫无响应」。
流式还带来一个同步接口给不出的能力:过程可见。「正在查询您的积分……」「已为您检索到退换货政策」——AI 调用工具(Tools)和检索知识库(RAG,让 AI 在回答前去翻指定文档库)的中间步骤,能在正文输出前实时推给前端。8 秒的空白屏幕,被替换成 8 秒的信息流。
行业怎么看
一个被普遍接受的事实:流式已是 ChatGPT 在 2023 年教育完市场后的标配。今天没有打字机效果的 AI 产品,用户第一反应就是「这玩意是不是套壳的」。
但也有冷静的声音值得我们记下。第一,流式只是表面功夫。如果模型本身质量不行,把糟糕答案逐字打出来,反而放大了坏体验。「看起来专业」和「真的专业」是两回事——一些团队把 80% 的工程精力花在做流式 UI,核心智能却原地踏步。第二,部分产品用流式掩盖长延迟:模型推理耗时没变,只是先推一个「正在思考」的动画糊弄过去,用户感知是好了,但实际等待时间没缩短。第三,流式本身的工程复杂度不低——断线重连、错误处理、可观测性都要补齐,中小团队的产品可能引入更多稳定性问题。
对普通人的影响
对企业 IT:客服、内部知识库这类面向员工或客户的 AI 产品,没有流式基本无法上线——用户已经被 ChatGPT 训练出了肌肉记忆。
对个人职场:使用 AI 工具时,判断「哪个产品更专业」的隐性标准被拉高了。还在用「发完问题等几秒」的产品的团队,可能正在无声地失去用户耐心。
对消费市场:流式已是默认配置,不是差异化卖点。如果一个产品今天还在把「流式输出」当亮点宣传,往往意味着它其他方面拿不出手。