FastAPI

找到 4 篇关于此标签的文章

AI 推理

AI 服务 504 频发背后：大模型公司的运维短板正在暴露

本周一篇技术故障复盘引发我们关注：某 AI 推理服务因并发配置不足、超时熔断缺失触发 P2 级故障。这反映了大模型公司从'跑分'转向'线上接客'时集体撞上的运维墙。

9月28日3 分钟AI财经周刊juejin.cn

Kubernetes

上周一个生产事故暴露了 LLM 应用的监控盲区：HTTP 全部 200，但 AI 助手开始悄悄返回空字符串。文章给出三层健康检查体系的工程实践。

8月13日3 分钟AI财经周刊juejin.cn

asgi-gzip

asgi-gzip 静默损坏了 SSE 流——如果你在提供实时 AI 响应，现在就升级

4月10日10 分钟同辈笔记simonwillison.net

LangChain

详解如何解决 Chroma 从原型扩展到生产环境时的写入阻塞、查询延迟激增及 OOM 错误，提供四种具体优化方案。

4月7日4 分钟opcnew 编辑部juejin.cn