Kubernetes
找到 9 篇关于此标签的文章
AI 模型终于被打包成「标准件」了 — 但上云只是省成本的第一步
本周一篇技术博客演示了用 Docker(容器技术)和 Kubernetes(自动管容器的工具)部署 AI 模型服务的标准流程。这对工程师是新知,对企业管理者则是信号:AI 落地的工程化时代正在到来。
AI 模型上线没那么简单:KServe 调和循环拆解告诉我们的工程现实
KServe 是 Kubernetes 生态主流的开源 AI 模型服务平台。本周源码拆解文章揭示:一个 AI 模型从 YAML 配置文件到生产环境,中间要走 9 步调和流程,对企业 IT 落地成本有直接参考意义。
AI 模型上线的真正难题不在算法 — 一份开源工具拆解点破了工程现实
KServe 是 Kubernetes 上部署 AI 模型最主流的开源框架,最近一篇源码拆解意外披露一个细节 — 一个 AI 模型从几行 YAML 到生产可用,中间要经过两个阶段、三套构建器接力。这背后的隐性成本,才是普通读者真正该关心的。
千亿大模型训练的开源链路首次完整跑通 — 但能用上的中国团队不到十家
工程师把 K8s(容器调度)、Megatron-LM(NVIDIA 开源的模型并行训练框架)、vLLM(推理加速引擎)拼成一条训练千亿参数模型的完整流水线,并写成对照文档。国产大模型的「基础设施焦虑」有了解法,但真正能跑起来的玩家仍屈指可数。
AI 服务'活着'却返回空格和乱码,传统监控在 LLM 时代集体失明
上周一个生产事故暴露了 LLM 应用的监控盲区:HTTP 全部 200,但 AI 助手开始悄悄返回空字符串。文章给出三层健康检查体系的工程实践。
VeOps CLI把排障流程交给AI,火山引擎在卖更省人的运维入口
VeOps CLI把指标、日志、Trace和Kubernetes状态串成可被AI助手调用的命令行工具。值得关心的不是又多了一个CLI,而是云厂商开始把“排障入口”从控制台页面改成Agent可调用的工作流。
STAR 把自动扩缩容做到容器级,AI 开始接管云成本里的细活
这篇论文讨论的不是更强大模型,而是更省钱的云系统运营:STAR 用图注意力网络和 Transformer 同时判断服务依赖与负载变化,把扩缩容从“看 CPU 阈值”推进到“按容器精细调度”。值得关心的是,AI 在企业 IT 中最先落地的,往往就是这类直接影响成本与稳定性的基础环节。
一套生产级 RAG 架构走红,判断标准已从“会不会做”转向“能否落地”
开源社区这篇“生产级 RAG 架构”文章的价值,不在于又教会大家一个新名词,而在于把企业做知识库问答的真实门槛说透了:模型不是最难的,数据抽取、切块、检索和部署细节,才决定系统能不能上线。
一份AI发音纠错清单走红—术语误读背后是中文知识工作者的信息时差
一份AI编程术语发音避坑清单走红,Codex不是Code-X,Claude不是Cloud。术语误读看似小事,实则暴露中文技术社区对英文原典的望文生义习惯——AI时代新词涌现速度已远超中文译名跟进能力。