Annapurna Labs

SGLang 登陆 AWS Trainium — 大模型推理开始补上算力成本这一课

AWS 与 RadixArk、Annapurna Labs 推出 SGLang-Neuron，让开发者沿用熟悉的 SGLang 接口，在 AWS 自研 Trainium 芯片上部署大模型并执行强化学习任务。值得关注的是，模型服务竞争正从“调用现成 API”转向对底层算力、缓存与推理流程的共同优化。