NVIDIA
NVIDIA 把模型部署框架完整开源 — 它押注 AI 写代码会成为新常态
NVIDIA 这周开源了 TensorRT Model Connect,一套 C++ 写的 AI 模型部署参考实现。值得关心的不是工具本身,而是它从第一天起就按「AI 编程助手是主要贡献者」来设计架构——这是 AI 原生开发范式的一个早期样本,传统公司可以从中看到未来几年软件工程长什么样。
找到 2 篇关于此标签的文章
NVIDIA 这周开源了 TensorRT Model Connect,一套 C++ 写的 AI 模型部署参考实现。值得关心的不是工具本身,而是它从第一天起就按「AI 编程助手是主要贡献者」来设计架构——这是 AI 原生开发范式的一个早期样本,传统公司可以从中看到未来几年软件工程长什么样。
训练好模型只是开始,如何便宜地把 AI 跑起来才是新瓶颈。AWS 与 NVIDIA 在医疗 AI 公司 Heidi 上的合作:把语音识别 GPU 从 16 台压到 4 台,节省 75% 算力,延迟仍低于 1 秒。