Meta
Meta 开源 TLX 底层 GPU 编译器,模型性能优化正从专家走向工程团队
Meta 开源 Triton Low-Level Extensions(TLX),让机器学习工程师在保留 Triton 易用性的同时,更精细地调度 GPU。它已在推荐系统和大模型训练中投入使用,释放的信号是:AI 竞争正从模型能力延伸到算力利用率与单位成本。
找到 2 篇关于此标签的文章
Meta 开源 Triton Low-Level Extensions(TLX),让机器学习工程师在保留 Triton 易用性的同时,更精细地调度 GPU。它已在推荐系统和大模型训练中投入使用,释放的信号是:AI 竞争正从模型能力延伸到算力利用率与单位成本。
训练好模型只是开始,如何便宜地把 AI 跑起来才是新瓶颈。AWS 与 NVIDIA 在医疗 AI 公司 Heidi 上的合作:把语音识别 GPU 从 16 台压到 4 台,节省 75% 算力,延迟仍低于 1 秒。