GPU 推理

AI 推理成本砍掉 75%：AWS 与 NVIDIA 的医疗省钱样本

训练好模型只是开始，如何便宜地把 AI 跑起来才是新瓶颈。AWS 与 NVIDIA 在医疗 AI 公司 Heidi 上的合作：把语音识别 GPU 从 16 台压到 4 台，节省 75% 算力，延迟仍低于 1 秒。