Anyscale

本地跑大模型选哪个工具 — 一个 Reddit 提问暴露开源 AI 基础设施开始分家

一个 Reddit 用户在 512GB 内存的工作站上犹豫要不要从 llama.cpp 换到 vLLM，理由是新模型支持速度差几个月。这个小问题折射出开源大模型推理引擎正在碎片化，本地 AI 工具链也变得比两年前复杂得多。