GPU 量化

老显卡还在扛 AI 大模型 — 业余玩家用 2020 年企业级 GPU 跑 27B 模型

本周 Reddit 上一位本地 AI 玩家发帖求助：想让 2020 年发布的 NVIDIA A40 企业级显卡跑更新的量化模型，目前只能跑 27B 参数。这条不起眼的求助帖折射出一个事实 — 本地大模型的硬件门槛在快速下降，二手老卡正在被重新估价。