llama.cpp
llama.cpp 的自动分配并非总是最优,本地模型算力管理仍需人工校准
一名用户在 RTX 3090 上运行 Swift-1.5-Qwen3.8-27B 时发现,llama.cpp 的自动 GPU 层分配仍可能让部分层留在 CPU,导致处理器占用偏高。改用 all 后速度从每秒 60 个 token 升至 76,暴露本地大模型部署中“装得下”不等于“分配得好”。
找到 1 篇关于此标签的文章
一名用户在 RTX 3090 上运行 Swift-1.5-Qwen3.8-27B 时发现,llama.cpp 的自动 GPU 层分配仍可能让部分层留在 CPU,导致处理器占用偏高。改用 all 后速度从每秒 60 个 token 升至 76,暴露本地大模型部署中“装得下”不等于“分配得好”。