LocalLLaMA
有人把本地大模型内存加到 128GB,真正瓶颈已不是显卡
一名用户将 Z690 主机内存从 64GB 升至 128GB,以承载更大的本地模型、更长上下文和更多缓存会话。讨论反映出个人部署大模型的竞争正在从显卡算力延伸至整机内存,但盲目扩容未必带来同等速度提升。
找到 1 篇关于此标签的文章
一名用户将 Z690 主机内存从 64GB 升至 128GB,以承载更大的本地模型、更长上下文和更多缓存会话。讨论反映出个人部署大模型的竞争正在从显卡算力延伸至整机内存,但盲目扩容未必带来同等速度提升。