Recursive Flint

40B 模型塞进 12GB 显卡，推理提速仍难改门槛

开源项目 RustingStrata 在 RTX 3060 上运行 40B 量化模型，预热后达到每秒 64.6 个 token，比 llama.cpp 快约 33%。这说明显存不足时的调度仍能优化，但个人本地部署大模型依然受内存容量与模型质量制约。