RustingStrata

RustingStrata 让超大 Qwen 模型在消费级显卡上提速，瓶颈转向内存管理

RustingStrata 在同一台 RTX 3060 电脑上测试多款 Qwen 模型：当模型超过显存容量，其预填充速度最高约为 llama.cpp 的 1.5 倍，解码最高接近 2 倍。这说明本地大模型运行的关键，不只是显卡算力，也包括内存调度与量化方案。