tandem.cpp
本地大模型长提示提速 2至6倍,tandem.cpp 仍难补齐短板
tandem.cpp v0.3.0 通过专家缓存和 4096-token 批处理,让部分 Qwen3.8、DeepSeek-V4.1 本地模型的提示处理速度提升 2至6倍。但项目仅支持 Linux,超长提示和 SSD 读取仍是瓶颈,Windows 版也尚未发布。
找到 1 篇关于此标签的文章
tandem.cpp v0.3.0 通过专家缓存和 4096-token 批处理,让部分 Qwen3.8、DeepSeek-V4.1 本地模型的提示处理速度提升 2至6倍。但项目仅支持 Linux,超长提示和 SSD 读取仍是瓶颈,Windows 版也尚未发布。