FreeToken
显卡装不下时 FreeToken 比 llama.cpp 快 7 倍,日常反而慢 3 倍
Reddit 用户对比测试 FreeToken 与 llama.cpp:模型塞得进显存时 llama.cpp 快 2-3 倍,塞不进时(如 63GB 的 120B 模型)32 人并发 FreeToken 首 token 速度快 7 倍。两个工具针对场景不同,企业本地部署 AI 需按规模选型。
找到 2 篇关于此标签的文章
Reddit 用户对比测试 FreeToken 与 llama.cpp:模型塞得进显存时 llama.cpp 快 2-3 倍,塞不进时(如 63GB 的 120B 模型)32 人并发 FreeToken 首 token 速度快 7 倍。两个工具针对场景不同,企业本地部署 AI 需按规模选型。
FlashML 团队开源的 FreeToken 工具让 16GB 消费级显卡跑出 110 token/s 的 35B 模型推理速度。如果数据可复现,意味着本地 AI 在成本和速度上开始具备替代云端 API 的潜力。