Strata
Strata 让大模型借助硬盘运行，普通电脑开始接近本地 AI
开源项目 Strata 通过把暂时用不到的大模型部分转移到 SSD，让搭载 64GB 内存的 MacBook 运行 Qwen Flash Next 达到约 24 token/s。它释放了本地模型的硬件门槛，但速度与稳定性仍不能等同于云端前沿模型。
返回首页
Qwen Flash Next
找到 2 篇关于此标签的文章
LlamAmpere
开源量化方案把大模型推理误差再降一半，本地部署正在补课
JakeATX 发布 LlamAmpere v0.6.3，以 Qwen Flash Next 为基础降低量化误差，并提升长上下文推理速度。值得关注的是，开源社区正持续优化本地大模型的效率门槛，让有限显存设备也能运行可用模型。