APEXQwen
APEX量化新增25款模型:百亿参数AI塞进家用显卡,算力门槛正被抹平
开源项目APEX推出针对MoE模型的新量化方案,一个月新增25款以上压缩模型,并推出极低体积的I-Nano层级。这让原本需企业级算力的百亿参数AI,现在单张家用显卡即可运行,大幅降低本地部署成本。
May 5·1 分钟
llama.cppQwen Coder
APEX 量化与 K-Quants:为何 MoE 编码模型需要不同的压缩策略
APEX 量化针对 MoE 架构的连贯性层采用 Q8 精度,在跨文件编码代理任务中表现优于通用的 K-quants 方法。
Apr 6·1 分钟