Google DeepMind
Google 开源 EmbeddingGemma 2 — 手机也能跑多模态语义搜索，数据不必上云
Google DeepMind 开源 EmbeddingGemma 2，能把文字、图片、音频统一编码成可比较的语义向量，跑在消费级硬件上。这意味着本地 RAG、检索、分类不再必须依赖云端 API，是基础设施层值得关心的事件。
返回首页
端侧部署
找到 3 篇关于此标签的文章
Qwen
巨头们都在卷千亿参数，但普通人的笔记本只能跑得动 9B 模型
本周 LocalLLaMA 社区一则吐槽帖引爆讨论：用户抱怨每次推荐 Qwen 9B 这类小模型，评论区都被「122B 更好」刷屏。可普通人笔记本只有 8GB 显存。基准测试的赢家，不一定是真实世界的可用者。
QAT
AI模型量化告别全盘降级，混合精度拓扑设计成工程新解
AI模型在16位切8位部署时易精度崩塌，新方法提出以8位为底座、对敏感层做16位升级的“等效拓扑”设计，兼顾性能与精度，标志着模型部署走向精打细算。