本地推理

找到 5 篇关于此标签的文章

RTX 3090本地推理

二手 RTX 3090 翻新指南走红 — 算力平替让极客开始自修显卡跑 AI

一篇二手 RTX 3090 翻新指南在开发者社区走红。这反映出一个值得关心的趋势：为避开昂贵的云端算力账单，技术团队正转向二手消费级硬件跑本地模型，算力获取方式正变得草根化。

AMDRyzen AI 395

AMD 自研 AI 迷你主机 6 月上市 — 芯片公司亲自下场做整机，信号不简单

AMD 在 AI Dev Day 宣布 6 月推出自研 Ryzen AI 395 迷你主机，可能由联想代工。芯片公司从卖零件转向卖整机，意味着本地 AI 推理市场正从概念走向产品化。

Gemma 4llama.cpp

Gemma 4 本地 CUDA 设置：精度陷阱与真实基准测试

在本地 CUDA 上运行 Gemma 4 时，若 KV 缓存边界处的数据类型不严格匹配，输出将静默退化。

MinimaxLocalLLaMA

本地 LLM 社区期待 Minimax 2.7 更新

Reddit 的 LocalLLaMA 社区对 Minimax 2.7 表示期待，但具体细节依然匮乏，尚无技术参数或发布日期。

llama.cppGLM-4.7

单张 RTX 4090 上最佳本地代理编码 LLM

一位 RTX 4090 用户通过 llama.cpp 及 Google turbo 量化方法，对 GLM-4.7、Nemotron-30B 和 Qwen3-Coder 进行本地代理编码基准测试。