返回首页
r/LocalLLaMA
找到 4 篇关于此标签的文章
TurboQuantKV缓存
KV 缓存压缩出现独立评估工具 — 推理优化的重心正转向基础设施
KV 缓存是大模型长文本推理的显存大户，现在有人为 TurboQuant 压缩方案写了独立评估工具。这意味着推理优化正从'能不能跑'走向'怎么跑得稳'。
May 51 分钟
OpenAIGPT-5.5
GPT-5.5 思维链意外泄露 — OpenAI 正用'原始人语言'压缩推理成本
GPT-5.5 的内部推理过程被意外截获，输出全是电报式短句。这与 5 个月前社区提出的'用原始人语言做思维链可省 token'方案如出一辙，说明 OpenAI 已把推理成本优化写进了模型底层。
May 31 分钟
OpenCodeOllama
开发者集体寻找完全离线的AI编程工具 — 代码隐私焦虑正从大厂蔓延到个人
r/LocalLLaMA 社区本周热议：OpenCode 被曝存在隐私隐患，开发者急寻可从源码构建、完全离线运行的AI编程助手。代码隐私不再是合规部门的PPT话题，而是每个写代码的人都要面对的现实问题。
May 31 分钟
r/LocalLLaMAReddit
全球最大开源 AI 社区新规一周见效 — 营销帖子终于被收拾了
r/LocalLLaMA 上线新规一周，靠最低 karma 门槛和自动审核，用户举报量显著下降。开源 AI 社区正从野蛮生长走向治理，信号比噪音重要。
May 21 分钟