KV Cache

找到 3 篇关于此标签的文章

LRU缓存KV Cache

LRU 缓存这个 1960 年代的算法，正在被大模型公司重新重视

掘金一篇 LeetCode 146 题解这周被技术圈反复传阅。我们想说的是：这个讲透「哈希表+双向链表」的老算法，正是大模型 KV Cache、向量数据库、Agent 记忆系统的底层机制。理解它，才能看懂 AI 基础设施的速度与成本博弈。

KV CacheLLM推理

Token 单价两年跌 90%：理解推理链路，才看懂大模型的成本逻辑

为什么同样一个 AI 助手，有的收费贵、有的能免费用？答案藏在每一次"你说一句话"背后的计算过程里。我们讲清楚 Token、Transformer、KV Cache 这些名词如何决定 AI 公司的成本结构。

DeepSeekKV Cache

单日八千万 token 仅花四元 — DeepSeek 磁盘缓存重写大模型推理账本

DeepSeek 通过独创架构实现磁盘级缓存，让 API 成本骤降 10 倍。这不仅是低价竞争，更是大模型推理从拼算力转向拼工程优化的关键信号。