本地 RAG 不必配向量数据库：一位开发者用 SQLite 把它压进 1.2GB

这是什么

开发者 roandejader 用 1.2GB 显存跑通了本地 RAG——他的方案是：彻底扔掉向量数据库。开源项目 Hillock 把结构化事实直接写进 SQLite，查询时用 1 万维「超向量门」做匹配校验，不相关的问题在 LLM 生成前就被拦截，从根源上阻止幻觉。

录入文档时，轻量 bi-encoder 抽取人名、规格、日期等事实，绕过生成式大模型，耗时约 5 秒。查询时，CPU 用 popcount 指令做门控检查，仅需 0.01 毫秒。整个系统加 8B 模型，显存不到 1.2GB，比典型 Chroma + 8B 占用节省数倍。兼容 OpenAI API，可接入 Open WebUI、AnythingLLM、Obsidian。

行业怎么看

这件事的意义不在「又有个 RAG 工具」，在于挑战了一个默认前提——本地知识库必须配向量数据库。Hillock 戳中了真痛点：本地跑 8B 模型时，Chroma 吃掉的显存往往和模型本身相当；传统 cosine 相似度在硬负样本排除上确实薄弱，把不在文档里的问题当成相关，导致模型自信胡编。

但反对意见清晰。第一，这是单人项目，未经过规模验证；企业级 RAG 需要 Pinecone/Weaviate 的多租户、权限管理，短期不会被动摇。第二，作者承认系统「重精度轻召回」，写综述、做开放问答会被直接拒绝。第三，向量数据库本身也在进化，混合检索、重排序正在补短板。

判断：Hillock 不会改变主流架构，但提醒我们 AI 基础设施层远未定型，车库级创新仍可能挑战被默认接受的设计。

对普通人的影响

对企业 IT：短期可忽略，多数企业知识库仍依赖成熟向量数据库。

对个人职场：对想给本地 AI 配知识库、被显存劝退的技术爱好者，pip install hillock 即可试水。

对消费市场：若轻量化方案成熟，未来可能出现更便宜的本地 AI 知识产品，但至少还要一两年。