掘金技术社区本周一篇长文，把「本地跑 AI 知识库」这件事拆成了 4 步命令。读完我们注意到一个信号：去年还属于开发者内部实验的 RAG 技术，现在已经能在一台普通电脑上用开源工具复现了。

这是什么

RAG（Retrieval-Augmented Generation，检索增强生成）是一种让 AI 先「翻资料」再回答问题的技术。教程用的是 LangChain（一个把各种 AI 模型串起来的开源框架）+ Ollama（本地跑大模型的工具）+ Chroma（向量数据库，把文档变成机器可比的数字）+ qwen2:1.5b（阿里开源的小尺寸语言模型）+ bge-m3（开源文本嵌入模型，把文字转成向量）。

整套流程分四步：把 PDF 切成小段、把每段转成向量存进数据库、用户提问时先搜最相关的段落、把段落和问题一起喂给大模型生成答案。全程离线，不上传任何数据。

行业怎么看

乐观派认为这是企业 AI 落地的关键路径：很多公司不想把内部文档喂给云端大模型，本地化 RAG 是合规友好的解法。开源模型 + 本地部署的组合，正在快速吃掉中小企业的「私有知识库」需求。

但我们也想指出几处需要冷静的地方。第一，教程用的 qwen2:1.5b 是 1.5 亿参数的轻量版本，回答复杂问题能力有限，换成更强的模型对硬件要求会陡增。第二，向量检索（让 AI 理解「意思相近」而非仅匹配关键词的技术）本身有盲区，财务表、合同条款这类需要精确数字的场景，RAG 经常「自信地胡说」。第三，从「能跑起来」到「在企业里稳定用」之间，还隔着权限管理、文档更新、回答审核这些工程化工作，教程没覆盖。

对普通人的影响

对企业 IT：本地 RAG 方案让「数据不出门」成为可能，但建议先在非核心业务试点，别一上来就押注。

对个人职场：如果你是愿意折腾的技术岗同事，花一个周末照着这份教程就能搭出可用的个人知识助手；非技术岗则不必强求，等公司 IT 提供现成工具即可。

对消费市场：「AI 帮你读 PDF/合同/手册」类产品今年会大量出现，背后大多是类似架构；知道原理后，看产品宣传就不容易被忽悠。