RAG与AI知识库搭建

从零搭”文档问答/私有知识库”的技术路线图（来源 affweb 各期）。知识管理方法论（非技术）见资料归档与知识库建设方法。

最小实现（#639）

语料库 → 相似度检索（杰卡德相似度就能起步）→ 检索结果 + 用户问题拼 prompt 给 LLM。公式：向量搜索 + 大模型 = 知识库问答。

进阶七方向：多文档、分块 chunking、向量库、嵌入模型、检索调优、预处理、prompt。手写全链路参考（#266）：BFS 爬虫 → 文本清洗 → tiktoken 按 500 token 分句切块 → embedding → 余弦检索 → “Answer based on context, if not say I don’t know”。

中文 embedding 选型（#648/#659）

本地首选 bge-small-zh-v1.5；国内下载用 hf-mirror.com 镜像；
LangChain 用 HuggingFaceEmbeddings(model_name=本地路径) 接 Chroma；
HF 三种接入：本地 sentence_transformers / Inference API（国内需代理写法）/ Hub。

平台选型（#582/#583/#635/#662）

平台	定位	要点
FastGPT	私有化部署首选	docker-compose（pgvector+mongo+fastgpt）整套配置；知识库导入→相似度召回；可做复杂工作流（塔罗牌案例 #718）
Dify	双工作流（Chatflow/Workflow）	Notion 同步知识库、WebApp 嵌入、API 调用
Coze（扣子）	零代码最快	结构化提示词+插件+知识库+工作流+定时任务；知识库表格格式比文档分割稳定、检索选”混合”

Coze 深度经验（#467/#577/#541）：数据源三分法——不变数据进知识库、动态数据用插件或代码节点爬虫（request_async + sleep 防封）；按多个字段建多张表实现多维检索；发布前必须试运行通过。

本地模型栈（#576）

Ollama（ollama run qwen2:7b）+ Docker Open-WebUI（localhost:3000）= 本地可视化对话栈，与 RAG 组合即离线知识库。

Agentic 翻译工作流（#581 吴恩达 translation-agent）

直译 → 反思（挑错）→ 润色三步，比单步翻译质量高一档——“生成-批评-重写”模式可迁移到任何质量敏感的生成任务。

原始素材

#266 Gpt进阶(六) 爬取指定网站，搭建AI智能问答
#467 Coze + 爬虫 = 周末去哪不用愁！！
#541 AI写作我劝大家都去研究一下Coze工作流.
#576 阿里通义千问，彻底爆了！
#577 手把手教你如何用扣子（COZE）打造一个企业级的
#581 吴恩达出手，又一个 AI 神器诞生！
#582 14.3k star 的开箱即用的 AI 知识库
#583 28.6k Star！Dify：完善生态、支持O
#635 用扣子做智能体：10步打造私人知识库！
#639 RAG 入门指南：从零开始构建一个 RAG 系统
#648 langchain下如何加载embeding模型
#649 9个范例带你入门LangChain_langch
#659 深入理解Hugging Face嵌入模型：从本地
#660 初识LangChain的快速入门指南_oneap
#662 图形化的Agent工具
#718 搞了一个非常牛逼的 FastGPT 塔罗牌工作流

增补：RAG 与 LLM Wiki 的定位差异（#770，2026-09-19）

RAG/NotebookLM 类方案是”读时检索”：每次提问临时召回片段拼答案，答完即散，同样的问题问一百遍就重拼一百遍，知识本身零积累；
LLM Wiki 是”写时结构化”（本库模式）：资料入库时就沉淀为可定位、可交叉引用的节点，查询走”索引 → wiki 页 → 原文”三层，越用越快；
两者不互斥：RAG 适合海量未结构化语料的快速问答；结构化 wiki 适合长期复用、需要溯源和冲突管理的知识资产。
Agent 模型选型测试标准（选型时用真实资料跑完整任务，观察四点）：上下文是否丢失、工具调用是否稳定、输出格式是否漂移、单次任务时间与成本。（2026-09 时点参考：低成本档 DeepSeek V4 Flash 不支持多模态；长程 Agent 任务可选多模态原生模型。型号时效性强，以标准为准。）

增补：知识库工程实践三例（2026-09-19 书签采集）

管家阿福（afu-llm-todo）三目录：收件箱（绝不动原文件，防”整理后找不到原件”）/ 选题（新 md 只聚合原资料路径不复制）/ 归档（过期排期按月季再定删否）；视频素材先 yt-dlp+Whisper 补字幕再判价值；核心理念整理不是卡点，排期才是；
claude-context（9K star）：BM25+稠密向量混合检索代码库、增量索引，实测省约 40% token；context-mode（近 1 万 star）：沙箱化压缩工具输出（Playwright 快照 56KB→299 字节，压缩率约 98%）——大库检索与长会话记忆的两条工程路线；
OpenHands 云端 Agent（原 OpenDevin）：Docker 内 24h 在线、API 远程唤醒的服务端数字员工——与本地会话型副驾驶的分工：“业务自动化选云端，日常协作用本地”；iOS 快捷指令→FastAPI→三 Skill 编排（Playwright 抓取→Gemini 分析→飞书入库）20 秒完成爆款拆解。

增补：混合检索与生产优化（2026-09-19 全量书签）

RAG+SQL 双引擎路由：路由 Agent 判断走 RAG（背景解释）还是 Text-to-SQL（精确数字），可双路并发再聚合；工具 description 的具体度决定路由准确率；可信度评分层（trustworthiness<0.7 附加人工确认）；
Agent 记忆工程参照：Hermes 四层记忆（L1 常驻 3575 字符上限 frozen snapshot / L2 SQLite+FTS5 检索后摘要注入 / L3 技能渐进披露 / L4 用户建模）见 Agent宿主OpenClaw与Hermes实战；MemOS 外挂（LLM 去重+混合检索+时间衰减）；
代码分块实践：RecursiveCharacterTextSplitter 按 \n\ndef /\n\nclass 切分保留结构（chunk 600/overlap 100）。

沉淀园

探索