RAG(检索增强生成)
什么是RAG
Section titled “什么是RAG”RAG(Retrieval-Augmented Generation,检索增强生成)是一种将信息检索与语言模型生成能力相结合的技术框架。它让LLM能够在生成回答时访问外部知识库,从而克服模型训练数据截止、幻觉等问题。
RAG的核心流程
Section titled “RAG的核心流程”- 索引(Indexing):文档切分 → Embedding向量化 → 存入向量数据库
- 检索(Retrieval):问题向量化 → 数据库检索相关片段
- 生成(Generation):相关片段 + 问题 → LLM生成回答
RAG的架构模式
Section titled “RAG的架构模式”用户提问 → 检索 → 生成
- 查询重写:优化用户查询以提高检索质量
- 多路召回:从多个数据源检索
- 重排序(Re-ranking):对检索结果重新排序
RAG vs 微调
Section titled “RAG vs 微调”| 维度 | RAG | 微调 | |------|-----|------| | 知识更新 | 即时更新知识库 | 需重新训练 | | 幻觉控制 | 检索提供事实依据 | 依赖模型记忆 | | 成本 | 较低无需训练 | 高需训练资源 | | 适用场景 | 需最新大量信息 | 需改变模型行为 |