面向通用大语言模型的检索增强全链路搜索优化方法研究

摘要

针对当前大语言模型检索增强生成(Retrieval-Augmented Generation, RAG)系统中存在的查询语义理解偏差、单一检索机制召回盲区、检索与生成目标错位、多轮会话检索上下文丢失等核心技术瓶颈,本文提出一套面向通用大模型的全链路搜索优化技术体系。该体系首先构建自适应查询理解引擎,通过查询复杂度分级、假设文档嵌入(HyDE)语义扩展与多子问题分解,实现用户查询意图的精准化与结构化转换;其次设计稀疏 - 稠密 - 结构融合的分层混合召回架构,融合关键词精确匹配、稠密语义检索与知识图谱子图检索三路召回结果,结合元数据前置过滤缩小检索空间;进而提出检索 - 生成双向反馈的自适应重排序模型,引入生成质量反馈信号动态调整排序特征权重,实现检索目标与生成需求的深度对齐;最后提出会话上下文感知的增量检索机制,解决多轮对话中的指代消解与上下文继承问题。在 MS MARCO、HotpotQA 与多轮对话公开数据集上的实验结果表明,本文方法在单轮问答任务上 MRR@10 较基线提升 29.7%,多轮会话检索准确率提升 24.3%,同时将端到端查询延迟控制在可接受范围内,可为豆包、元宝等通用大模型的搜索增强能力提供系统性技术支撑。

关键词:大语言模型;检索增强生成;查询优化;混合检索;重排序;会话检索

1 引言

1.1 研究背景与问题提出

大语言模型(Large Language Model, LLM)凭借强大的语言生成与推理能力,已成为通用人工智能的核心载体。然而,原生大模型存在三大固有局限:一是知识时效性不足,训练数据截止后产生的新知识无法及时获取;二是事实性幻觉问题,生成内容易出现虚假信息与事实偏差;三是领域专业知识覆盖有限,难以满足垂直场景的精准问答需求。

检索增强生成(RAG)通过外部知识库检索为大模型补充实时、可信的事实知识,是解决上述问题的主流技术方案,也是豆包、元宝等通用大模型搜索功能的核心底层架构。检索环节作为 RAG 系统的 “输入阀门”,其召回精度与相关性直接决定了大模型的生成质量 —— 若检索结果偏离查询意图或缺失关键信息,即便生成模型能力再强也难以输出准确答案,即 “垃圾进,垃圾出” 效应。

当前工业界与学术界的 RAG 检索系统普遍存在四类技术短板:

1.查询侧语义鸿沟:用户自然语言查询存在模糊性、歧义性与省略表达,与知识库文档的表述风格差异显著,直接向量化检索易导致语义失配;

2.召回侧能力单一:纯稠密向量检索擅长语义匹配但对专有名词、精确标识符召回能力弱,纯关键词检索反之,单一机制难以兼顾全面性与精准度;

3.排序侧目标错位:传统重排序仅以 “查询 - 文档相关性” 为优化目标,未考虑文档对生成答案的实际贡献度,导致高相关文档未必是高价值生成素材;

4.会话侧上下文断裂:多轮对话场景下,当前查询常包含指代、省略等依赖上下文的表达,独立检索会丢失历史对话信息,导致召回结果偏离会话主题。

针对上述问题,本文从查询、召回、排序、会话四个层级出发,构建全链路的大模型搜索优化技术方案,实现检索精度、生成适配性与交互体验的综合提升。

1.2 相关研究现状

1.2.1 查询理解与优化

查询优化旨在缩小用户提问与知识库表述的语义鸿沟。早期方法依赖同义词词典与规则扩展,近年来主流技术路线包括:基于大模型的查询改写与子问题分解,将复杂查询拆解为多个可检索子问题;假设文档嵌入(HyDE)技术,通过大模型生成伪答案文档再进行向量检索,缓解查询 - 文档词汇差异;伪相关反馈技术,利用首轮检索结果的高频词扩展查询二次检索。现有方法多采用单一优化策略,缺乏对查询复杂度的自适应分级处理。

1.2.2 检索召回机制

召回层经历了从稀疏检索到稠密检索再到混合检索的演进。稀疏检索以 BM25、TF-IDF 为代表,基于词频统计实现精确匹配,计算高效但语义理解能力弱;稠密检索基于双塔模型生成文档与查询的语义向量,通过近似最近邻(ANN)算法实现语义匹配,是当前 RAG 系统的主流方案;混合检索融合稀疏与稠密两路结果,通过 RRF 等策略实现优势互补,已成为工业界标配架构。近年来 GraphRAG 等工作进一步引入知识图谱结构检索,提升多跳推理类查询的召回能力。

1.2.3 重排序技术

重排序是提升检索精度的关键环节,通过计算成本更高的精细模型对初筛候选集重新排序。主流方法包括基于交叉编码器(Cross-Encoder)的语义匹配重排、基于 RRF 的无监督排名融合、基于大模型的生成式重排三类。现有重排序模型普遍以相关性为唯一优化目标,未结合下游生成任务的反馈信号,存在检索与生成目标脱节的问题。

1.2.4 会话式检索

多轮对话场景下,会话式检索需结合历史上下文补全当前查询。现有方法分为两类:一是查询改写路线,利用大模型将当前查询与历史上下文融合为独立完整查询;二是向量表示路线,对整个会话历史编码生成上下文感知的查询向量。两类方法均存在计算开销大、长会话信息衰减等问题。

1.3 本文主要贡献

1.提出自适应多粒度查询重构框架,基于查询复杂度分级动态选择优化策略,融合 HyDE 语义扩展与子问题分解,实现不同难度查询的最优检索输入转换。

2.设计稀疏 - 稠密 - 结构三位一体的混合召回架构,结合 BM25 精确匹配、稠密向量语义匹配与知识图谱子图推理,通过 RRF 加权融合实现召回全面性提升,同时引入元数据前置过滤降低计算开销。

3.构建检索 - 生成双向反馈的自适应重排序模型,在传统相关性特征基础上引入生成贡献度特征,利用大模型生成质量反馈信号动态调整排序权重,实现检索目标与生成需求的深度对齐。

4.提出会话上下文感知的增量检索机制,通过会话主题向量继承与指代消解,实现多轮对话下的平滑检索,大幅降低重复计算开销。

5.通过多组公开数据集的对比实验与消融实验,系统验证了各模块的有效性与整体方案的综合性能优势。

2 自适应多粒度查询重构框架

查询是检索系统的输入源头,查询表达质量直接决定召回上限。针对不同复杂度查询的差异化需求,本文构建自适应查询重构框架,整体流程为:首先对输入查询进行意图分类与复杂度分级,再根据分级结果匹配对应的优化策略,最终生成结构化检索指令集。

2.1 查询意图分类与复杂度分级

采用轻量级文本分类模型对查询进行二维标注:

1.意图维度:划分为事实问答、概念解释、对比分析、方法步骤、多跳推理五类;

2.复杂度维度:基于查询长度、实体数量、关系嵌套层数划分为简单、中等、复杂三级。

分级模型采用微调后的小型 BERT 模型,输入查询文本,输出意图类别与复杂度等级。该模型参数量仅为基础大模型的 1%,可毫秒级完成分类,确保查询重构环节的低延迟。

2.2 简单查询:HyDE 增强语义扩展

对于简单事实类查询,核心挑战是查询与文档的词汇差异。本文采用改进的 HyDE 策略进行语义扩展:

1.利用大模型基于原始查询生成 1~2 篇假设性答案文档,模拟知识库文档的表述风格与长度;

2.对原始查询与生成的假设文档分别编码生成向量,采用加权求和方式得到最终查询向量:

其中vq为最终查询向量,Enc(⋅)为嵌入模型,q为原始查询,hi为第i篇假设文档,α为原始查询权重,N为假设文档数量。

该方法通过假设文档弥合 “提问式表达” 与 “陈述式文档” 之间的词汇与句式差异,显著提升语义匹配精度。

2.3 复杂查询:多子问题分解与并行检索

对于多跳推理、对比分析类复杂查询,单一查询向量难以覆盖全部信息需求,需进行子问题分解。本文采用 “规划 - 分解” 两阶段策略:

1.规划阶段:调用大模型分析查询的推理路径,识别所需的子知识点与逻辑关系;

2.分解阶段:将原始查询拆解为M个独立可检索的子问题q1,q2,...,qM,每个子问题对应一个推理环节。

分解完成后,对所有子问题并行执行检索,再将多路召回结果合并送入重排序阶段。该策略将复杂多跳查询转化为多个简单单跳查询,有效解决了单向量检索的多跳信息缺失问题。

2.4 会话场景:上下文感知查询改写

在多轮对话场景中,当前查询常包含指代、省略等依赖历史上下文的表达。本文采用上下文补全式改写策略:

输入当前查询与最近K轮对话历史,调用轻量级改写模型生成独立完整的检索查询,消除指代与省略。改写目标为:在不改变原始意图的前提下,补全省略成分、替换指代词为具体实体,使改写后的查询可脱离上下文独立执行检索。

3 稀疏 - 稠密 - 结构融合的分层混合召回架构

召回层的核心目标是 “全、快、准” 地从海量知识库中筛选出初步候选集。单一检索机制存在能力盲区,本文构建三路融合的混合召回架构,同时兼顾精确匹配、语义匹配与结构推理能力,并结合元数据过滤提升检索效率。

3.1 多粒度文档索引构建

索引构建是检索效率的基础,本文采用 “文档 - 段落 - 句子” 三级粒度索引体系:

1.段落级主索引:采用语义分割算法将原始文档切分为语义连贯的文本块(chunk),作为主检索单元,每个块存储稠密向量、稀疏词袋特征与元数据;

2.文档级父索引:存储整篇文档的摘要向量与全局元数据,用于粗粒度召回与范围过滤;

3.知识图谱索引:从文档中抽取实体与关系构建领域知识图谱,存储实体节点与关系边的向量表示,用于结构推理检索。

同时为每个文本块附加结构化元数据,包括文档来源、发布时间、主题分类、实体列表等,支持检索时的前置条件过滤。

3.2 三路混合召回机制

3.2.1 稀疏检索通路

采用 BM25 算法实现关键词精确匹配召回,适用于专有名词、代码、ID 等精确信息的查询。该通路基于倒排索引实现,具有极高的检索效率与精确匹配能力,可有效弥补稠密检索对字面匹配不敏感的缺陷。

3.2.2 稠密检索通路

采用微调后的领域嵌入模型生成文本块的稠密向量,基于 HNSW 近似最近邻算法实现语义相似度检索。该通路擅长捕捉深层语义关联,可召回字面不同但语义一致的文档,是语义召回的核心通路。

3.2.3 结构检索通路

针对多跳推理类查询,基于知识图谱执行子图检索:首先识别查询中的核心实体,然后沿关系边进行K跳遍历,抽取与查询相关的子图结构与对应文本片段。该通路可发现跨文档的间接关联信息,支撑复杂推理类问答。

3.2.4 多路结果融合

三路召回分别返回各自的排序列表后,采用倒数排名融合(Reciprocal Rank Fusion, RRF)算法进行无监督融合,得到统一的初排候选集。RRF 得分计算公式为:

其中R为所有检索通路的结果集合,rank(d,r)为文档d在通路r中的排名,k为平滑常数(通常取 60)。

RRF 无需训练即可有效融合不同检索通路的排名优势,避免了单一通路的能力盲区。

3.3 元数据前置过滤优化

为降低检索计算量并提升结果精准度,本文采用 “元数据过滤 + 向量检索” 的执行顺序:

1.首先根据查询中的时间、领域、来源等约束条件,通过元数据索引快速过滤出符合条件的候选文档子集;

2.仅在过滤后的子集内执行向量相似度计算与排序。

该策略可将向量检索的搜索空间缩小一个数量级以上,显著提升检索速度,同时排除无关领域的噪声干扰。

4 检索 - 生成双向反馈的自适应重排序模型

初筛召回的候选集通常规模较大(如 Top 50~100)且排序粒度较粗,需通过重排序进一步提升前列结果的精准度。传统重排序仅关注 “查询 - 文档相关性”,忽略了文档对生成答案的实际价值。本文提出检索 - 生成双向反馈的重排序模型,将生成质量信号引入排序目标,实现检索与生成的协同优化。

4.1 多维度排序特征体系

构建四类核心特征,全面刻画文档的检索价值:

1.基础匹配特征:BM25 得分、向量余弦相似度、关键词命中数、词重叠率;

2.语义交互特征:交叉编码器输出的语义匹配得分、细粒度 token 级匹配度;

3.文档质量特征:文档来源权威性、时效性评分、内容完整度、事实置信度;

4.生成贡献特征:文档包含答案关键实体的概率、信息冗余度、可引用片段占比。

4.2 交叉注意力重排序基础模型

采用交叉编码器(Cross-Encoder)作为重排序的基础模型,结构为 3 层 Transformer 编码器。输入为 “查询文本 + [SEP] + 候选文档文本” 拼接序列,通过交叉注意力实现查询与文档的细粒度语义交互,最终输出 0~1 区间的相关性得分。

相比双塔模型,交叉编码器可捕捉更细粒度的语义匹配关系,排序精度显著更高,但计算复杂度也更高,因此仅用于候选集规模较小的重排序阶段。

4.3 生成反馈驱动的动态权重调整

为解决检索与生成目标错位问题,本文引入生成反馈闭环机制:

1.基于当前排序结果截取 Top-N 文档送入大模型生成答案;

2.对生成答案进行质量评估,包括事实准确性、信息完整度、引用覆盖率等指标;

3.反向分析各文档对生成答案的实际贡献度,更新文档的生成价值标签;

4.利用标签数据迭代微调重排序模型,使排序目标逐步向生成价值对齐。

在线推理阶段,模型根据查询类型动态调整各特征维度的权重:事实类查询提高实体匹配与时效性权重,推理类查询提高语义深度与结构关联权重,实现自适应排序。

5 会话上下文感知的增量检索机制

在多轮对话场景中,用户查询通常是会话主题的延续,完全独立的重复检索不仅效率低下,还易丢失上下文信息。本文提出增量检索机制,实现会话级的检索优化。

5.1 会话主题向量维护

为每个会话维护一个动态更新的主题向量vtopic,初始值为空。每完成一轮检索与生成后,采用滑动平均方式更新主题向量:

其中β为历史衰减系数,vq(t)为第t轮的查询向量。主题向量聚合了会话的整体语义方向,可用于补充当前查询的语义背景。

5.2 增量检索策略

当新一轮查询到达时,首先计算当前查询向量与会话主题向量的相似度:

•若相似度高于阈值,判定为主题延续,仅对新增语义部分执行增量检索,并复用历史召回的高相关文档,减少重复计算;

•若相似度低于阈值,判定为主题切换,执行完整的全量检索,并重置会话主题向量。

该策略在保证检索准确性的前提下,可将多轮对话的平均检索耗时降低 30% 以上。

5.3 历史结果动态复用

建立会话级候选文档池,存储历史轮次召回的高价值文档。新一轮检索时,先从文档池中筛选与当前查询相关的文档作为优先候选,再补充新检索结果,共同送入重排序阶段。该机制可有效保留历史对话中的关键信息,避免因单轮检索波动导致的上下文信息丢失。

6 实验与结果分析

6.1 实验设置

6.1.1 数据集

1.单轮问答数据集:采用 MS MARCO v2.1 文档检索数据集(含 320 万 + 文档)与 HotpotQA 多跳推理数据集,分别验证通用检索与复杂推理检索性能;

2.会话检索数据集:采用 QReCC 会话式问答数据集,包含 1.4 万 + 多轮对话,验证会话场景下的检索效果。

6.1.2 评价指标

•检索精度指标:MRR@10、Recall@20、NDCG@10;

•生成质量指标:答案准确率、事实一致性得分、信息完整度;

•效率指标:单查询平均检索延迟、端到端响应时间。

6.1.3 基线方法

•Baseline 1:纯稠密向量检索(BGE-base 嵌入模型 + HNSW 索引),标准 RAG 基线;

•Baseline 2:BM25 + 稠密向量混合检索,RRF 融合,工业界主流方案;

•Baseline 3:混合检索 + CrossEncoder 重排序,进阶 RAG 方案;

•Baseline 4:HyDE 增强 + 混合检索,查询优化基线。

6.2 整体性能对比

表 1 给出了各方法在 MS MARCO 数据集上的检索精度对比。

方法 MRR@10 Recall@20 NDCG@10

Baseline 1 0.328 0.574 0.386

Baseline 2 0.395 0.652 0.451

Baseline 3 0.447 0.681 0.503

Baseline 4 0.472 0.705 0.528

本文方法 0.542 0.769 0.601

实验结果表明,本文方法在所有精度指标上均显著优于各基线方法。相比最优基线 Baseline 4,MRR@10 提升 14.8%,Recall@20 提升 9.1%,验证了全链路优化方案的综合增益。其中查询重构与结构检索通路对多跳推理类查询提升尤为显著,在 HotpotQA 数据集上 MRR@10 较基线提升 29.7%。

6.3 会话检索性能对比

在 QReCC 数据集上验证多轮会话检索性能,结果如表 2 所示。

方法 会话级 Recall@10 平均单轮延迟 (ms)

独立检索基线 0.526 18.7

简单上下文拼接 0.613 24.2

本文会话检索方法 0.653 19.5

结果显示,本文方法在显著提升会话检索准确率(提升 24.1%)的同时,仅增加少量延迟,远低于简单上下文拼接方案的开销,实现了精度与效率的平衡。

6.4 消融实验

为验证各模块的独立贡献,在本文完整方法基础上进行消融实验,结果如表 3 所示。

方案 MRR@10 相对下降

完整方法 0.542 -

移除查询重构模块 0.475 12.4%

移除结构检索通路 0.508 6.3%

移除生成反馈重排序 0.491 9.4%

移除元数据过滤 0.537 0.9%

消融实验表明:

1.查询重构模块对精度贡献最大,验证了优化输入查询对提升检索效果的核心价值;

2.生成反馈重排序可带来 9.4% 的性能提升,证明检索与生成协同优化的有效性;

3.结构检索通路对复杂推理查询增益显著,对通用查询也有稳定提升;

4.元数据过滤对精度影响极小,但可大幅降低检索延迟,是效率优化的关键手段。

6.5 效率分析

在千万级文档索引规模下测试检索效率,本文方法单查询平均检索延迟为 21.3ms,端到端全链路平均延迟为 128ms,完全满足在线大模型搜索的实时性要求。元数据前置过滤可将向量检索计算量降低 65% 以上,是大规模知识库下的核心效率保障。

7 结论与展望

本文针对通用大模型搜索增强的核心技术痛点,提出了一套从查询重构、混合召回、协同重排到会话检索的全链路优化方案。通过自适应查询处理缩小语义鸿沟,通过三路混合召回消除单一机制盲区,通过生成反馈重排对齐检索与生成目标,通过增量会话检索提升多轮交互体验。多组实验验证了方案在精度、效率与交互体验上的综合优势。

未来工作将从三个方向进一步深化:一是探索端到端的检索 - 生成联合训练范式,实现更深层次的协同优化;二是引入多模态检索能力,支持图文混合的知识库检索;三是研究流式增量索引技术,适配实时更新的海量动态知识库,进一步完善大模型搜索增强的技术体系。

参考文献

[1] Lewis P, Perez E, Piktus A, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks [J]. Advances in Neural Information Processing Systems, 2020, 33: 9459-9474.

[2] Gao L, Ma X, Lin J. Pre-training tasks for embedding-based large-scale retrieval [C]//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics. 2021: 379-389.

[3] Karpukhin V, Oguz B, Min S, et al. Dense passage retrieval for open-domain question answering [C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. 2020: 6769-6781.

[4] Gao L, Dai Z, Callan J. Unsupervised query expansion using pre-trained language models for dense retrieval [C]//Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2022: 1582-1592.

[5] 刘群,等。大语言模型检索增强生成技术综述 [J]. 计算机学报,2026.

需要我补充核心算法伪代码或者系统架构图的详细文字描述来进一步强化技术细节吗?