混合检索中的权重融合机制 - 软盟-软盟

混合检索中的权重融合机制

话题来源: RAG检索增强生成是什么?主流方案横向对比评测

混合检索的核心并不是简单地把向量检索与关键词检索“各做一次”,而是把两套候选结果转换为可比较的相关性信号,再按照业务目标完成融合。向量检索擅长捕捉语义相近内容,关键词检索通常基于 BM25,更适合人名、产品编号、缩写和专有术语等精确匹配场景。两者的原始分数含义不同,不能直接相加,否则某一路可能因分值尺度更大而主导最终排序。

权重融合的基本逻辑

设向量检索得分为 (S_v),关键词检索得分为 (S_k),经过归一化后,综合得分可以表示为:

[ S=alpha hat S_v+(1-alpha)hat S_k ]

其中,(hat S_v) 与 (hat S_k) 是经过尺度统一后的分数,(alpha) 是向量通道权重。权重越高,系统越偏向语义召回;反之,则更强调字面命中。关键不在于寻找一个“通用最优值”,而在于根据查询类型动态判断:概念解释、自然语言描述适合提高语义权重;包含编号、专名或限定词的查询,则应提高关键词权重。

除了分数融合,还可以采用排序融合:先分别取得两路结果,再依据文档在各自列表中的名次计算综合优先级。这种方式不依赖两套检索器的分数尺度,适合不同检索组件难以统一评分标准的情况,但可能损失部分原始相关性信息。

生产系统如何调权

权重调优不能只看单次问答是否“看起来相关”,而应建立覆盖不同查询类型的评估集,分别观察召回完整度、首位结果相关性、重复结果比例和最终生成质量。实际调试时,应先判断错误来源:若专有名词频繁漏召回,问题通常在关键词通道或其权重;若结果命中了词面却不符合语义,则需要增强向量通道或后续重排序。

还要避免把权重融合当成检索质量的全部。文档解析、切片粒度、过滤条件和重排序都会改变最终效果。较稳妥的架构是“双路召回—结果融合—重排序—生成”,并保留检索出处,便于定位错误与人工复核。混合检索的价值,不是让两种算法平均用力,而是让系统针对不同问题选择更可靠的证据来源。