Hugging Face Papers ↗ · 2026-11-18
面向搜索增强型语言模型的基于证据的信用分配
媒体报道 Hugging Face Papers 原文语言:中文
强化学习使搜索增强型语言模型能够交替进行推理和检索,但结果监督会将相同的信用分配给轨迹中的每次搜索。本文提出了基于证据的信用分配(ECA),通过训练辅助信号来衡量检索到的文档如何提高参考答案的概率。在七个搜索问答基准测试中,ECA-Horizon相比结果仅有的GRPO基线显著提升了严格宏精确匹配指标,并展现出对多跳推理查询的良好迁移能力。
全文
从终端答案奖励进行的强化学习使得搜索增强语言模型能够在没有步骤级注释的情况下交叉推理和检索,然而结果监督会对轨迹中的每一次搜索给予相同的信用,无论其是否检索到有用信息。这一限制在所有采样的回滚对某个问题均失败时尤为严重,导致基于群体的结果优势归零,即使轨迹收集到的证据差异显著。我们提出基于证据的信用分配(Evidence-based Credit Assignment,ECA),它在终端结果奖励的基础上加入仅用于训练的辅助信号,用以衡量检索文档提升参考答案可能性的程度。ECA 并不是对完整的对话前缀进行打分,而是使用仅包含问题和迄今为止观察到的去重文档的证据‑only 提示,查询当前策略的冻结快照,从而将检索段落的效用与生成思考或搜索查询的表面变化隔离。在此框架下,我们比较了两种回报形式:ECA‑Step(累积步长裁剪的潜在增量)和 ECA‑Horizon(保留潜在的望远镜式水平增益),并结合交叉折叠群体归一化、新颖性门控以及搜索局部 token 分配。跨七个搜索问答基准,ECA‑Horizon 在严格宏观精确匹配上相较仅使用结果的 GRPO 基线提升了 1.03 和 4.80 个百分点,分别在 Qwen2.5‑3B‑Instruct 和 7B‑Instruct 上超越了 RLOO 与 GiGPO。对 MultiHop‑RAG 的零样本评估进一步展示了其对多跳推理查询的强迁移能力。
查看 arXiv 页面 查看 PDF 添加到收藏
正文为 AI 译文。