搜索
浙大 & 北大团队提出 SPADER：用 step-wise GRPO 与多样性感知奖励驱动多答案问答长尾探索
12 小时前
浙大与北大团队提出的多答案问答强化学习框架SPADER被EMNLP 2026收录。该框架针对现有RL方法中轨迹级优势计算导致的信用分配粗糙，以及F1奖励对头部与长尾实体一视同仁、缺乏长尾探索动力的问题，将GRPO的轨迹级优势细化为步骤级同伴优势，无需参数化价值网络与外部评估器即可实现细粒度信用分配。同时，设计了由横向信息增益和纵向新颖度溢价组成的双轴多样性感知探索奖励，结合工具成本与终端作答奖励，激励智能体挖掘长尾答案并自主判断搜索与终止时机。实验表明，SPADER在两种基座模型、四个多答案问答基准上全面提升了召回与F1指标，且未通过堆砌搜索次数来换取更高覆盖，可引导智能体持续挖掘有效实体直至目标耗尽。相关代码与模型已开源。
