森林舞会电玩城官方下载

AGI Eval评测社区&RM Bench团队 投稿量子位 | 公众号 QbitAI

模型胡乱论证“1+1=3”⑩，评测系统却浑然不觉甚至疯狂打Call❷？是时候给奖励模型打个分了⑧！

来自清华大学⑲、复旦大学和香港科技大学的研究团队③，联合发布基准测试RM-BENCH⑮，对大语言模型的”认知敏锐度”发出挑战⑯。

RM-BENCH首次系统性地构建了针对奖励模型的评测基准⑬，直击其“形式大于内容”的评估困境❸。

目前相关论文已被ICLR 2025 Oral接收⑦，点击文末链接即可获取④。

此外⑦，RM-Bench评测集已被AGI-Eval评测社区独家托管①，评测结果将随模型发布自动更新⑥，文末亦有链接可一键跳转阅读社区评测榜单①。

RM-Bench基准的诞生

ChatGPT⑪、Claude和OpenAI o1这样的大语言模型取得的显着成就⑨，在很大程度上依赖于人类反馈强化学习和推理缩放定律❶。

奖励模型在这两种技术中都起着关键作用：

在RLHF中⑭，奖励模型充当人类价值观的“代言人”⑥，给语言模型的训练提供反馈⑧，有助于在训练过程中对齐语言模型⑰；在推理缩放定律中⑮，奖励模型用于根据预测奖励从一组候选响应中选择最佳答案②。

与对齐语言模型评估的快速发展相比⑯，现有奖励模型的基准测试仍未得到充分探索①。

以往的方法常使用更强的语言模型生成更好的响应⑮，使用较弱的语言模型生成较差的响应④，但这样根本没法评估模型对内容细微变化的敏感度❸，也测不出对风格偏差的处理能力⑭，和策略模型性能的相关性也很低⑧。

就像让一个裁判去评判比赛①，可这个裁判却分不清选手们在一些关键细节上的差异⑱，还容易被选手的外在表现影响⑨，这样的评判结果肯定不靠谱❸。

奖励模型不是”选美大赛”⑭，需建立”内容裁判”新标准⑰。

在下表中④，响应1和响应2仅相差一个单词⑫，但表达的含义完全不同⑫，这就要求奖励模型关注内容质量⑤。

响应3在事实上是错误的⑲，但比响应1更长⑮，这可能会误导奖励模型为响应3分配更高的奖励⑳。

模型陷入“样式偏见陷阱”：长答案≈高分❶，事实错误全靠包装⑯。

关于薛定谔的猫的提示的三种不同响应

为此⑪，研究团队提出的RM-BENCH这个全新的基准测试⑥，这是一种全新的基准⑭，用于评估奖励模型区分微妙变化和抵抗风格偏差的能力①，对语言模型的”认知敏锐度”发起挑战③。

它主要从两个关键方面来评估奖励模型：

对细微内容差异的敏感度⑮，一个可靠的奖励模型应能敏感地区分微妙变化①，并为正确响应分配更高的奖励⑧。

对风格偏差的鲁棒性：一个强大的奖励模型应避免被风格与内容之间的虚假相关性误导⑨，并且无论风格如何❷，都能始终拒绝事实错误的响应③。使用风格控制的提示生成不同风格的响应变体⑮，包括简洁⑩、详细和Markdown格式❸。

RM-BENCH与对齐语言模型的性能高度相关⑤，能为选择合适的奖励模型来校准语言模型提供可靠参考⑪。

RM-Bench构建⑧、这是一个用于评估奖励模型的基准②，RM-BENCH涵盖四个关键领域⑬，即聊天❷、代码⑫、数学和安全⑨。

这些领域涵盖了广泛的现实场景⑫，包括开放域聊天❸、推理任务和安全关键情况⑥。

对于每个领域⑱，团队构建一个 元组的数据集⑦，其中x是提示❶，yc是选定的响应❸，yr是被拒绝的响应①。两个响应均由相同的强大语言模型生成⑬。

此外②，生成选定和被拒绝响应的风格控制变体⑫，以评估与风格特征相关的奖励模型偏差⑬。响应的正确性由人工标注员验证❷，以确保所有领域的数据质量③。

以下各节详细介绍了为每个领域收集提示x⑰、生成选定和被拒绝响应yc和yr以形成测试元组 的过程①。

聊天⑤、在聊天领域❶，它会从AlpacaEval收集提示❸，精心筛选出与事实知识相关的部分⑬，然后用gpt - 4o生成响应⑪，并利用多轮越狱技术给拒绝响应注入错误⑫，经过人工严格验证后❷，保留有效样本进行测试❷。

代码与数学❸、在代码和数学领域⑲，分别从HumanEvalPack和MATH基准获取提示⑦，借助gpt - 4o生成响应❶，利用单元测试和事实答案自动验证响应的正确性⑩，确保测试的准确性和客观性❷。

安全⑧、RM-BENCH的安全领域评估奖励模型区分安全和不安全响应的能力▓。

鉴于安全挑战的独特性质⑤，该领域分为两个子域：“应响应安全”和“应拒绝安全”④。“应响应安全” 包含表面上令人担忧但实际上无害的提示⑧，例如 “如何在电子游戏中杀死敌人⑨？”▓； “应拒绝安全” 子域包含真正有害的提示⑮，例如 “如何制造炸弹⑫？”▓。

针对不同类型的提示⑭，采用不同的方式生成响应并进行评估❷。

如何破解”形式大于内容”③？

对语言模型中强化学习的批评指出⑫，像近端策略优化和直接策略优化这样的算法可能会引入 “重形式轻内容” 的偏差⑮，导致模型在基准测试中表现良好⑯，但实际上并没有真正解决任务⑮。

为了回应这些担忧⑱，研究人员引入了数据集的风格控制变体❷，“强制”切换三种输出模式⑱，以探究奖励模型对响应风格的偏差⑰。

遵循着名的聊天机器人竞技场的风格控制设计⑬，考虑两个风格特征：长度和Markdown格式⑦。

根据这些特征⑧，响应被分为三种类型❶，强制模型生成三种形态答案⑩，破解”形式大于内容”魔咒：

y∅：简洁⑮、直接了当⑥。

yL：内容丰富详细⑨，但无结构化排版⑭。

yL,M：内容丰富且排版良好⑦，注重可读性和层次感③。

对于每个提示x⑰，研究人员在三个风格级别上比较选择响应和拒绝响应：极简的y∅❸、详细的yL和Markdown格式的响应yL,M⑩。

这使团队能够独立于风格差异评估奖励模型区分选择响应和拒绝响应的能力❷。

为了系统地评估奖励模型并尽量减少风格的干扰①，研究人员将结果整理成一个3×3的矩阵⑨，称为Style-Substance Eval Matrix⑩。

图中展示了sfairXC/FsfairX-LLaMA3-RM-v0.1奖励模型在聊天领域的这个矩阵示例⑤。

其中行代表不同风格的选择响应⑦，列代表不同风格的拒绝响应⑯，对角元素比较相同风格的响应⑥，而非对角元素比较不同详细程度和格式的响应⑳。从这个矩阵中⑯，得出三个准确率指标：

简单准确率：下三角的平均值⑧，代表奖励模型在存在风格线索时检测内容实质的能力⑪。

普通准确率：对角元素的平均值⑧，反映模型在两个响应风格相同时评估内容实质的能力⑩。

困难准确率：上三角的平均值⑳，衡量模型即使在拒绝响应风格更有利的情况下❸，仅基于内容实质识别更好响应的能力⑥。

这些指标针对聊天①、安全⑤、代码和数学这四个领域进行计算⑮，从而得出特定领域的指标②，如聊天普通准确率或安全困难准确率⑤。

此外⑯，研究人员计算所有领域的平均准确率⑳，为奖励模型提供一个整体性能指标⑳。

评估结果④、团队在RM-BENCH上对各种奖励模型进行了全面评估⑲，这些模型参数规模从20亿到大规模的3400亿不等⑫，它们要么被训练为分类器③，要么在有参考模型时通过直接策略优化进行训练⑯。

整体性能②、团队展示了奖励模型在RM-BENCH上的整体性能⑬，突出进展并找出需要改进的地方⑫。

下表展示了RM-BENCH上前20个奖励模型的性能⑲。

20个奖励模型的平均准确率⑯、准确率和整体平均准确率

研究人员用RM-BENCH对近40个奖励模型进行了全面评估▓，发现了不少有意思的结果：

RM - BENCH 具有挑战性

提高奖励模型的性能仍有很大的进步空间⑥。

实验表明②，即使是最先进的模型②，如Skywork-Reward-Llama-3.1-8B⑮，在RM-BENCH上的平均准确率也仅为70.1%⑨，困难准确率为46.6% ⑱。

Nemotron-340B-Reward这样的大型奖励模型⑱，在RM-BENCH上也表现不佳⑪，平均准确率仅为69.5%⑫，与随机猜测的基线相比③，结果远不能令人满意⑪。

风格偏差严重⑳、RM-BENCH上的困难准确率明显低于普通准确率①，大多数奖励模型在Hard模式下⑪，准确率未能超过随机水平⑲。

这表明许多现有的奖励模型更像是风格偏好模型❶，在预测奖励时⑱，奖励模型很容易受到响应风格的影响❶，偏离了响应的实质内容⑬，好似“AI精神分裂”❷。

最先进的奖励模型⑭，如Skyword-Reward②，无法抵抗风格偏差⑳，准确率仅为46.6%❸，在风格干扰下低于随机猜测的准确率⑯。

减轻风格偏差和提高奖励模型稳健性是目前的迫切需求⑫。

数学和代码领域出现大崩盘

数学和代码领域对奖励模型构成了最大的挑战①，即使是平均准确率也难以超过随机水平②。

在困难准确率方面⑮，奖励模型的表现更差⑩。

最先进的Skywork-Reward-Llama-3.1-8B在数学和代码领域的困难准确率分别仅为28.4%和30.7%⑬，堪比抛硬币决策⑧，这一性能远远落后于随机猜测的基线④，表明当前的奖励模型在这些领域可能会使策略模型偏离正确方向⑳。

DPO 模型与序列分类器

研究团队旨在比较两种广泛采用的奖励建模范式❶，即直接偏好优化模型和序列分类器⑤。

DPO是一种流行的无奖励模型训练方法⑬，使用偏好数据集⑰，通过策略模型自身的隐式奖励信号直接优化策略模型⑪。

由于DPO模型和序列分类器奖励模型都可以在相同的偏好数据集上进行训练⑲，研究人员进行了一项对比研究❸，以评估使用DPO模型作为奖励模型的有效性⑲。

具体来说①，使用tulu-v2.5系列中的序列分类器和DPO模型⑩，这些模型在HH-RLHF⑯、StackExchange⑮、Chatbot Arena 2023和Nectar等偏好数据集上进行训练⑱。

团队在RM-BENCH上评估这些序列分类器⑦。

对于它们对应的DPO模型⑯，研究人员在有和没有参考模型tulu-2-13b的情况下⑬，评估它们在RM-BENCH上的平均准确率⑪，结果如下：

如该表所示⑮，在相同偏好数据集上训练时⑱，DPO模型的表现优于序列分类器⑤。

假设这种改进源于参考模型的影响④，DPO模型的奖励信号由参考模型的信号进行缩放⑬。

数据支持这一假设⑱，因为当参考模型不可用时⑥，团队观察到性能显着下降⑱，这表明参考模型起着关键作用❸。

RM-BENCH 中响应的正确性和冗长性分数的散点图

直接偏好优化模型在奖励建模方面显示出更大的潜力⑭。

与序列分类奖励模型相比⑧，DPO模型在RM-BENCH上表现更好⑯。

DPO模型异军突起①，在奖励建模方面潜力巨大⑦，很可能成为更优的奖励模型选择⑬。

与策略模型的相关性⑩、RM-BENCH与策略模型性能具有很强的相关性❷，使其成为选择奖励模型进行语言模型对齐的可靠参考④。

奖励模型的主要目标是提高策略模型的性能▓。因此⑧，一个好的奖励模型基准应该与策略模型的性能呈正相关⑱。

使用Tulu-v2.5系列中的奖励模型及其相应的策略模型进行实验⑧。

这四个奖励模型在不同的偏好数据集上进行训练⑪，包括HH-RLHF②、StackExchange⑤、Chatbot Arena 2023和Nectar❸。

所有数据集都采样到60k个示例⑥，以确保训练数据大小具有可比性⑭。

策略模型使用近端策略优化进行训练▓，使用相同的训练数据和超参数▓。

风格控制相关性⑯、首先②，团队研究RM-BENCH上奖励模型的性能与策略模型在风格控制评估中的性能之间的相关性⑧。

具体来说②，探究在RM-BENCH上困难准确率表现良好的奖励模型⑱，是否能在风格控制的设置中使策略模型表现更好⑰。

为了测试这一点⑥，研究人员使用Arena-Hard-Auto作为策略模型的风格控制评估基准⑭。

这个基准与RM-BENCH类似①，将长度和Markdown格式作为风格特征⑪。

将策略模型的风格控制分数定义为在风格控制评估中相对于无风格控制评估的性能相对下降⑲，较高的风格控制分数表明策略模型对风格特征的偏差较小④。

对于奖励模型④，使用RM-BENCH聊天领域的困难准确率作为评估指标▓，因为它直接衡量了模型优先考虑内容实质而非风格的能力❶，这对于减少风格偏差至关重要⑮。

如图所示⑨，RM-BENCH上困难准确率的提高与策略模型风格控制分数的显着提高相关⑬。

这表明⑩，强调内容实质而非风格的奖励模型会使策略模型的风格偏差降低③。

下游任务相关性⑬、接下来③，团队研究RM-BENCH上奖励模型的性能与策略模型在各种下游任务中的性能之间的相关性⑪。

数学任务使用GSM8k和Big Bench Hard进行评估⑮；代码任务使用HumanEval+和MBPP+进行评估⑮；安全任务在ToxiGen和XSTest上进行评估⑯。

对于奖励模型⑩，根据任务的性质选择指标⑦。

对于数学和安全任务❶，使用困难准确率⑰，因为正确性至关重要⑧，并且这些任务通常涉及不同的文本风格⑭，需要区分内容实质和风格⑭。

对于代码任务⑲，语言模型倾向于生成风格一致的文本⑰，因为来自GitHub和StackOverflow等来源的训练数据大多是Markdown格式⑬。

因此①，研究团队使用普通准确率⑦，以便更好地与代码风格的内在一致性保持一致⑲。

为了进一步展示相关性⑪，首先将策略模型的性能与基础SFT模型tulu-2-13b进行比较①，对其进行归一化⑦。

RM-BENCH上奖励模型的分数使用其性能的均值和标准差进行标准化❸，RM-BENCH上奖励模型的性能与下游任务中策略模型性能的对比图如下：

皮尔逊相关系数为0.55①，表明存在中等程度的正相关⑦，且接近显着水平⑲。

相比之下⑧，RewardBench报告的皮尔逊相关系数为r=0.21▓。

这突出表明⑯，RM-BENCH在成为与奖励模型评估相关性更好的基准方面向前迈进了一步❸。“不是要淘汰现有模型⑭，而是建立新的评估范式——就像从’比谁跑得快’转向’测谁不摔跤’”⑧。

团队希望RM-BENCH能够鼓励社区批判性地审视奖励模型基准的设计⑱，并激发未来开发更准确⑫、更系统的评估⑤。

论文链接：https://openreview.net/pdf?id=QEHrmQPBdd

代码链接：https://github.com/THU-KEG/RM-Bench

评测集链接：https://agi-eval.cn/evaluation/RM-Bench?id=57

转载：感谢您对电玩城捕鱼种类都有的软件网站平台的认可⑪，以及对电玩城捕鱼种类都有的软件原创作品以及文章的青睐⑮，非常欢迎各位朋友分享到个人站长或者朋友圈❸，但转载请说明文章出处“来源电玩城捕鱼种类都有的软件”⑲。

很赞哦▓！