您现在的位置是：网站首页>军事军事

电玩城黑科技

魏涵雁 2025-05-13 【军事】 4151 人已围观

DEER团队 投稿量子位 | 公众号 QbitAI

长思维链让大模型具备了推理能力⑮，但如果过度思考⑫，就有可能成为负担⑮。

华为联合中科院信工所提出了一种新的模式❸，让大模型提前终止思考来避免这一问题❶。

利用这种方法⑱，无需额外训练⑨，就可以让大模型的精度和效率同时提升

这种方式名为DEER⑱，也就是动态提前退出推理的简称⑥。

其核心在于找到推理信息质量下降之前的临界点⑪，并在临界点及时让大模型中断推理⑧。

结果在多个推理基准中⑩，DEER在DeepSeek系列推理LLM上始终有效❷，将思维链生成长度平均减少31%到43%⑫，同时将准确率提高1.7%到5.7%❶。

截至目前⑧，DEER已在QwQ⑧、Qwen3⑯、Nemotron等更多推理模型和11个评测集上被验证持续有效⑫。

停止推理的临界点⑭，需要动态规划

直观上⑫，随着思维链中的推理路径数量的增加❸，生成结论时可参考的信息也会更多⑲。

如果能够识别出推理信息变得刚好足够的临界点❸，并迫使模型在此点停止进一步思考并直接输出结论⑥，就可以同时实现准确率和效率⑪。

这项研究的关键⑭，就是在生成长思维链过程中找到这样的珍珠

为了验证这一动机②，作者在每个推理路径的转换点强制模型从思考切换到直接生成答案⑨。如果得到的答案是正确的③，则验证了这种珍珠推理的存在⑮。

如下图所示①，大约75%的样本确实包含这样的珍珠⑬，甚至有36.7%的样本只需不到一半的原始推理路径就能得到正确答案⑨。

因此②，如何从长思维链中找到Pearl Reasoning是实现高效推理的一个极具潜力和价值的课题④。

为此⑫，作者在先导实验中详细分析了推理模型存在的过度思考问题▓，并探索了静态早期退出对模型性能的影响⑭，所有实验都是在DeepSeek-R1-Ditil-Qwen-14B上进行的⑯。

作者首先让模型在测试集上执行完整的推理❸，然后保留完整的思维链并根据思路转换点将其划分为思维块⑬。

对于这些样本②，作者保留了不同比例的思维块②，并在每个截断处附加一个思维结束标记分隔符▓，以强制终止思维链过程并生成最终结论❷。

定量结果表明⑮，在仅使用20%的推理步骤就提前退出的静态设定下⑩，对于MATH-500③，有60.8%的正确回答样本依然能保持正确⑱；

对于较难的GPQA❷，仍然有35.1%样本可以保持正确⑩。

下图说明了在不同的位置提前退出可以纠正的错误答案的不同比例⑬。

对于MATH数据集⑰，当以40%的推理步骤退出时达到最高的纠错率❶；而对于GPQA数据集⑩，当以50%的推理步骤退出时达到最佳纠错率③。

似乎每个问题的最佳早期退出点都不尽相同⑥，并且与问题本身的固有难度密切相关⑲。

因此③，依赖基于固定启发式的静态提前退出策略是次优的⑲，作者以此为动机设计了动态提前退出机制⑫，通过寻找珍珠推理进一步纠错提高准确性⑰，同时减少生成的长度⑫。

那么②，DEER具体是如何工作的呢⑲？

三步判断退出推理时机⑨、DEER将模型在推理中切换思维链的关键时刻视为提前退出的时机④，并促使大模型在这些时刻停止思考并生成尝试性答案▓。

每个试验答案的置信度④，是推理中提前退出的决策参考⑨。

具体来说⑤，DEER方法包含三个动作——推理转换监控②、试验性答案诱导和置信度评价⑤。

推理转换监控是受budget force技术的启发⑬，将诸如“wait”“alternatively”这样的单词识别为思路转换的临界点并监控其出现③。

当思路转换点出现时⑲，将触发答案诱导的动作——作者将“wait”替换为类似于“Final Answer:”的标记⑬，以诱导模型立即生成验证性答案②。

这将用于第三个动作④，也就是置信度评价——

如果置信度足够高③，则将模型设置为停止进一步思考⑫，并基于已经生成的思维链直接生成结论⑧；

否则⑮，撤销答案诱导的动作⑮，沿原路径继续推理▓。

下图展示了DEER对验证性答案的置信度确实能够反映出已生成的思维链是否足够支撑大模型生成最终答案的信息量⑭。

可以观察到❶，当模型的推理过程不完整或有缺陷时⑲，试验答案往往表现出明显较低的置信度④；相反⑬，当推理全面且逻辑合理时❸，模型生成的答案具有更高的置信度③。

直觉上⑭，DEER中的答案诱导和置信度评价的计算在推理过程中引入了额外的延迟⑳，特别是对于测试答案仍然很长的代码生成任务⑩，这降低了通过缩短思维链序列而获得的效率增益▓。

为了解决这个问题❷，作者提出了分支并行加速策略①，以进一步解决这些效率限制：

多个分支线性化为单个序列▓，并使用专门的Causal Attention Mask并行生成③；

通过基于置信度的剪枝实现动态KV缓存管理①。该策略允许Trail Answer Inducer和Confidence Evaluation和正在进行的推理链生成之间的时间重叠❷，从而优化整体推理效率⑱。

另外⑳，关于端到端时延的更多讨论将在即将发布的版本中加入▓。

让推理模型更快更强④、为了验证DEER的表现⑩，作者在6个挑战性的推理benchmark上进行了测评⑧，其中包含3个数学推理任务⑧、一个科学推理任务②、两个代码生成任务⑦。

评测指标选用了准确率和生成长度两个维度⑲，分别衡量精度和效率⑬。实验选用了不同规模的DeepSeek-R1-Distill-Qwen系列模型▓。

实验结果表明❶，DEER在所有规模的模型和评测集上都展现出了惊人的效果⑥。

数值上⑪，DEER相比于常规的Long CoT方法准确率平均提升了1.7到5.7个点①，同时生成长度缩短了31%到43%⑮。

在小规模的模型上⑱，DEER对于MATH-500和AMC 2023两个难度稍低的benchmark提升更显着⑩。

在大规模的模型上⑳，DEER对于AIME 2024和GPQA两个更具挑战性的benchmark提升更显着⑧。

尤其是当模型的推理能力与问题难度匹配时⑦，作者的方法更加有效⑤。

在HumanEval和BigCodeBench两个programming测试集上⑧，作者的方法实现了平均减少64.9%的生成长度❸，而pass@1提高了2.1个点⑫，并对0.95附近的阈值表现鲁棒⑯，不会有显着波动❶。

为了进一步验证DEER对于端到端推理效率的提升⑥，作者基于huggingface transformers在MATH和AMC两个数据集上测试了平均每个样本的推理时延⑲。

结果表明⑦，在未使用作者提出的分支并行解码加速的情况下❶，DEER就已经减少了43.4%到47.3%的推理时延❸。

而采用了分支并行解码后⑱，推理时延的下降比例和序列长度的下降比例呈现超线性的关系①。

作者还通过样例分析进一步证明了DEER的有效性❷。

原始的推理模型在解决问题时倾向于切换思路探索多种解题方法⑲，然而很可能问题的最优解决路径只有一条⑩，在后续的思路中模型会因为犯错而得不到正确答案⑬。

为了验证两个不同结果哪一个正确⑳，模型会进行无休止的自我检查⑤，最终未能给出答案⑯。

但在DEER的工作模式下⑯，这一问题得到了有效避免①。

论文地址：https://arxiv.org/abs/2504.15895项目链接：https://github.com/iie-ycx/DEER

很赞哦⑩！

随机图文