下载一个超级电玩城

本文由香港中文大学与快手可灵等团队联合完成①。第一作者为香港中文大学 MMLab 博士生刘杰①，他的研究方向为强化学习和生成模型⑨，曾获 ACL Outstanding Paper Award③。

流匹配模型因其坚实的理论基础和在生成高质量图像方面的优异性能⑯，已成为图像生成和视频生成领域最先进模型的训练方法⑮。然而⑳，这些最先进的模型在处理包含多个物体⑨、属性与关系的复杂场景⑦，以及文本渲染任务时仍存在较大困难⑩。与此同时⑬，在线强化学习因其高效探索与反馈机制⑮，在语言模型领域取得显着进展⑥，但在图像生成中的应用仍处于初步阶段⑥。

为此❸，港中文 MMLab⑰、快手可灵⑨、清华大学等团队联合提出Flow-GRPO②，首个将在线强化学习引入 Flow Matching 模型的工作⑫。在 Flow-GRPO 加持下⑧，SD3.5 Medium 在 GenEval 基准测试中的准确率从 63% 提升到 95%❸，组合式生图能力超越 GPT4o⑪，这说明流匹配模型还有很大提升空间⑦，Flow-GRPO 的成功实践⑨，为未来利用 RL 进一步解锁和增强各类流匹配生成模型在可控性❷、组合性⑰、推理能力方面的潜力⑭，开辟了充满希望的新范式

论文标题：Flow-GRPO: Training Flow Matching Models via Online RL

论文链接：https://www.arxiv.org/pdf/2505.05470

代码地址：https://github.com/yifan123/flow_grpo

模型地址：https://huggingface.co/jieliu/SD3.5M-FlowGRPO-GenEval

作者团队也会尽快提供 Gradio 在线 demo 和包含大量生成 case⑬，强化学习训练过程中图片变化的网页▓，帮助读者更好地体会 RL 对于流匹配模型的极大提升⑯。

一．核心思路与框架概览⑲、Flow-GRPO 的核心在于两项关键策略①，旨在克服在线 RL 与流匹配模型内在特性之间的矛盾⑰，并提升训练效率：

ODE-SDE 等价转换： 流匹配模型本质上依赖确定性的常微分方程进行生成④。为了强化学习探索所需的随机性⑳，作者采用了一种 ODE 到随机微分方程的转换机制⑭。该机制在理论上保证了转换后的 SDE 在所有时间步上均能匹配原始 ODE 模型的边缘分布⑬，从而在不改变模型基础特性的前提下⑲，为 RL 提供了有效的探索空间⑳。

去噪步数「减负」提效： 在 RL 训练采样时⑦，大胆减少生成步数⑬，极大加速数据获取②；而在最终推理生成时❶，仍然使用完整步数②，保证高质量输出❶。在极大提升 online RL 训练效率的同时⑯，保证性能不下降⑳。

图 1 Flow-GRPO 框架

二． ODE to SDE

GRPO 的核心是依赖随机采样过程❸，以生成多样化的轨迹批次用于优势估计和策略探索⑧。但对于流匹配模型⑤，其确定性的采样过程不满足 GRPO 要求❸。为了解决这个局限性⑧，作者将确定性的 Flow-ODE 转换为一个等效的 SDE①，它匹配原始模型的边际概率密度函数⑦，在论文附录 A 中作者提供了详细的证明过程⑱。原始的 flow matching 模型 inference 的时候按照如下公式：

转变成 SDE 后⑧，最终作者得到的采样形式如下：

之后就可以通过控制噪声水平的参数很好地控制 RL 策略的探索性⑪。

三．Denoising Reduction

为了生成高质量的图像②，流模型通常需要大量的去噪步骤⑭，这使得在线强化学习的训练数据收集成本较高⑧。作者发现⑮，对于在线强化学习训练⑤，较大的时间步长在样本生成时是多余的⑤，只需要在推理时保持原有的去噪步骤仍能获得高质量的样本⑧。作者在训练时将时间步长设置为 10⑳，而推理时的时间步长保持为原始的默认设置 40⑤。通过这样的「训练时低配❷，测试时满配」的设置❶，达到了在不牺牲最终性能的情况下实现快速训练②。

四．核心实验效果⑭、Flow-GRPO 在多个 T2I生成任务中表现卓越：

复杂组合生成能力大幅提升： 在 GenEval 基准上❸，将 SD3.5-M 的准确率从 63% 提升至 95%⑫，在物体计数❷、空间关系理解⑦、属性绑定上近乎完美⑦，在该评测榜单上效果超越 GPT-4o④！

图 2 Flow-GRPO 训练过程中的性能持续上升

图 3 GenEval 各项指标详细结果

图 4 在 GenEval 基准上的定性比较

文字渲染精准无误： 视觉文本渲染准确率从 59% 大幅提升至 92%⑲，可以较为准确地在图片中渲染文字▓。

更懂人类偏好： 在人类偏好对齐任务上也取得了显着进步⑤。

奖励黑客行为显着减少： Flow-GRPO 在性能提升的同时⑭，图像质量和多样性基本未受影响⑥，有效缓解 reward hacking 问题⑪。

五．总结与展望❸、作为首个将在线强化学习引入流匹配模型的算法⑭，Flow-GRPO通过将流模型的确定性采样机制改为随机微分方程采样⑯，并引入 Denoising Reduction 技术⑦，实现了在流匹配模型上的高效在线强化学习⑧。实验结果显示④，即便是当前最先进的 flow matching 模型⑫，在引入强化学习后依然有显着的性能提升空间①。Flow-GRPO 在组合式生成⑬、文字渲染和人类偏好等任务上②，相比基线模型均取得了大幅改进⑰。

Flow-GRPO 的意义不仅体现在指标上的领先⑦，更在于其揭示了一条利用在线强化学习持续提升流匹配生成模型性能的可行路径⑱。其成功实践为未来进一步释放流匹配模型在可控性⑲、组合性与推理能力方面的潜力⑪，尤其在图像⑩、视频⑪、3D 等多模态生成任务中⑩，提供了一个充满前景的新范式①。

转载：感谢您对电玩城捕鱼种类都有的软件网站平台的认可④，以及对电玩城捕鱼种类都有的软件原创作品以及文章的青睐⑱，非常欢迎各位朋友分享到个人站长或者朋友圈⑤，但转载请说明文章出处“来源电玩城捕鱼种类都有的软件”❷。

很赞哦⑤！