超级电玩城免广告下载入口

衡宇 发自 凹非寺量子位 | 公众号 QbitAI一年之内⑲，大模型推理训练可能就会撞墙❷。

以上结论来自Epoch AI⑩。

这是一个专注于人工智能研究和基准测试的非营利组织⑳，之前名动一时的FrontierMath基准测试就出自它家⑦。

与之伴随而来的还有另一个消息：

如果推理模型保持「每3-5个月都以10倍速度增长」⑦，那么推理训练所需的算力可能会大幅收敛⑰。

就像DeepSeek-R1之于OpenAI o1-preview那样②。

看了这个结果③，有围观网友都着急了：

既然在o3基础上再scaling非常困难⑫，那为啥咱不探索模块化架构或针对特定任务的专用模型呢⑧？“效率”比“研究过剩”更重要⑧！

推理训练还有scalable的空间

OpenAI的o1是推理模型的开山之作⑥。

和o3⑭、DeepSeek-R1等一样⑱，它们从传统的大语言模型发展而来⑤，在预训练阶段使用了大量人类数据进行训练❶，然后在强化学习阶段⑪，根据解题的反馈来改进自己的推理能力❸。

虽然推理模型已经成为了很多AI使用者的实用帮手⑯，但关于推理训练所需算力的公开信息非常少⑥，大概只有以下这些：

OpenAI表示⑱，与o1相比①，训练o3所需的算力提升了10倍——提升部分几乎都花在了训练阶段⑯。

OpenAI没有公开o1⑳、o3的具体细节⑩，但可以从DeepSeek-R1②、微软Phi-4-reasoning⑬、英伟达Llama-Nemotron等其它推理模型▓。它们所需的推理训练阶段算力耕地⑳，但可以根据它们进行推演①。

Anthropic的创始人兼CEO Dario Amodei曾针对推理模型有过一篇公开文章⑱。

然后就没有然后了……③、根据现有的信息和资料⑫，Epoch AI进行了总结和分析⑪。

首先④，OpenAI公开过这样一张图表❸，上面展示了o3和o1在AIME基准测试中的表现⑭，以及两者在推理训练阶段可能所需的算力的对比——

可以看到⑱，终版o3花费的算力是o1的10倍❶。

Epoch AI分析道：“x轴很可能显示的是推理训练所需算力而不是总算力⑪。”

Epoch AI罗列了这一猜测的证据⑲。

第一⑤，初代o1耗费的算力比o3低四个数量级⑧，其在AIME上的得分约为25%⑱。

如果x轴表示总计算量⑨，“不太可能呈现这种情况”❷。

第二⑤，如果x轴表示的是所需总算力⑲，这张图意义就不大了③。

因为这就意味着OpenAI训练了N个版本的o1⑱，且预训练阶段非常不完整⑲。

依照Epoch AI的猜测❸，如果o3在推理结算花费的算力是o1的10倍⑭，这意味着什么⑫？

由于很多推理模型背后团队都学精了⑪，并不公开训练方法和过程⑤，所以只能从现有公开资料里去寻找答案①。

比如DeepSeek-R1❷。

Epoch AI此前估算⑱，DeepSeek-R1推理训练中使用的算力约为6e23 FLOP⑳，需要生成大约 20万亿个tokens——这只有DeepSeek-V3预训练成本的20%⑬。

虽然只是一种估算❶，但R1在各个榜单上的得分和o1非常接近⑫，“因此可以用它来为o1所需算力设定一个baseline”⑳。

比如英伟达的Llama-Nemotron Ultra⑤，它在各个基准上的分数与DeepSeek-R1和o1相当❸。

它是在DeepSeek-R1生成的数据上训练的⑪。

公开信息显示⑫，Llama-Nemotron Ultra的推理阶段耗时140000 H100小时④，约等于1e23 FLOP⑬。这甚至低于它的原始基础模型预训练成本的1%❸。

再比如微软的Phi-4-reasoning⑦。

它是在o3-mini生成的数据上训练的⑨。

Phi-4-reasoning在推理阶段规模更小❶，成本低于1e20 FLOP①，可能是预训练所需算力成本的0.01%⑩。

值得注意的是⑭，Llama-Nemotron和Phi-4-reasoning都在RL阶段之前进行了有监督微调⑤。

咱们再来看看今年1月DeepSeek-R1发布后④，Anthropic的CEODario Amodei写的一篇文章⑨，这被视为关于现有推理模型所需算力规模的最后一点线索：

由于这是新范式④，我们目前仍处于规模拓展的初期阶段：所有参与者在第二阶段投入的资金量都很少⑲，花费从10万美元提高到100万美元就能带来巨大收益⑰。如今⑬，各公司正迅速加快步伐⑮，将第二阶段的规模扩大到数亿乃至数十亿美元⑩。有一点必须重视⑫，那就是我们正处于一个独特的转折点上⑱。

当然了⑦，Amodei对非Anthropic模型所需算力的看法可能只基于自家公司内部数据⑥。

但可以清晰了解⑭，截至今年1月⑩，他认为推理模型的训练成本远低于“数千万美元”⑱，大于1e26 FLOP⑰。

Epoch AI总结道——

上述的预估和线索指向一个事实⑦，那就是目前最前沿的推理模型⑫，比如o1⑧，甚至o3⑲，它们的推理训练规模都还没见顶⑰，还能继续scalable⑪。

但1年内可能就撞墙了▓、换句话说④，如果推理训练还没见顶⑰，那么推理模型还是有潜力在短期内快速实现能力拓展的⑥。

这就意味着⑩，推理模型还很能打⑳，潜力巨大⑤。

就像OpenAI展示出的下图⑫，以及DeepSeek-R1论文中的图2一样——模型答题准确率随着推理训练步骤的增加而大致呈对数线性增长⑧。

这表明⑰，至少在数学和编程任务上❸，推理模型的性能随着推理训练的扩展而增强❶，就像预训练的scaling law一样⑥。

行文至此处①，Epoch AI写下这样一段话：

如果推理阶段的算力需求见顶⑤，那么其带来的增长率将收敛⑭，大概是每年增长4倍❷。

绝不会像o1推出后4个月就有了o3那样⑮，保持几个月增长10倍的态势⑰。

因此⑮，他得出这样一个结论——

如果一个推理模型的训练阶段仅比前沿推理模型低几个数量级①，这种增长率可能在一③、两年内减缓⑪，甚至撞墙⑧。

然鹅⑫，想要扩展推理模型并不是那么简单的④。

单单是数据不够这一项⑤，就可能导致其停滞不前⑥。

大家也都还不清楚⑬，除了数学⑤、编程领域❸，推理训练是否能泛化到其

它⑭、规律性没那么强的领域❷。

但可以肯定的是③，随着推理模型的训练越来越成熟⑨，所有推理模型所需的成本可能都趋同⑭。

虽然研究成本的高低并不影响算力和性能之间的关系❸，但如果相关研究保持“花钱如流水”的状态❸，那么推理模型可能无法达到人们心中预期的最佳水平⑳。

另一方面⑩，即使所需算力的增长速度放缓⑧，推理模型也可能持续进化⑰，就像R1那样⑧。

换句话说⑫，不只有数据或算法创新能推动推理模型的进步④，算力大增也是推动推理模型进步的关键因素⑰。

参考链接：https://epoch.ai/gradient-updates/how-far-can-reasoning-models-scale

转载：感谢您对电玩城捕鱼种类都有的软件网站平台的认可③，以及对电玩城捕鱼种类都有的软件原创作品以及文章的青睐⑩，非常欢迎各位朋友分享到个人站长或者朋友圈⑥，但转载请说明文章出处“来源电玩城捕鱼种类都有的软件”❸。

很赞哦⑤！