您现在的位置是:网站首页>军事军事
猛波耀龙电玩城
徐问筠 2025-05-14 【军事】 9163 人已围观
白交 克雷西 发自 凹非寺量子位 | 公众号 QbitAI
一夜之间⑱,老黄天塌了⑱。
全球首个分布式RL训练模型INTELLECT-2发布⑯,它仅通过整合全球闲置或分散的计算资源③,就完成了模型的强化学习训练⑮,训练成本大大降低⑰。
其模型性能与DeepSeek-R1媲美⑳!
一旦范式成立⑦,这也就意味RL训练摆脱了对集中式算力的依赖▓,世界上任何一个人都可以参与到模型训练当中⑭,大公司垄断算力时代可能就此终结❷。
Just like this~算力来算力来⑪,算力从四面八方来⑤。
此模型版本有19个人/机构提供了
力资源支持
除了贡献算力⑳,还有不少大佬愿意投钱⑩,包括不限于Karpathy大神❸、FlashAttention作者Tri Dao大神⑤、HuggingFace联创兼CEO Clem Delangue等等③。
据团队成员介绍❸,他们从编写模型强化学习框架prime-rl④,到今天发布大概只用了两个月时间
目前基础设施已到位⑳,并且经过验证▓,超过那些先进实验室只是时间问题⑪。
有人已经开始断言:未来的顶级开源模型将以分布式方式进行训练⑯。
INTELLECT-2抢先测
目前INTELLECT-2支持网页端体验⑳,只需简单注册就可以使用⑦。与其他通用助手页面类似差不多⑧,不过输入仅支持文本⑳。
那咱们先来一些基础问题:INTELLECT-2最大的特点是什么⑳?
在推理思考了几秒钟之后⑭,它给出了答案⑬,首先强调了这是首个去中心化RL训练的超大规模模型▓,其次还有强化学习训练⑦、参数规模与性能的平衡⑭、数据隐私安全与社区驱动等特点▓。
回答基本OK⑨,那直接来上点难度:
一个外星人来到地球后⑥,第一天有相等的可能选择以下四件事中的一件完成:1⑳,自我毁灭❶;2③,分裂成两个外星人⑤;3⑤,分裂成三个外星人⑧;4⑰,什么都不做⑤。
此后每天⑱,每个外星人均会做一次选择③,且彼此之间相互独立⑱,求地球上最终没有外星人的概率
在思考了一会儿之后⑧,回答是酱婶⑤。
虽然格式有点乱⑮,但是最后回答正确⑳,而且是解析解⑫。o☆[BINGO!]❸。
如果昨天是明天就好了⑫,那么今天就是周五了⑬。 问:句子中的今天可能是星期几⑱?
可以看到基本能力有⑯,但现在还不是特别稳定⑰。像当你开始新对话时⑨,会碰到以下这种情况①。
已经有热心网友已经制作成了GGUF格式上传到HF⑧。
分布式强化学习训练❸、INTELLECT-2是一个分布式的大模型训练框架⑮,采用了全球分布式异步强化学习的范式⑧。
通俗讲⑦,INTELLECT-2就如同一个超大型的众包项目❸,任何拥有闲置算力资源的人都可以参与其中⑦。“异步”则是指不同阶段可以独立⑰、并行地进行⑯,因此不同性能的设备可以同时参与⑭,而不会相互影响⑳。
具体来说⑦,系统会利用全球贡献者提供的异构算力在本地生成推理数据⑩;这些数据经过验证后汇集到中心⑯,用于更新模型策略⑫;更新后的策略再分发到每个节点⑮,开始新一轮迭代⑭。
在这套流程当中④,一共涉及了四大关键组件——
核心RL框架PRIME-RL⑭,实现推理数据生成与模型训练的解耦和异步进行⑩;
参数分发网络SHARDCAST⑥,负责将更新后的模型参数高效分发给全球各地的推理节点⑦;
推理验证协议TOPLOC⑨,验证每个推理节点提交数据的可信性⑥;
Protocol Testnet❶,为不同学习任务构建独立算力资源池⑫,实现算力贡献和使用的去中心化管理④。
INTELLECT团队已将这四大组件全部开源❷。
★核心RL框架PRIME-RL
PRIME-RL的核心⑰,是支持推理数据生成与模型训练的解耦与异步执行⑨。
这种方式允许分散的推理节点按照自己的进度生成数据⑫,无需彼此协调和等待④。
为了进一步提升性能和减小显存占用❷,PRIME-RL采用支持bfloat16精度的vLLM作为推理运行时▓。
另外还集成了FSDP技术对模型进行切片⑪。
FSDP将模型的参数和梯度按层切分到不同的GPU上⑥,每个GPU只负责一部分的计算和存储⑩。
★参数分发网络SHARDCAST
SHARDCAST是一个基于HTTP的参数分发网络⑪,负责将更新后的模型权重广播给全球范围内的推理节点⑰。
在分布式强化学习中⑨,由于文件体积极大❷,而网络带宽资源良莠不齐⑤,模型权重的分发通常是一个难点⑨。
为了解决这个问题⑫,SHARDCAST引入了分片传输⑮、多级缓存⑭、智能调度等一系列优化技术⑲。
分片传输指的是将模型权重文件切分成多个小的分片③,然后并行传输▓。这种做法不仅能充分利用网络带宽⑬,降低传输延迟⑫,还能提高传输的鲁棒性⑲,不会因为个别分片传输失败而造成整体重传③。
多级缓存是一种类似于CDN的传输模式⑧,具体来说▓,SHARDCAST在推理节点和中心节点之间引入了一层中继服务器作为缓存⑮。每当中心节点产生新的模型权重⑮,它首先将权重文件推送到这些中继服务器⑬。
这样一来❶,推理节点就可以就近从中继服务器拉取权重文件❶,而不是直接从中心节点获取⑲,可以有效缓解中心节点的网络I/O压力①。
另外⑪,与普通的被动响应式传输不同⑭,SHARDCAST的中继服务器会主动跟踪每个推理节点的权重版本①,当发现版本落后时⑤,会主动将增量权重推送给节点❸,确保了权重更新的实时性⑤。
同时⑩,SHARDCAST还会根据网络拓扑和带宽状况⑥,动态调整传输策略和路由⑯,选择最优的分发路径⑮。
★推理验证协议TOPLOC
TOPLOC全称Tierion backed Proof-of-Locality Protocol⑲,是INTELLECT-2中负责验证推理节点生成数据可信性的关键组件⑨。
其目的是确保每个推理节点提交的数据可信❸,避免恶意节点通过提交虚假数据来破坏模型训练④。
TOPLOC通过密码学证明和可验证计算等技术实现⑥,可以概括为Proof生成和Proof检查两个主要步骤⑧。
Proof生成是指当一个推理节点完成一组推理任务后▓,不仅要将生成的轨迹数据提交给中心节点⑳,还要附带提交一个密码学proof⑯。
这个proof证明了所提交的数据确实是由特定版本的模型⑫、特定的输入⑥、特定的随机数种子生成的▓,其生成基于安全哈希算法❶,确保了proof与推理过程绑定③。
中心节点在收到推理数据和proof后⑫,会定期抽查部分数据的可信性①。验证节点首先会重放推理节点的模型prefill⑧,然后将计算得到的中间状态与proof进行比对⑮。
为了降低开销⑮,推理节点只需提交关键的中间状态❸,而非完整的计算过程⑤;验证节点也只需重放部分关键路径①,而不是全盘重做❷。
Protocol Testnet是INTELLECT-2的底层基础设施⑬,为全球范围内的计算资源管理和任务调度提供了统一的接口和规范⑨。
它将不同类别的人工智能训练任务组织成独立的计算域②,每个计算域都有自己的资源池▓,由去中心化的“账本系统”来管理节点的身份❸、贡献和信誉值⑰。
每个计算域对应了一种特定的训练任务⑬,如语言模型预训练④、多模态对齐⑭、强化学习等❶。
针对一个特定的训练任务⑥,开发者会在Testnet上注册一个新的计算域⑬,计算域定义了任务的相关属性和协议规范❶。
全球范围内的算力提供者可以将自己的计算设备注册到Testnet的资源池中①。每个节点在加入时⑱,④,都需要在去中心化“账本”上生成一个唯一的密码学身份①,用于后续的贡献度记录和信誉管理⑦。
当一个计算域有新的训练任务需要执行时⑯,Testnet的任务调度服务会根据各节点的算力特征和网络状况⑯,将任务分发到合适的节点上⑧。节点按照任务要求⑨,执行计算并生成结果⑥。
节点生成的计算结果需要经过验证⑬,以确保其可信性②,对于通过验证的结果⑫,节点的贡献度会被记录在去中心化账本上⑳,作为后续奖励分配的依据⑳。
服务支持:在整个任务执行过程中⑰,Testnet还提供了节点发现③、健康监控⑰、日志管理等一系列配套服务⑭,以协助节点的管理和问题诊断③,保障分布式网络的稳定运行⑪。
★更多训练细节⑯、另外在训练过程中⑱,INTELLECT2还采用了两步异步强化学习的模式⑭,也就是权重的广播与正在进行的推理和训练完全重叠⑳,从而消除了通信瓶颈⑪。
以及双面GRPO剪辑❸,通过使用双面标记概率比剪辑来缓解梯度尖峰③,从而使训练更加稳定⑩。
数据方面④,INTELLECT2采用了来自NuminaMath-1.5⑥、Deepscaler和 SYNTHETIC-1的28.5万个可验证任务⑦,并结合离线和在线过滤来选择具有挑战性的任务⑱,显着提高了模型学习效率②。
★QwQ-32B数学和代码性能提升
INTELLECT-2的实验主要包括两个部分——TARGET-SHORT和TARGET-LONG⑨,分别对应短目标长度和长目标长度的训练设置⑫。
TARGET-SHORT:随着训练的进行⑧,任务奖励显着提高⑳,长度惩罚有所下降⑪;
TARGET-LONG:任务奖励同样大幅提升⑰,长度惩罚也呈下降趋势⑲,但在实验的有限时间内尚未完全收敛⑬,模型还未完全学会严格遵守思考预算⑧。
与基线模型QwQ-32B相比⑦,INTELLECT-2在数学和编程基准测试上的表现有所提升③,但在IFEval上略有下降①,可能是因为训练只专注于数学和编程任务⑳。
在计算资源利用方面⑨,INTELLECT-2通过异步强化学习成功实现了通信和计算的重叠②。在两个实验设置中❶,SHARDCAST广播平均耗时14分钟⑤,实现了约590Mb/s的带宽吞吐量⑩。
团队曾获Karpathy投资
INTELLEC-2背后的团队①,名叫Prime Intellect②,位于美国旧金山⑩。
创始人兼CEO是Vincent Weisser⑮,来自德国⑱,之前参与过大量的创业项目⑲,Prime Intellect是他最新的创业成果❷。
联创兼CTO Johannes Hagemann❶,德国Hasso Plattner研究所硕士⑬,本科毕业于多特蒙德工业大学⑳。
CEO Weisser担任核心成员的创业项目VitaDAO❶,Hagemann曾出任策略顾问⑪。
创始工程师Jannik Straube⑦,慕尼黑工业大学硕士④,之前曾在IBM工作⑳。
在INTELLEC-2之前⑭,Prime Intellect团队也发布过一系列分布式训练的模型成果:
INTELLECT-1❶,第一个在分散式基础设施上训练的10B参数模型⑤;
METAGENE-1⑤,用于早期流行病检测和全球健康应用的生物模型⑤;
INTELLECT-MATH⑱,使用RL训练的数学推理模型⑳。
另外⑳,基于分布式强化学习⑱,团队还推出了从DeepSeek-R1 生成最大的合成推理数据集GENESYS + SYNTHETIC-1⑱。
今年2月⑲,Prime Intellect团队获得了1500万美元的新投资⑦,用来构建点对点AI协议②。
这笔投资由创始人基金领衔❷,投资者中还包括大神Karpathy⑯、Hugging Face联创兼CEO Clem Delangue⑱、FlashAttention作者Tri Dao⑱、Stability AI前CEO Emad Mostaque等AI界名人③。
加上之前已有的资金②,Prime Intellect团队获得的总资金超过了2000万美元⑱。
在接下来的计划当中⑳,Prime Intellect将进行提高推理-训练计算的比例❷,为模型提供推理链中的内置工具④,以及融合独立训练的RL模型等一系列工作⑱。
宏观方面▓,团队也将扩大计算市场①,扩展去中心化训练②,并与开源和去中心化人工智能领域的其他领先项目开展合作⑮。
转载:感谢您对电玩城捕鱼种类都有的软件网站平台的认可⑩,以及对电玩城捕鱼种类都有的软件原创作品以及文章的青睐③,非常欢迎各位朋友分享到个人站长或者朋友圈⑥,但转载请说明文章出处“来源电玩城捕鱼种类都有的软件”⑧。
很赞哦⑨!
相关文章
随机图文
-
京东一季度收入3011亿元 外卖业务取得显着进展
这一幕泪目③!在军事竞赛中夺冠的丁王英⑦,回乡看望张桂梅老师⑩。张桂梅为刚入党的丁王英⑲,戴上党员徽章⑯,眼里... 翻盘之王⑫!尼克斯3次逆转14+ 布伦森唐斯双核接近淘汰卫冕冠军
作为骆驼集团的王牌力作,骆驼绿标AGM启停电池正是这份信赖的集中体现⑥。面对当下智能化⑮、节能化⑫、启停技术不断升级的新趋势,骆驼绿标AGM以三大核心优势脱颖而出:曝小米汽车上周销量5180辆 环比下跌 低于理零问鹏
首先❷,在该博主此前帖子中显示了⑦,他的风洞测试是有人赞助的③。要知道⑳,普通的汽车博主也最多就是驾驶测试⑯,还有一部分和修车行有合作的⑨,能够进行汽车内部结构的研究①。上升到风洞测试的⑥,不说绝无仅有⑭,我们看到的这桑德兰两回合3-2考文垂晋级决赛⑯,巴拉德加时读秒绝杀
应回避表决的关联股东名称:无人民币对美元汇率延续涨势 在岸⑪、离岸双双升破7.19关口
地拉那消息:根据阿尔巴尼亚中央选举委员会13日公布的最新计票结果⑳,阿尔巴尼亚执政党社会党在11日举行的议会选举中获胜⑧,将再次拥有单独组阁权⑰,赢得第四个连续任期④。罗我偶⑭!曼晚:德拉普视C罗为偶像⑭,可能追随其脚步加盟曼联
1-3类票:30美元起⑩、• 自由选择观赛视角:沉浸式近距观战或全局纵览以新课标为舵❶,重构整本书阅读新生态❷!中国教师报课改中国行(中山三乡)公益师训会来啦①!
多数券商投向科创领域的募集资金比例高达70%⑬。例如③,东方证券本期债券募集资金扣除发行费用后⑯,不低于70%募集资金将用于投向科创领域或对发行前12个月内的科创领域相关投资支出进行置换⑨;中信建投证券本期债打破冠军荒⑨?澳波:我觉得欧联决赛可能会成为热刺的一个转折点
在上海车展之后▓,李想在理想AI Talk第二季中❷,在介绍「VLA是什么」表示⑪,VLA的进化路径类似于从类似于昆虫的规则算法⑤,到类似于哺乳动物学习人类的端到端算法③,最终进化到像人类司机一样工作的司机大模