您现在的位置是:网站首页>中国足球中国足球
街机飞禽走兽森林舞会电玩城
傅小玉 2025-05-14 【中国足球】 8726 人已围观
白交 克雷西 发自 凹非寺量子位 | 公众号 QbitAI
一夜之间⑭,老黄天塌了⑩。
全球首个分布式RL训练模型INTELLECT-2发布❸,它仅通过整合全球闲置或分散的计算资源⑱,就完成了模型的强化学习训练⑲,训练成本大大降低⑪。
其模型性能与DeepSeek-R1媲美⑩!
一旦范式成立①,这也就意味RL训练摆脱了对集中式算力的依赖⑫,世界上任何一个人都可以参与到模型训练当中④,大公司垄断算力时代可能就此终结⑬。
Just like this~算力来算力来⑨,算力从四面八方来⑪。
此模型版本有19个人/机构提供了
力资源支持
除了贡献算力⑪,还有不少大佬愿意投钱⑬,包括不限于Karpathy大神⑦、FlashAttention作者Tri Dao大神⑯、HuggingFace联创兼CEO Clem Delangue等等⑪。
据团队成员介绍⑫,他们从编写模型强化学习框架prime-rl▓,到今天发布大概只用了两个月时间
目前基础设施已到位❸,并且经过验证⑬,超过那些先进实验室只是时间问题❶。
有人已经开始断言:未来的顶级开源模型将以分布式方式进行训练❶。
INTELLECT-2抢先测
目前INTELLECT-2支持网页端体验❷,只需简单注册就可以使用⑯。与其他通用助手页面类似差不多②,不过输入仅支持文本⑰。
那咱们先来一些基础问题:INTELLECT-2最大的特点是什么❸?
在推理思考了几秒钟之后①,它给出了答案⑯,首先强调了这是首个去中心化RL训练的超大规模模型①,其次还有强化学习训练⑬、参数规模与性能的平衡⑧、数据隐私安全与社区驱动等特点⑲。
回答基本OK⑫,那直接来上点难度:
一个外星人来到地球后⑯,第一天有相等的可能选择以下四件事中的一件完成:1❸,自我毁灭⑦;2⑮,分裂成两个外星人❶;3❸,分裂成三个外星人⑭;4⑪,什么都不做⑦。
此后每天②,每个外星人均会做一次选择⑫,且彼此之间相互独立⑳,求地球上最终没有外星人的概率
在思考了一会儿之后❶,回答是酱婶⑮。
虽然格式有点乱⑦,但是最后回答正确❷,而且是解析解⑦。o☆[BINGO!]❷。
如果昨天是明天就好了▓,那么今天就是周五了⑦。 问:句子中的今天可能是星期几❶?
可以看到基本能力有④,但现在还不是特别稳定③。像当你开始新对话时⑩,会碰到以下这种情况⑪。
已经有热心网友已经制作成了GGUF格式上传到HF②。
分布式强化学习训练⑫、INTELLECT-2是一个分布式的大模型训练框架①,采用了全球分布式异步强化学习的范式④。
通俗讲①,INTELLECT-2就如同一个超大型的众包项目③,任何拥有闲置算力资源的人都可以参与其中⑮。“异步”则是指不同阶段可以独立②、并行地进行⑭,因此不同性能的设备可以同时参与⑨,而不会相互影响❶。
具体来说⑯,系统会利用全球贡献者提供的异构算力在本地生成推理数据▓;这些数据经过验证后汇集到中心❶,用于更新模型策略⑫;更新后的策略再分发到每个节点⑳,开始新一轮迭代⑱。
在这套流程当中④,一共涉及了四大关键组件——
核心RL框架PRIME-RL⑳,实现推理数据生成与模型训练的解耦和异步进行⑲;
参数分发网络SHARDCAST⑩,负责将更新后的模型参数高效分发给全球各地的推理节点①;
推理验证协议TOPLOC⑱,验证每个推理节点提交数据的可信性①;
Protocol Testnet⑮,为不同学习任务构建独立算力资源池⑭,实现算力贡献和使用的去中心化管理⑫。
INTELLECT团队已将这四大组件全部开源①。
★核心RL框架PRIME-RL
PRIME-RL的核心⑪,是支持推理数据生成与模型训练的解耦与异步执行⑬。
这种方式允许分散的推理节点按照自己的进度生成数据⑮,无需彼此协调和等待❶。
为了进一步提升性能和减小显存占用②,PRIME-RL采用支持bfloat16精度的vLLM作为推理运行时③。
另外还集成了FSDP技术对模型进行切片❶。
FSDP将模型的参数和梯度按层切分到不同的GPU上④,每个GPU只负责一部分的计算和存储⑦。
★参数分发网络SHARDCAST
SHARDCAST是一个基于HTTP的参数分发网络①,负责将更新后的模型权重广播给全球范围内的推理节点⑮。
在分布式强化学习中⑫,由于文件体积极大❸,而网络带宽资源良莠不齐③,模型权重的分发通常是一个难点⑦。
为了解决这个问题⑦,SHARDCAST引入了分片传输①、多级缓存⑱、智能调度等一系列优化技术⑰。
分片传输指的是将模型权重文件切分成多个小的分片❷,然后并行传输⑪。这种做法不仅能充分利用网络带宽②,降低传输延迟❸,还能提高传输的鲁棒性❷,不会因为个别分片传输失败而造成整体重传⑮。
多级缓存是一种类似于CDN的传输模式④,具体来说⑭,SHARDCAST在推理节点和中心节点之间引入了一层中继服务器作为缓存⑦。每当中心节点产生新的模型权重③,它首先将权重文件推送到这些中继服务器❸。
这样一来⑧,推理节点就可以就近从中继服务器拉取权重文件❶,而不是直接从中心节点获取⑪,可以有效缓解中心节点的网络I/O压力▓。
另外①,与普通的被动响应式传输不同⑱,SHARDCAST的中继服务器会主动跟踪每个推理节点的权重版本⑯,当发现版本落后时⑥,会主动将增量权重推送给节点⑫,确保了权重更新的实时性⑧。
同时▓,SHARDCAST还会根据网络拓扑和带宽状况②,动态调整传输策略和路由⑲,选择最优的分发路径❶。
★推理验证协议TOPLOC
TOPLOC全称Tierion backed Proof-of-Locality Protocol⑨,是INTELLECT-2中负责验证推理节点生成数据可信性的关键组件①。
其目的是确保每个推理节点提交的数据可信③,避免恶意节点通过提交虚假数据来破坏模型训练②。
TOPLOC通过密码学证明和可验证计算等技术实现❸,可以概括为Proof生成和Proof检查两个主要步骤❸。
Proof生成是指当一个推理节点完成一组推理任务后⑥,不仅要将生成的轨迹数据提交给中心节点①,还要附带提交一个密码学proof④。
这个proof证明了所提交的数据确实是由特定版本的模型⑦、特定的输入⑦、特定的随机数种子生成的▓,其生成基于安全哈希算法⑨,确保了proof与推理过程绑定⑭。
中心节点在收到推理数据和proof后❶,会定期抽查部分数据的可信性⑦。验证节点首先会重放推理节点的模型prefill⑳,然后将计算得到的中间状态与proof进行比对⑮。
为了降低开销⑮,推理节点只需提交关键的中间状态⑲,而非完整的计算过程⑱;验证节点也只需重放部分关键路径①,而不是全盘重做❷。
Protocol Testnet是INTELLECT-2的底层基础设施①,为全球范围内的计算资源管理和任务调度提供了统一的接口和规范⑳。
它将不同类别的人工智能训练任务组织成独立的计算域①,每个计算域都有自己的资源池⑪,由去中心化的“账本系统”来管理节点的身份⑯、贡献和信誉值③。
每个计算域对应了一种特定的训练任务❸,如语言模型预训练⑯、多模态对齐⑱、强化学习等❷。
针对一个特定的训练任务❶,开发者会在Testnet上注册一个新的计算域⑫,计算域定义了任务的相关属性和协议规范▓。
全球范围内的算力提供者可以将自己的计算设备注册到Testnet的资源池中⑫。每个节点在加入时⑫,⑨,都需要在去中心化“账本”上生成一个唯一的密码学身份⑱,用于后续的贡献度记录和信誉管理⑯。
当一个计算域有新的训练任务需要执行时⑤,Testnet的任务调度服务会根据各节点的算力特征和网络状况⑱,将任务分发到合适的节点上①。节点按照任务要求⑩,执行计算并生成结果④。
节点生成的计算结果需要经过验证①,以确保其可信性⑬,对于通过验证的结果⑫,节点的贡献度会被记录在去中心化账本上⑨,作为后续奖励分配的依据⑳。
服务支持:在整个任务执行过程中⑭,Testnet还提供了节点发现⑱、健康监控⑮、日志管理等一系列配套服务⑥,以协助节点的管理和问题诊断④,保障分布式网络的稳定运行⑯。
★更多训练细节❶、另外在训练过程中❸,INTELLECT2还采用了两步异步强化学习的模式⑫,也就是权重的广播与正在进行的推理和训练完全重叠②,从而消除了通信瓶颈⑮。
以及双面GRPO剪辑⑮,通过使用双面标记概率比剪辑来缓解梯度尖峰⑤,从而使训练更加稳定⑧。
数据方面❶,INTELLECT2采用了来自NuminaMath-1.5⑨、Deepscaler和 SYNTHETIC-1的28.5万个可验证任务①,并结合离线和在线过滤来选择具有挑战性的任务⑳,显着提高了模型学习效率⑦。
★QwQ-32B数学和代码性能提升
INTELLECT-2的实验主要包括两个部分——TARGET-SHORT和TARGET-LONG⑳,分别对应短目标长度和长目标长度的训练设置⑤。
TARGET-SHORT:随着训练的进行①,任务奖励显着提高②,长度惩罚有所下降⑰;
TARGET-LONG:任务奖励同样大幅提升▓,长度惩罚也呈下降趋势⑬,但在实验的有限时间内尚未完全收敛⑩,模型还未完全学会严格遵守思考预算⑰。
与基线模型QwQ-32B相比❷,INTELLECT-2在数学和编程基准测试上的表现有所提升⑪,但在IFEval上略有下降⑤,可能是因为训练只专注于数学和编程任务⑨。
在计算资源利用方面⑫,INTELLECT-2通过异步强化学习成功实现了通信和计算的重叠❸。在两个实验设置中③,SHARDCAST广播平均耗时14分钟⑧,实现了约590Mb/s的带宽吞吐量❸。
团队曾获Karpathy投资
INTELLEC-2背后的团队⑮,名叫Prime Intellect⑤,位于美国旧金山①。
创始人兼CEO是Vincent Weisser❷,来自德国⑬,之前参与过大量的创业项目⑮,Prime Intellect是他最新的创业成果❸。
联创兼CTO Johannes Hagemann①,德国Hasso Plattner研究所硕士⑬,本科毕业于多特蒙德工业大学③。
CEO Weisser担任核心成员的创业项目VitaDAO⑪,Hagemann曾出任策略顾问①。
创始工程师Jannik Straube❶,慕尼黑工业大学硕士❶,之前曾在IBM工作⑦。
在INTELLEC-2之前⑭,Prime Intellect团队也发布过一系列分布式训练的模型成果:
INTELLECT-1⑫,第一个在分散式基础设施上训练的10B参数模型⑲;
METAGENE-1❷,用于早期流行病检测和全球健康应用的生物模型⑱;
INTELLECT-MATH③,使用RL训练的数学推理模型⑨。
另外❷,基于分布式强化学习❶,团队还推出了从DeepSeek-R1 生成最大的合成推理数据集GENESYS + SYNTHETIC-1⑫。
今年2月③,Prime Intellect团队获得了1500万美元的新投资⑦,用来构建点对点AI协议❶。
这笔投资由创始人基金领衔②,投资者中还包括大神Karpathy⑰、Hugging Face联创兼CEO Clem Delangue①、FlashAttention作者Tri Dao②、Stability AI前CEO Emad Mostaque等AI界名人⑥。
加上之前已有的资金⑳,Prime Intellect团队获得的总资金超过了2000万美元▓。
在接下来的计划当中⑤,Prime Intellect将进行提高推理-训练计算的比例⑬,为模型提供推理链中的内置工具❸,以及融合独立训练的RL模型等一系列工作❸。
宏观方面⑯,团队也将扩大计算市场⑮,扩展去中心化训练⑦,并与开源和去中心化人工智能领域的其他领先项目开展合作③。
转载:感谢您对电玩城捕鱼种类都有的软件网站平台的认可④,以及对电玩城捕鱼种类都有的软件原创作品以及文章的青睐⑧,非常欢迎各位朋友分享到个人站长或者朋友圈①,但转载请说明文章出处“来源电玩城捕鱼种类都有的软件”⑭。
很赞哦❶!
相关文章
随机图文
-
王励勤有魄力⑥!和刘国梁抢时间:乒超赛程延长到4阶段16天
根据上海戏剧学院发布的公告①,黄晓明报考的是艺术管理/戏剧策划方向②,属于专业学位类别⑱。 惨烈⑭,本赛季皇家马德里一线队伤病已累计达到36起
据美国《星条旗报》网站4月30日报道⑳,陆军官员近日表示⑨,一个新的人工智能项目可能会改变美军管理弹药需求的方式⑲。它通过对大量数据的分析处理⑨,实现了优于当前系统的表现⑮。骆驼蓄电池实力助阵多品牌闪耀2025上海车展❸!
卢拉强调⑤,世界需要和谐而不是冲突⑳,需要理解而不是误解⑳。世界不需要保护主义⑧,世界需要规则①。在遇到贸易冲突时⑯,应该制定规则⑪,确保贸易公平❶,实现双赢⑪。近5场1胜4负⑨!记者:马斯切拉诺帅位至少世俱杯之前是稳固的
新闻业务研究⑬、中国记者74岁李龙基决定再生娃❷,买戒指送37岁女友⑩,即将拍婚纱照见家长
陈女士🤑一掷千金⑰!法尔克:曼城对维尔茨的报价接近药厂1.5亿欧要价
全球连线丨从“60后”到“00后” 外国媒体人眼中的中国故事-
还是选择留德国③?每体:皇萨有意药厂中卫塔⑤,但塔更接近加盟拜仁
卡通人物名为“应急侠”⑩。形象阳光⑱、身姿挺拔⑤、眼神坚毅⑯,着装颜色与应急管理系统官方标识颜色相统一⑧,是忠诚④、睿智⑮、果敢的守护者①、逆行者形象①。 卡通搜救犬名为“安安”④。以德国牧羊犬为设计原型②,具备忠诚可靠 -
状态不佳⑲!皇社遭遇西甲联赛六轮不胜❶,半程排名第7现已跌至第12
直播吧5月13昨晚观看CBA总决赛G3比赛期间⑭,国安将士们接受了媒体的采访⑳。