您现在的位置是:网站首页>电竞电竞
兰州那有捕鱼机的电玩城
高雨寒 2025-05-14 【
白交 克雷西 发自 凹非寺量子位 | 公众号 QbitAI
一夜之间⑩,老黄天塌了⑤。
全球首个分布式RL训练模型INTELLECT-2发布⑮,它仅通过整合全球闲置或分散的计算资源⑫,就完成了模型的强化学习训练⑯,训练成本大大降低⑳。
其模型性能与DeepSeek-R1媲美⑨!
一旦范式成立②,这也就意味RL训练摆脱了对集中式算力的依赖⑳,世界上任何一个人都可以参与到模型训练当中⑤,大公司垄断算力时代可能就此终结②。
Just like this~算力来算力来⑮,算力从四面八方来③。
此模型版本有19个人/机构提供了
力资源支持
除了贡献算力⑯,还有不少大佬愿意投钱⑯,包括不限于Karpathy大神⑱、FlashAttention作者Tri Dao大神⑪、HuggingFace联创兼CEO Clem Delangue等等▓。
据团队成员介绍⑧,他们从编写模型强化学习框架prime-rl⑬,到今天发布大概只用了两个月时间
目前基础设施已到位⑳,并且经过验证④,超过那些先进实验室只是时间问题⑳。
有人已经开始断言:未来的顶级开源模型将以分布式方式进行训练⑤。
INTELLECT-2抢先测
目前INTELLECT-2支持网页端体验⑯,只需简单注册就可以使用⑪。与其他通用助手页面类似差不多⑩,不过输入仅支持文本⑦。
那咱们先来一些基础问题:INTELLECT-2最大的特点是什么❷?
在推理思考了几秒钟之后③,它给出了答案⑰,首先强调了这是首个去中心化RL训练的超大规模模型⑤,其次还有强化学习训练⑨、参数规模与性能的平衡⑧、数据隐私安全与社区驱动等特点⑧。
回答基本OK▓,那直接来上点难度:
一个外星人来到地球后⑬,第一天有相等的可能选择以下四件事中的一件完成:1❷,自我毁灭⑧;2⑪,分裂成两个外星人⑫;3⑱,分裂成三个外星人⑯;4⑮,什么都不做④。
此后每天⑱,每个外星人均会做一次选择④,且彼此之间相互独立⑯,求地球上最终没有外星人的概率
在思考了一会儿之后❶,回答是酱婶③。
虽然格式有点乱❶,但是最后回答正确⑥,而且是解析解⑪。o☆[BINGO!]①。
如果昨天是明天就好了▓,那么今天就是周五了⑮。 问:句子中的今天可能是星期几⑬?
可以看到基本能力有④,但现在还不是特别稳定⑦。像当你开始新对话时❷,会碰到以下这种情况⑭。
已经有热心网友已经制作成了GGUF格式上传到HF⑳。
分布式强化学习训练⑮、INTELLECT-2是一个分布式的大模型训练框架⑪,采用了全球分布式异步强化学习的范式⑦。
通俗讲⑭,INTELLECT-2就如同一个超大型的众包项目❶,任何拥有闲置算力资源的人都可以参与其中⑱。“异步”则是指不同阶段可以独立⑪、并行地进行⑭,因此不同性能的设备可以同时参与⑫,而不会相互影响⑨。
具体来说⑫,系统会利用全球贡献者提供的异构算力在本地生成推理数据⑳;这些数据经过验证后汇集到中心⑮,用于更新模型策略❸;更新后的策略再分发到每个节点⑩,开始新一轮迭代⑦。
在这套流程当中⑬,一共涉及了四大关键组件——
核心RL框架PRIME-RL⑱,实现推理数据生成与模型训练的解耦和异步进行④;
参数分发网络SHARDCAST⑬,负责将更新后的模型参数高效分发给全球各地的推理节点⑩;
推理验证协议TOPLOC⑬,验证每个推理节点提交数据的可信性⑥;
Protocol Testnet⑥,为不同学习任务构建独立算力资源池⑱,实现算力贡献和使用的去中心化管理⑮。
INTELLECT团队已将这四大组件全部开源⑳。
★核心RL框架PRIME-RL
PRIME-RL的核心⑪,是支持推理数据生成与模型训练的解耦与异步执行⑰。
这种方式允许分散的推理节点按照自己的进度生成数据⑯,无需彼此协调和等待③。
为了进一步提升性能和减小显存占用⑫,PRIME-RL采用支持bfloat16精度的vLLM作为推理运行时②。
另外还集成了FSDP技术对模型进行切片❸。
FSDP将模型的参数和梯度按层切分到不同的GPU上❷,每个GPU只负责一部分的计算和存储❷。
★参数分发网络SHARDCAST
SHARDCAST是一个基于HTTP的参数分发网络⑫,负责将更新后的模型权重广播给全球范围内的推理节点⑯。
在分布式强化学习中⑰,由于文件体积极大⑲,而网络带宽资源良莠不齐⑫,模型权重的分发通常是一个难点⑯。
为了解决这个问题④,SHARDCAST引入了分片传输⑪、多级缓存⑧、智能调度等一系列优化技术⑬。
分片传输指的是将模型权重文件切分成多个小的分片④,然后并行传输⑮。这种做法不仅能充分利用网络带宽⑬,降低传输延迟④,还能提高传输的鲁棒性⑯,不会因为个别分片传输失败而造成整体重传❶。
多级缓存是一种类似于CDN的传输模式⑥,具体来说⑲,SHARDCAST在推理节点和中心节点之间引入了一层中继服务器作为缓存⑱。每当中心节点产生新的模型权重⑦,它首先将权重文件推送到这些中继服务器⑰。
这样一来①,推理节点就可以就近从中继服务器拉取权重文件⑯,而不是直接从中心节点获取①,可以有效缓解中心节点的网络I/O压力⑧。
另外⑳,与普通的被动响应式传输不同▓,SHARDCAST的中继服务器会主动跟踪每个推理节点的权重版本⑳,当发现版本落后时③,会主动将增量权重推送给节点⑬,确保了权重更新的实时性⑲。
同时⑩,SHARDCAST还会根据网络拓扑和带宽状况②,动态调整传输策略和路由⑮,选择最优的分发路径⑤。
★推理验证协议TOPLOC
TOPLOC全称Tierion backed Proof-of-Locality Protocol②,是INTELLECT-2中负责验证推理节点生成数据可信性的关键组件⑯。
其目的是确保每个推理节点提交的数据可信④,避免恶意节点通过提交虚假数据来破坏模型训练③。
TOPLOC通过密码学证明和可验证计算等技术实现⑥,可以概括为Proof生成和Proof检查两个主要步骤⑰。
Proof生成是指当一个推理节点完成一组推理任务后⑧,不仅要将生成的轨迹数据提交给中心节点⑨,还要附带提交一个密码学proof⑳。
这个proof证明了所提交的数据确实是由特定版本的模型⑱、特定的输入⑥、特定的随机数种子生成的⑯,其生成基于安全哈希算法⑰,确保了proof与推理过程绑定❷。
中心节点在收到推理数据和proof后③,会定期抽查部分数据的可信性⑨。验证节点首先会重放推理节点的模型prefill⑱,然后将计算得到的中间状态与proof进行比对⑦。
为了降低开销▓,推理节点只需提交关键的中间状态⑪,而非完整的计算过程⑰;验证节点也只需重放部分关键路径①,而不是全盘重做④。
Protocol Testnet是INTELLECT-2的底层基础设施❷,为全球范围内的计算资源管理和任务调度提供了统一的接口和规范⑭。
它将不同类别的人工智能训练任务组织成独立的计算域⑬,每个计算域都有自己的资源池❸,由去中心化的“账本系统”来管理节点的身份③、贡献和信誉值⑲。
每个计算域对应了一种特定的训练任务①,如语言模型预训练①、多模态对齐②、强化学习等⑨。
针对一个特定的训练任务❸,开发者会在Testnet上注册一个新的计算域⑧,计算域定义了任务的相关属性和协议规范⑮。
全球范围内的算力提供者可以将自己的计算设备注册到Testnet的资源池中⑭。每个节点在加入时❶,⑯,都需要在去中心化“账本”上生成一个唯一的密码学身份❸,用于后续的贡献度记录和信誉管理⑨。
当一个计算域有新的训练任务需要执行时⑳,Testnet的任务调度服务会根据各节点的算力特征和网络状况②,将任务分发到合适的节点上③。节点按照任务要求⑬,执行计算并生成结果⑦。
节点生成的计算结果需要经过验证⑥,以确保其可信性⑭,对于通过验证的结果❸,节点的贡献度会被记录在去中心化账本上①,作为后续奖励分配的依据⑯。
服务支持:在整个任务执行过程中⑱,Testnet还提供了节点发现⑭、健康监控⑬、日志管理等一系列配套服务⑫,以协助节点的管理和问题诊断❶,保障分布式网络的稳定运行⑮。
★更多训练细节❶、另外在训练过程中⑰,INTELLECT2还采用了两步异步强化学习的模式❶,也就是权重的广播与正在进行的推理和训练完全重叠❶,从而消除了通信瓶颈④。
以及双面GRPO剪辑⑥,通过使用双面标记概率比剪辑来缓解梯度尖峰❷,从而使训练更加稳定⑭。
数据方面⑱,INTELLECT2采用了来自NuminaMath-1.5⑨、Deepscaler和 SYNTHETIC-1的28.5万个可验证任务⑫,并结合离线和在线过滤来选择具有挑战性的任务③,显着提高了模型学习效率⑨。
★QwQ-32B数学和代码性能提升
INTELLECT-2的实验主要包括两个部分——TARGET-SHORT和TARGET-LONG⑨,分别对应短目标长度和长目标长度的训练设置⑰。
TARGET-SHORT:随着训练的进行❸,任务奖励显着提高▓,长度惩罚有所下降⑱;
TARGET-LONG:任务奖励同样大幅提升⑧,长度惩罚也呈下降趋势⑲,但在实验的有限时间内尚未完全收敛⑥,模型还未完全学会严格遵守思考预算④。
与基线模型QwQ-32B相比⑤,INTELLECT-2在数学和编程基准测试上的表现有所提升⑮,但在IFEval上略有下降⑳,可能是因为训练只专注于数学和编程任务⑧。
在计算资源利用方面⑱,INTELLECT-2通过异步强化学习成功实现了通信和计算的重叠⑰。在两个实验设置中⑰,SHARDCAST广播平均耗时14分钟⑬,实现了约590Mb/s的带宽吞吐量⑮。
团队曾获Karpathy投资
INTELLEC-2背后的团队⑯,名叫Prime Intellect⑯,位于美国旧金山❶。
创始人兼CEO是Vincent Weisser⑤,来自德国⑭,之前参与过大量的创业项目⑯,Prime Intellect是他最新的创业成果⑧。
联创兼CTO Johannes Hagemann⑦,德国Hasso Plattner研究所硕士⑮,本科毕业于多特蒙德工业大学▓。
CEO Weisser担任核心成员的创业项目VitaDAO▓,Hagemann曾出任策略顾问⑫。
创始工程师Jannik Straube⑮,慕尼黑工业大学硕士⑫,之前曾在IBM工作⑦。
在INTELLEC-2之前⑯,Prime Intellect团队也发布过一系列分布式训练的模型成果:
INTELLECT-1⑧,第一个在分散式基础设施上训练的10B参数模型⑭;
METAGENE-1③,用于早期流行病检测和全球健康应用的生物模型⑲;
INTELLECT-MATH④,使用RL训练的数学推理模型④。
另外⑤,基于分布式强化学习①,团队还推出了从DeepSeek-R1 生成最大的合成推理数据集GENESYS + SYNTHETIC-1⑦。
今年2月⑬,Prime Intellect团队获得了1500万美元的新投资⑫,用来构建点对点AI协议⑭。
这笔投资由创始人基金领衔❷,投资者中还包括大神Karpathy⑥、Hugging Face联创兼CEO Clem Delangue⑭、FlashAttention作者Tri Dao④、Stability AI前CEO Emad Mostaque等AI界名人❷。
加上之前已有的资金⑨,Prime Intellect团队获得的总资金超过了2000万美元⑧。
在接下来的计划当中②,Prime Intellect将进行提高推理-训练计算的比例▓,为模型提供推理链中的内置工具⑳,以及融合独立训练的RL模型等一系列工作①。
宏观方面⑲,团队也将扩大计算市场⑫,扩展去中心化训练⑰,并与开源和去中心化人工智能领域的其他领先项目开展合作⑯。
转载:感谢您对电玩城捕鱼种类都有的软件网站平台的认可①,以及对电玩城捕鱼种类都有的软件原创作品以及文章的青睐⑲,非常欢迎各位朋友分享到个人站长或者朋友圈⑱,但转载请说明文章出处“来源电玩城捕鱼种类都有的软件”⑦。
很赞哦⑩!
相关文章
随机图文
习近平同巴西总统卢拉会谈
值得一提的是⑬,《北京青年报》已经明确确认⑭,中国足协已经积极启动了相关工作程序❸,也就是振奋人心地批准杨明洋入籍代表国足出战一事⑧。山东“加码”10亿元资金 “券”力推动人工智能全链条发展
据悉⑥,华为Pura 80系列包含Pura 80❶、Pura 80 Pro④、Pura 80 Pro+和Pura 80 Ultra四款机型❷,整体造型预计与上一代相差不大⑨,主要在配置的升级⑮。中拉论坛部长级会议举办❶,外媒关注:关键时刻⑦,拉美三名领导人访华
一般一个模型加贴图就一两分钟⑭,成本大约两美元⑲。以前做一个这样的模型❸,至少两周⑱,成本上千美元⑬。这不仅是降低了千倍成本❸,也解放了很多人的创造力③,迭代速度快了⑱,能尝试的想法就更多了⑲。最耀眼的“香港明星”徐宏杰 撑起“心中的宇宙”
得益于5米长的车身⑬,车内拥有1350mm的后排宽度⑨,一米八的大高个也不会觉得压抑⑫。副驾配备了太空座椅⑲,舒展性比肩SUV③。前排主副驾座椅通风加热及8点SPA级按摩⑱,舒适性拉满⑫。外媒关注中美日内瓦经贸会谈:提振全球市场▓,增加更多确定性
埃弗顿官方公告:⑧、埃弗顿足球俱乐部自豪地宣布④,古迪逊公园球场将成为埃弗顿女足的永久主场⑲。这座英格兰足坛首座专用足球场将由此转型成为女超联赛最具标志性的赛场⑤。中美经贸联合声明之后❶,印度又傻眼了
来自于:北京▓、权利保护声明页/Notice to Right Holders神奇不在⑩!希尔德11中4拿到13分4板1助2断 下半场仅2分
AD Pro:硬件与软件协同升级❷,辅助驾驶有了新的标准01硬件升级⑭,感知能力全面提升理想的AD Pro平台在此次焕新中⑱,通过芯片和传感器的大幅升级④,带来了感知能力的全面提升⑦。这背后不单是硬件的升级⑧,更【受权发布】北京市5月13日发布雷电黄色预警
国泰海通在《2024年度“提质增效重回报”行动方案落实情况报告》中表示⑨,公司持续践行“以投资者为本”的发展理念⑩,全力保障投资者权益⑰,打造“长期❷、稳定⑧、可持续”的股东价值回报机制⑯。2024年度分红预案为