您现在的位置是:网站首页>中国足球中国足球

皇海电玩城游戏大厅

杨谷山 2025-05-14 中国足球 3647 人已围观

新智元报道⑮、【新智元导读】「矩阵」不再是科幻⑪!Matrix-Game震撼来袭⑫,突破边界带来交互式引擎⑱。只需一句话③,沙漠森林等任意场景可控生成▓,动作丝滑操控⑮,360°视角自由切换⑤,沉浸感爆棚⑮。

黑客帝国中的「矩阵」⑮,已照进现实⑯。

指尖轻点②,一个细节满满⑤、物理规则完美运转的虚拟世界就此诞生⑭。

这个曾经只在科幻大片出现的场景⑩,如今「空间智能」就帮人类实现了⑳。

继之前刷屏的单张图片生成虚拟世界Matrix Zero之后▓,昆仑万维又来搞事情了❷!

这次⑭,他们再度撕裂技术边界⑤,推出Matrix系巅峰之作——Matrix-Game❶。

技术报告:https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdf

项目主页:https://matrix-game-homepage.github.io

这是一个不仅能生成虚拟世界⑦,更让你成为世界主宰的交互式创世引擎③。

在这个空间智能时代❸,视频生成④、3D建模⑳、交互控制的融合之力❶,正彻底颠覆人类与虚拟世界的连接方式⑭。

直通「创世之神」③、简单来说⑨,Matrix-Game就是通往「创世神」之路的超级加速器❶。

它是Matrix系列在交互世界生成领域的首次惊艳落地⑲,一个专为游戏世界量身打造的交互式世界基础模型④。

Matrix-Game的强大之处在于②,不仅能在开放世界里「造」出高质量场景❶,还能精准控制里面的细节⑧。

现在①,只需要输入一个指令⑬,即可自由探索⑳、操控⑦,甚至创造出细节丰富⑳、物理规则合理的虚拟世界⑬。

多场景可控生成⑥、比如沙漠▓、森林⑱、山丘⑰、冰原⑤、河流等场景⑩,Matrix-Game可一键生成▓。

这种多场景泛化能力⑪,让Matrix-Game具备了强大的环境适用性⑮,覆盖了不同地形⑫、天气❷、生物群系的Minecraft场景⑫。

依次是:沙漠④、海滩⑩、山丘③、河流❶、森林

它还能支持前进⑯、跳跃▓、攻击等细节操作⑦,会根据用户的输入❸,准确响应⑲。

不论是敲击键盘⑨,还是鼠标滑动▓,操作体验非常丝滑⑨,仿佛置身于真实世界①。

依次是:前进⑯、后退⑨、向左▓、向右⑪、跳跃③、攻击

包括视角移动②,可实现360°无死角生成③。

依次是:视角移动向上⑳、向下⑮、向左⑳、向右

依次是:视角移动左上⑤、左下⑪、右上⑯、右下

现在③,只需把场景和交互控制融合⑲,便会惊叹Matrix-Game无与伦比的技术实力⑰。

不论是前进①、后退❸,向左⑧、向右⑳,Matrix-Game不仅能精准响应⑥,而且周边物理环境生成的稳定性极高③。

左右滑动查看②、再比如②,跳跃攻击等幅度大的动作②,更是对AI空间生成提出了高难度的考验❸。

Matrix-Game模拟了真实物理规律①,精准拿捏⑰。

它生成的虚拟世界不仅视觉连贯③、细节逼真⑯,还严格遵守了自然物理规律⑧,如重力❸、碰撞等⑧。

这种高保真表现⑮,显着提升了沉浸感⑩,让用户仿佛「身临其境」⑱。

总而言之⑤,Matrix-Game能在不同Minecraft场景下做到可控生成⑰,包括基础运动⑬、复合运动①、视角运动等❸。

泛化场景生成⑧、更令人兴奋的是⑯,Matrix-Game展现出向非Minecraft游戏环境泛化的潜力⑦,为更广泛的应用奠定了基础⑮。

比如⑥,生成赛博风格的城市⑲。

还有古建筑风格的场景⑥,都能无限生成⑳。

由上可见⑥,Matrix-Game这一突破性成果⑯,直接点燃了虚拟世界的无限可能⑩。

它不仅刷新了交互式世界生成的技术天花板⑮,更为构建通用虚拟世界基座树立了全新标杆⑯。

那么⑦,它是如何做到的呢⑳?

解密Matrix-Game

三大技术核心③、接下来❷,让我们一一拆解Matrix-Game的三大「秘密武器」⑰。

大规模高质量Matrix-Game-MC数据集

数据是AI模型的「养分」❶,其质量和丰富度直接决定了模型的成败⑥。

为此⑫,昆仑万维团队自主构建了大规模Matrix-Game-MC数据集⑰,为复杂环境的动态学习和交互模式训练❶,提供了坚实的基础⑩。

它涵盖了「无标注预训练数据」和精细标注的「有标注可控数据」⑬,兼顾了数据规模和质量⑥。

无标注预⑩、训练数据⑫、从6000小时的MineDojo数据中⑦,研究者通过三阶段过滤机制▓,筛选出近千小时高质量数据⑭。

具体来说⑲,经过了 画质与美学过滤❸; 非游戏内容剔除▓; 动态与视角稳定性过滤⑱。

有标注可控数据⑭、这里❷,采用了两种策略⑪,生成数千小时的精细标注数据⑥。

探索智能体:利用VPT agent在 MineRL环境中进行自动探索❸,生成包含精确键盘与鼠标控制信号的Minecraft视频数据⑥,支持可控性学习①。

程序化模拟:基于Unreal Engine手动构建清晰④、标注精确的交互场景❷,提供位置信息⑲、动作标注⑬、以及环境反馈信号⑪,生成高精度▓、无噪声的可控标注数据❷,助力高保真动作-响应建模⑫。

核心架构:从图像出发构建可控交互世界

基于当前最火的扩散模型技术⑲,Matrix-Game打造了一个从图像到世界生成的创新框架⑳。

只需输入一个指令⑭、鼠标移动⑥,它就能生成连贯⑪、可控的互动视频⑧,兼顾视觉精度⑪、时序一致性和物理合理性⑳。

整体架构的设计⑨,有三大核心亮点:

1. 图像到世界建模⑳、它不依赖语言提示⑳,仅基于视觉信号建模空间几何①、物体运动⑩,及物理交互③,强调空间智能能力⑩。

输入形式是以单张参考图像为起点⑥,生成交互式视频⑥。

在交互可控生成上⑯,融合了用户动作输入⑯,通过多模态扩散模型④,直接生成虚拟游戏世界的视频内容⑦。

自回归式视频生成⑮、Matrix-Game支持自回归方式scaling生成长度❸,可持续生成高一致性长视频内容⑪。

每次⑰,它会以前一视频最后k=5帧作为运动上下文⑥,逐段递进生成④,确保了时间上的连贯性⑥。

此外❶,通过随机扰动⑳、随机删除④、分类引导策略▓,可缓解时序漂移和误差积累⑮,确保了时间连贯性⑪。

3. 可控交互设计③、对于交互设计⑥,键盘动作是以离散token表达⑱,视角移动动作则以连续token表达⑪。

同时▓,它采用了GameFactory控制模块❶,融入多模态Diffusion Transformer架构②,并利用CFG提升对控制信号的鲁棒响应能力▓。

得益于这一架构②,使得Matrix-Game在生成交互世界时④,既能保持视觉上的惊艳效果⑩,又能精准响应用户指令⑪。

统一评测体系⑦、接下来⑲,如何去全面⑪、科学地评估交互世界生成模型的性能⑳?

为此⑰,研究团队创新性提出GameWorld Score评测体系④。

它从视觉质量⑬、时间一致性⑫、交互可控性⑤,以及物理规则理解四个关键维度⑩,来进行量化评估⑳。

视觉质量⑩、:基于人类视觉系统标准⑨,评估每一帧图像清晰度⑦、结构一致性与真实感⑪。

时间一致性⑮、:衡量视频的动态连贯性⑤,包括运动连续性⑨、节奏平滑性与时间稳定性⑩。

交互可控性②、:测试生成结果是否准确响应用户输入的控制信号⑧,涵盖离散控制和连续控制⑲。

物理规则理解⑫、:验证生成视频是否遵循物理常识与空间一致性⑫。

这一体系的提出⑯,填补了行业在交互性⑮、物理一致性等维度的评测空白⑫,为模型的迭代优化提供了科学依据❸。

而且⑪, GameWorld Score首次实现了对「感知质量+控制能力+物理合理性」的全方位衡量⑰。

它不仅为Matrix-Game性能提供了全面量化的依据⑯,也为整个交互世界生成领域▓,树立了统一的标准⑲。

刷新SOTA⑫、重塑交互式世界生成标杆⑤、在实验评估中❸,通过两阶段训练策略⑰,17B参数规模的大模型在空间理解⑫、物理交互建模⑬,以及用户指令响应方面⑦,取得了显着的突破④。

在GameWorld Score评测系统中⑬,Matrix-Game在以上四大评测维度中全面领先③,超越了业内着名开源基线——Decart的Oasis和微软的MineWorld⑯。

尤其是⑲,新模型在交互可控性和物理一致性等关键指标上▓,表现尤为突出⑰。

在双盲评实验中⑤,用户更倾向于选择Matrix-Game生成的视频:

96.3%总体偏好率⑧,生成效果更真实⑩、连贯④、可信⑫;

93.76%动作控制偏好⑪,准确响应键盘与鼠标指令⑲;

98.23%视觉质量得分▓,单帧画面更清晰美观⑭;

89.56%时间一致性得分⑫,动态流畅⑲,无闪烁跳变⑮。

在控制性能上⑬,Matrix-Game可实现「运动」「攻击」等动作高达90%+准确率⑭;细粒度视角控制下依然保持高精度响应⑪。

此外❷,Matrix-Game在8大典型Minecraft场景中①,也全面领先⑧。

模型展现出卓越的环境适应与泛化能力⑫,可广泛应用于复杂动态的虚拟世界交互任务⑨。

Matrix-Game用事实证明②,它不仅能「看得清」⑱,更能「动得准⑩、控得稳」⑱,是当前最强的交互式世界生成基座模型之一▓。

多领域革命引擎❸、解锁交互宇宙⑮、作为空间智能领域的先锋之作①,Matrix-Game不仅是一个技术突破⑫,更是一个跨行业的赋能引擎⑤。

通过融合视频生成⑩、三维建模与交互控制等核心技术⑫,空间智能不仅支持更加自然⑳、直观①、沉浸的体验①,也在具身智能⑨、影视制作❷、游戏开发等领域展现出巨大潜力⑦。

Matrix-Game强大的交互式生成能力⑯,未来将在多个领域掀起深远的变革⑬。

虚拟游戏世界快速搭建❶、老黄曾表示⑨,「用不了十年⑰,我们就能看到游戏中每一个像素都是由AI生成的」①。

Matrix-Game的诞生❶,让这一预言又近了一步⑤。

传统游戏世界构建⑫,往往依赖人工设计和3D建模⑱,开发周期长⑯、成本高▓。

而且②,许多游戏地图和任务缺乏多样性⑲,难以满足玩家对高自由度探索需求⑱。

对于游戏开发者⑬,Matrix-Game能以低成本⑩、高效率生成细节丰富⑪、可控的游戏地图与任务环境④,极大地缩短了开发周期⑦。

不论是开放世界RPG的广袤大陆④,还是沙盒游戏的动态地形⑭,Matrix-Game都能根据指令实时生成②,赋予玩家更高自由度的探索体验⑧。

同时⑨,其物理一致性确保了游戏世界的真实感▓、沉浸感⑰。

具身智能体训练与测试⑨、具身智能❶,也称物理AI⑧,是AI下一个前沿⑨。

它能够让智能体在物理世界中③,具备感知⑳、推理和行动的能力⑪。然而⑰,现实开发和测试中⑧,具身智能面临着多种挑战▓。

比如⑳,环境复杂性不足⑧,测试场景单一⑪,测试中难以复现现实世界动态性和复杂性⑰,导致训练效果较为有限⑪。

又或是⑯,真实物理环境搭建和数据采集耗时耗力④,成本高昂等等⑯。

在红杉最新演讲中⑫,Jim Fan将「物理图灵测试」称之为AI的下一个北极星④,即智能体在虚拟和物理世界无缝操作❸,展现出与人类无异的能力⑲。

而Matrix-Game以高保真的交互世界生成能力④,为智能体提供逼真的训练环境⑤,直接助力这一目标的实现⑭。

从上面demo中不难看出⑯,Matrix-Game可快速生成高度逼真虚拟场景⑫,森林⑧、山丘⑦、冰原⑮、蘑菇等⑩,涵盖了多样地形②、物体元素⑯,多样化场景定制❸。

这种环境不仅视觉细节丰富⑥,还严格遵守物理规律▓,可以为具身智能提供接近真实世界的训练场③。

另外⑦,支持前进⑫、跳跃⑥、抓取等精细动作⑦,Matrix-Game还能让智能体实时④、细致的交互⑰。

未来⑤,Matrix-Game通过模拟极端天气⑯、家庭环境等⑨,训练机器人❷、服务智能体②,推动通用具身智能的实现⑬。

影视与元宇宙内容生产⑪、在影视与元宇宙领域⑨,虚拟场景往往依赖3D建模和特效团队⑤,一个好莱坞特效场景制作可能耗费数月▓,甚至数年⑮,成本动辄数百万❷。

一些现有虚拟世界⑥,多为静态或有限的交互⑰,难以满足元宇宙用户对自由探索和实时互动的需求⑨。

Matrix-Game能以更高效生产真实合理的动态虚拟空间⑮,直接赋能创意内容制作与沉浸式体验的开发②。

它为导演⑦、元宇宙开发者提供了一个革命性工具⑬,将重塑虚拟内容创作的未来⑨。

教育与仿真系统构建②、Matrix-Game在教育⑪、仿真系统构建领域中⑱,同样大有可为❸。

即⑥,通过生成高度可控④、交互丰富的虚拟学习环境⑲,为学生和专业人士提供一个沉浸式训练平台⑦。

举个栗子⑳,在医学教育中⑧,或许就可以利用Matrix-Game模拟手术室场景⑲,让学生身临其境练习复杂操作⑩。

在航空航天领域⑦,则可以用于生成逼真的飞行模拟环境⑥,帮助飞行员提升应对突发状况的能力⑳。

这些虚拟场景的搭建⑰,不仅能降低培训成本⑮,还能通过交互反馈提升学习效果①。

此外⑪,在文化遗产保护⑰、零售电商⑮、数字孪生与智能城市规划等领域中②,Matrix-Game未来将会释放无限的潜力⑮。

它让世界不再是静态的画卷⑩,而是可以被探索⑪、被操控▓、被创造的活宇宙⑯。

下一步⑩,Matrix-Game还将继续迭代优化❸,带领我们迈向更加智能⑳、沉浸的虚拟世界⑬。

参考资料:

很赞哦⑳!

随机图文