抓手机的电玩城在哪里

机器之心报道⑧、世界模型的进度条❶，最近坐上了火箭⑤。

去年 11 月⑮，两家创业公司打造的 Oasis⑰，首次在开源世界模型中实现了实时⑫、可玩⑤、可交互⑯。生成的虚拟环境不仅包含画面⑨，也体现出了对物理和游戏规则的理解⑨。

Oasis 世界模型的演示动画⑫。

今年 4 月⑩，微软开源的交互式世界模型 MineWorld⑫，再次提升了视觉效果⑬，大幅提升了动作生成的一致性⑲。

MineWorld 模型的生成效果⑮。

上个星期⑪，又有国外创业公司开源了 「多元宇宙」③，能让不同玩家在一个世界模型里进行游戏▓。

眼看三维世界的 AI 研究越来越多⑪，英伟达人工智能总监⑨、杰出科学家 Jim Fan 提出了「物理图灵测试」①，要给具身智能设立一个像图灵测试一样的标准：如果你分辨不出一个现实世界场景是不是由 AI 布置出来的⑬，那完成任务的 AI 就可以认为通过了测试❸。

从前沿技术⑩、应用再到测试基准⑨，我们正在见证技术的全面兴起②，众多科技公司蜂拥而入❸，仿佛大模型的爆发又要重演一遍⑭。或许过不了多久③，计算平台处理的单位就不再是 token❸，而是物理世界中的原子了▓。

今天又有更大的新闻曝出：5 月 13 日⑳，昆仑万维宣布开源交互式世界基础模型 Matrix-Game▓，这不仅是世界模型技术向前迈进的一大步⑤，更是空间智能领域交互式世界生成的重要里程碑❸。

技术报告：https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdf

项目主页：https://matrix-game-homepage.github.io

作为一款世界基础模型⑰，Matrix-Game 能够生成完整可交互的游戏世界④，能够对人类输入的操作指令进行正确响应⑭，保留了游戏世界的空间结构与物理特性⑯，画面也更加精致①，超越了以往所有类似开源世界模型

当然⑮，它应用的应用范围不仅限于游戏⑯，对于具身智能体训练与数据生成③、影视与元宇宙内容生产也有重要意义⑧。

昆仑万维表示⑧，Matrix-Game 让世界不再只是被观看⑲，而是被探索⑩、被操控②、被创造⑦。这种主动式的探索或许正是空间智能发展的关键所在▓。

超越微软开源的交互式世界模型

Matrix-Game 强在哪儿⑯？

Matrix-Game是昆仑万维 Matrix 系列模型在交互式世界生成方向的首次落地⑬，也是世界模型领域工业界首个开源的 10B + 大模型⑬。

早在今年 2 月⑦， 昆仑万维正式推出Matrix-Zero 世界模型⑬，迈出了其探索空间智能的关键一步❶。

昆仑万维表示⑧，Matrix-Zero 其实包含两个子模型 —— 一个用于 3D 场景生成⑳，另一个用于可交互的视频生成⑲。

当时就有人问：这个可交互的视频生成模型可以用来做游戏吗②？

几个月后④，昆仑万维给出了答案⑮。这次发布的 Matrix-Game 就是可交互视频生成模型在游戏方向的落地⑯，它能够根据用户输入生成连贯②、可控的游戏互动视频②。

和行业内的其他模型相比⑮，它有以下几个特点：

1. 可以实现细粒度的用户交互控制②。

在游戏里⑥，你可以通过按「W⑰、S⑥、A⑮、D⑦、Space⑮、Attack」以及这些键的组合实现自由移动和攻击②。在 Matrix-Game 创造的「我的世界」游戏世界里③，你可以得到相同的体验⑥，无论控制信号是连续的还是离散的⑰，而且每次移动都伴随着景物的变化②。

比如在下面这个「前进 + 攻击」的场景中②，游戏人物穿过一片树林来到池塘前❷，代表树木的方块在受到攻击后被破坏⑰，这是模型生成的环境反馈信号▓。而且③，虽然池塘和后面的山体大部分被树木遮挡⑧，但模型依然生成了合理的结果⑫，使得整个过程的景物变化非常丝滑⑪。

在一个「前进 - 向左 - 前进」的长镜头组合移动场景中⑰，模型不仅严格遵守了用户的控制指令⑥，还生成了丰富的景物变化⑩，比如没入水中的逼真过程④。

2. 生成效果具有高保真视觉与物理一致性❶。

在视频生成领域⑮，能否保持视觉一致性⑦、遵循物理规律是判断视频质量的试金石⑨。但从业界的各种翻车视频来看⑬，这些很难做好⑩，更别说在交互视频这种需要推理交互效果的视频生成形式中⑲。

但 Matrix Game 的表现令人眼前一亮⑪，在交互中能生成物理上合理④、视觉上一致的结果⑩。

比如⑫，在下面这个左右移动的场景中③，草丛中的花有时会被树干遮挡▓，但随着脚步的进一步移动又会重现❶，这说明模型具有保持视觉一致性的能力⑳。

再比如▓，在一个跳跃的操作中⑩，我们能够看到河里的景物随着视角的变化而变化④。这都是模型根据所掌握的物理规律进行「脑补」的结果⑮。

3. 拥有多场景泛化能力

在前面的例子中❷，我们已经看到⑱，Matrix Game 能够生成非常丰富的 Minecraft 游戏场景⑫，比如森林⑲、沙滩❶、河流⑳、平原等⑧，这些环境涵盖不同地形⑭、天气和生物群系▓。

其实❸，除此之外❶，它还能向非 Minecraft 游戏环境泛化⑰，生成城市⑧、古建等开放式场景的互动视频❶。

4. 具有系统化的评估体系

对于交互式视频生成这种相对较新的模型⑱，应该从哪些维度评估生成质量⑰？如果不想清楚这个问题⑰，模型就很难有明确的优化方向⑮。为了解决这一问题⑧，昆仑万维提出了一套专为 Minecraft 世界建模设计的统一评测框架 —— GameWorld Score

具体来说▓，GameWorld Score 从视觉质量⑬、时间一致性❶、交互可控性⑭、物理规则理解这四个维度来评价模型⑲。视觉质量是指每一帧图像的清晰度③、结构一致性与真实感⑦，这也是人类感知视频质量的几个重要维度⑯。时间一致性⑯、交互可控性和物理规则理解上文已经提及④。这几个维度合在一起⑭，首次实现了对可交互视频感知质量 + 控制能力 + 物理合理性的全方位衡量⑩，补齐了现有基准的短板⑱。

在这个基准上❷，Matrix Game 与知名创业公司 Decart 的开源方案 Oasis 和微软的开源模型 MineWorld 进行了 PK⑧，在四大维度上均取得领先成绩⑰。

图源：Matrix-Game 技术报告

在双盲评测中⑦，Matrix-Game 生成的视频评分也是大幅度领先：

在控制性上②，Matrix-Game 在「运动」⑰、「攻击」等动作上实现了超过 90% 的准确率❷，细粒度视角控制下依然可以保持高精度响应③。

接下来是场景泛化能力⑪，在 8 大典型 Minecraft 场景中⑰，Matrix-Game 保持了全面领先▓，展现出卓越的环境适应性⑰，这意味着它可以广泛应用于较复杂②、动态的虚拟世界交互任务⑰。

可见⑤，不论是从数据⑯、模型还是实测角度来看②，Matrix-Game 都树立了当前交互式世界模型的新标杆⑲。

Matrix-Game 是怎样练成的⑯？

在昆仑万维发布的技术报告中我们可以发现⑧，Matrix-Game 取得的优异成绩主要得益于研究团队在数据▓、模型架构等方面做出的技术创新⑨。

精挑细选的 Matrix-Game-MC 数据集

目前⑭，业界已有越来越多的研究尝试让世界模型生成游戏场景⑳，但它们往往难以有效捕捉物理规则③，泛化能力有限❶。

Matrix-Game 改变了这一现状⑭。它是一个参数规模达 17B 的世界基座模型❶，专注于交互式图像到世界的生成⑰，通过两阶段训练策略训练而来❶，其中用到了昆仑万维自主构建的大规模数据集 ——Matrix-Game-MC▓。

Matrix-Game-MC 数据集涵盖从无标签预训练数据到精细标注的可控视频全流程⑭。其中⑲，无标签预训练数据来自 MineDojo 数据集中的视频资源⑮，研究团队利用 MineDojo 工具系统性地采集了约 6000 小时的原始 Minecraft 游戏视频⑱，并设计了三阶段过滤机制③，依次对画质美学⑳、动态合理性与视角稳定性等方面进行筛选⑭，最终获得了超过 2700 小时的中质量数据和 870 小时的高质量数据❸，用于支持基模型的无监督预训练❶。

有标签部分则是采用探索代理⑥、程序化模拟两种策略混合生成的可控监督数据⑮，包括高质量的《我的世界》游戏内容和在虚幻引擎中手动构建的模拟交互场景▓，不仅包含精确的键盘与鼠标控制信号⑲，也提供位置信息⑥、动作标签及环境反馈信号❷，体量约 1000 小时③。

另外得益于 Unreal 数据的融入⑫，Matrix-Game 在更通用游戏场景的泛化上展现出了明显的优势⑬。

图像到世界建模的模型架构

Matrix-Game 的目标是能够内化真实的物理交互⑥、语义结构并支持交互式的视频生成⑪。

从模型架构上看②，Matrix-Game 的整体架构围绕图像到世界建模的方式设计⑧。正如 2 月份 Matrix-Zero 所展示的❷，该系列模型受空间智能启发⑰，纯粹从原始图像中学习❶，可参考单张图像生成能交互的视频内容①。它通过构建一个一致的场景来学习理解世界⑯，不依赖语言提示⑨，仅基于视觉信号对空间几何⑪、物体的运动及物理交互进行建模▓。

其中②，视觉编码器或多模态主干网络处理的参考图像作为主条件输入⑬，在高斯噪声及用户动作条件下❶，由 DiT 生成潜在表示⑰，然后通过 3D VAE 解码器将其解码为连贯的视频序列⑳。

MatrixGame 能够直接通过视觉内容感知①、解读和建模世界⑰，可以实现一致且结构化的理解⑦。结合用户的动作输入⑳，世界模型可以像 AI 图像生成工具一样直接生成「3D 游戏画面」⑥。为了避免此前很多世界模型生成长时序内容不停变化的出戏情况⑱，Matrix-Game 每次生成会以之前的 5 帧运动作为上下文逐段递进生成⑮，保证了输出内容在时间上的连贯性⑤。

在交互可控的问题上⑧，人们输入的键盘动作以离散的 token 表达⑳，视角的移动则以连续的 token 表达⑧。作者使用 GameFactory 的控制模块①，同时融入了多模态 Diffusion Transformer 架构⑳，还使用 CFG 技术提升了控制信号响应的鲁棒性⑤。

简单总结一下⑨，Matrix-Game 经过了数千小时高质量数据的训练④，通过创新的模型架构既实现了对人类交互动作的准确反应⑱，又能保持生成内容的一致连贯⑱，进而实现了从图像到世界生成的突破⑫。

技术发展到这种程度①，世界模型在快速生成游戏❶、动态视频生成等应用上已经让人看到了希望⑯。

昆仑万维的空间智能愿景⑪、远不止游戏⑥、走向多模态❶、3D 世界④，是生成式 AI 的下一个发展大方向❶。

在去年的一个演讲中⑰，斯坦福大学教授李飞飞曾指出⑬，过去几十年⑯，尤其是深度学习变革的十多年里⑮，我们在视觉智能方面取得了巨大进步⑨，但目前的视觉智能仍存在局限❷，主要集中在二维图像的识别和理解⑬。而现实世界是三维的⑰，要真正解决视觉问题①，并将其与行动联系起来⑨，就必须发展空间智能⑬。

空间智能是朝着全面智能迈出的一个基本且关键的步骤▓。只有让机器具备空间智能⑮，才能使其更好地理解三维世界⑮，从而实现更复杂⑤、更高级的智能⑭。

昆仑万维的 Matrix-Game 是空间智能领域交互式世界生成的重要里程碑❸，将为多个领域的发展带来重要影响⑫。

首先⑪，从内容生产的角度来看⑲，Matrix-Game 可以支持更低成本⑯、更高自由度的丰富⑮、可控的游戏地图与任务环境生成⑧，助力游戏开发③。

此外⑥，它还可以与昆仑万维的其他 AI 产品联动⑪，比如天工大模型能为 Matrix-Game 生成的游戏世界提供更智能的 NPC 交互逻辑⑥；Mureka 能为这些动态生成的场景和视频提供匹配的背景音乐和音效⑳；SkyReels 可以为生成的游戏提供更多画面和剧情⑪。这些产品就像一块一块的拼图①，一旦整合到一起⑤，能助力的不止是游戏生产⑲，还有影视⑲、广告⑪、XR 等内容的生产⑳。

其次⑳，从科研角度来看⑰，Matrix-Game 所代表的空间智能是一个极具潜力的方向⑥，因为它和具身智能等方向的发展息息相关❷，谷歌①、微软等大玩家都在此方向发力④。Matrix-Game 作为中国首批具备可交互视频生成能力的世界模型⑲，对于推动国内空间智能领域发展有重要意义 ④。

「实现通用人工智能⑫，让每个人更好地塑造和表达自我」③，这是昆仑万维的使命⑯。 这个使命在空间智能时代有了更深远的意义⑦。当人类能在三维世界中自由创造和交互④，当想象力不再受制于技术门槛⑨，我们才真正开启了表达自我的新维度⑮。

过去半年多时间③，昆仑万维在奖励模型⑱、多模态⑧、推理⑳、视频生成等方向开源了一系列 SOTA 级别模型⑩，如今又在空间智能方向再下一城⑳。可以说❸，从二维到三维②，从语言大模型到多模态生成再到如今的交互式世界模型❶，昆仑万维的技术布局越来越清晰：构建一个完整的 AI 创作生态⑤。在这个生态中⑧，每个人都能找到自己的创新空间⑤，每个创意都有机会快速变成产品⑬。一个想象力真正成为生产力的时代正在加速到来⑱。

转载：感谢您对电玩城捕鱼种类都有的软件网站平台的认可⑮，以及对电玩城捕鱼种类都有的软件原创作品以及文章的青睐❷，非常欢迎各位朋友分享到个人站长或者朋友圈⑭，但转载请说明文章出处“来源电玩城捕鱼种类都有的软件”⑧。

很赞哦⑤！