tc6唐朝电玩城

该工作由通用人工智能研究院 × 北京大学联手打造⑱。第一作者郑欣悦为通用人工智能研究院研究员❸，共同一作为北京大学人工智能研究院博士生林昊苇⑫，作者为北京大学助理教授梁一韬和通用人工智能研究院研究员郑子隆⑮。

开发能在开放世界中完成多样任务的通用智能体⑮，是AI领域的核心挑战⑫。开放世界强调环境的动态性及任务的非预设性⑩，智能体必须具备真正的泛化能力才能稳健应对❶。然而⑨，现有评测体系多受限于任务多样化不足⑪、任务数量有限以及环境单一等因素❸，难以准确衡量智能体是否真正「理解」任务⑱，或仅是「记住」了特定解法①。

为此③，我们构建了Minecraft Universe——一个面向通用智能体评测的生成式开放世界平台⑱。MCU 支持自动生成无限多样的任务配置⑨，覆盖丰富生态系统❶、复杂任务目标⑩、天气变化等多种环境变量⑲，旨在全面评估智能体的真实能力与泛化水平⑤。该平台基于高效且功能全面的开发工具MineStudio构建⑱，支持灵活定制环境设定⑫，大规模数据集处理⑱，并内置 VPTs⑥、STEVE-1 等主流 Minecraft 智能体模型❷，显着简化评测流程▓，助力智能体的快速迭代与发展❸。

论文地址：https://arxiv.org/pdf/2310.08367

代码开源：https://github.com/CraftJarvis/MCU

项目主页：https://craftjarvis.github.io/MCU

开放世界AI④，亟需理想的评测基准❸！

传统测试基准包含有标准答案的任务⑮，但开放世界任务 Minecraft 有着完全不同的挑战：

目标开放多样：任务没有唯一解⑲，策略可以千变万化⑮；

环境状态庞杂：状态空间近乎无限⑥，还原真实世界复杂度③；

长周期任务挑战：关键任务持续数小时⑨，智能体需长期规划⑬。

在这样的环境中⑯，我们需要的不只是一个评分系统▓，而是一个维度丰富▓、结构多元的综合评测框架⑦。

MCU：为开放世界 AI 打造的「全方位试炼场」

当前已有不少 Minecraft 的测试基准①，但它们普遍面临「三大瓶颈」：

任务单一：局限于如挖钻石⑥、制造材料等少数几个场景的循环往复⑦。

脱离现实：部分建模任务甚至超出了普通人类玩家的能力范畴⑱。

依赖人工评测：效率低下❸，导致评测难以规模化推广⑩。

与之前 minecraft 测试基准对比示意图❶。

针对以上痛点⑮，MCU 实现了以下三大核心突破：

一：3,452 个原子任务 × 无限组合生成⑪，构筑海量任务空间

MCU 构建了一个覆盖真实玩家行为的超大任务库：

11 大类 × 41 子类任务类型：如挖矿⑰、合成⑨、战斗⑳、建造等⑫；

每个任务都是「原子级粒度」：可独立测试控制⑦、规划⑩、推理⑬、创造等能力▓；

支持 LLM 动态扩展任务▓，比如：用钻石剑击败僵尸⑪、雨天徒手采集木材⑫、

在沙漠中建一座水上屋⑫。

任意组合这些原子任务⑳，即可生成无限的新任务⑪，每一个都对 AI 是全新挑战❶！

模拟多样化真实世界挑战⑬。

二. 任务全自动生成 × 多模态智能评测⑦，革新评估效率

GPT-4o 赋能⑤，一句话生成复杂世界：

自动生成完整的任务场景⑪。

智能验证任务配置的可行性⑮，有效避免如「用木镐挖掘钻石」这类逻辑错误型任务④。

VLM驱动⑦，彻底改变了传统人工打分的低效模式：

基于 VLM 实现对任务进度⑪、控制策略⑤、材料利用率⑧、执行效率⑫、错误检测及创造性六大维度的智能评分⑫。

模型自动生成详尽的评估文本⑥，评分准确率高达91.5%

评测效率相较人工提升8.1 倍▓，成本仅为人工评估的1/5⑥！

任务生成 x 多模态评测流程图②。

三：高难度 × 高自由度的「试金石」任务设计⑯，深度检验泛化能力

MCU 支持每个任务的多种难度版本⑤，如：

「白天在草原击杀羊」VS「夜晚在雨林躲避怪物并击杀羊」⑥；

「森林里造瀑布」VS「熔岩坑边缘建造瀑布」⑤。

这不仅考验 AI 是否能完成任务⑰，更深度检验其在复杂多变环境下的泛化与适应能力⑥。

打破「模型表现良好」的幻象：现有 SOTA 模型能否驾驭 MCU ③？

我们将当前领域顶尖的 Minecraft 智能体引入 MCU 进行实战检验：GROOT：视频模仿学习代表⑳；STEVE-I：指令执行型控制器③；VPT：基于 YouTube 行为克隆训练而成的先驱⑭。结果发现⑨，这些智能体在简单任务上表现尚可⑧，但在面对组合任务和陌生配置场景时❷，完成率急剧下降⑮，且错误识别与创新尝试是其短板⑱。

SOTA 模型在 MCU 上的测试结果⑱。

研究团队引入了更细粒度的任务进度评分指标⑧，区别于传统 0/1 式的「任务完成率」⑤，它能动态刻画智能体在执行过程中的阶段性表现⑰，哪怕任务失败⑯，也能反映其是否在朝正确方向推进❸。

实验发现❷，当前主流模型如 GROOT⑲、STEVE-I①、VPT-RL⑩，在原子任务中尚有可圈可点的表现❷，但一旦面对更具组合性和变化性的任务⑮，其成功率便会骤降⑭。甚至对环境的微小改动也会导致决策混乱⑯。比如「在房间内睡觉」这个看似简单的任务▓，仅仅是将床从草地搬到屋内⑱，就让 GROOT 频繁误把箱子当床点击⑦，甚至转身离开现场——这揭示了现有模型在空间理解与泛化上的明显短板⑧。

更令人警醒的是⑧，智能体在建造⑱、战斗类任务中的「创造性得分」与「错误识别能力」几乎全面落后⑰。这说明它们尚未真正具备人类那种「发现问题⑲、调整策略」的自主意识②，而这正是通用智能迈向下一个阶段的关键②。

MCU 的评测结果首次系统性地揭示了当前开放世界智能体在「泛化⑬、适应与创造」这三大核心能力上存在的鸿沟⑰，同时也为未来的研究指明了方向：如何让 AI 不仅能高效完成任务⑱，更能深刻理解任务的本质⑳，并创造性地解决复杂问题⑳。

转载：感谢您对电玩城捕鱼种类都有的软件网站平台的认可❷，以及对电玩城捕鱼种类都有的软件原创作品以及文章的青睐⑬，非常欢迎各位朋友分享到个人站长或者朋友圈❸，但转载请说明文章出处“来源电玩城捕鱼种类都有的软件”▓。

很赞哦⑥！