7天电玩城森林舞会

新智元报道⑳、【新智元导读】如何将一句简单的文字描述变成物理稳定的乐高模型⑰？LegoGPT通过物理感知技术⑲，确保98.8%的设计稳如磐石⑧。

输入一段文字⑭，AI就能设计出可实际搭建的乐高⑲？

来自CMU的研究人员提出的LegoGPT彻底改变了游戏规则⑦。

只需输入「金属紫色电吉他」❶，AI就能生成一个不仅外形逼真⑰，还能在现实中稳稳站立的乐高模型⑦！

不同于传统3D建模工具生成的⑭，LegoGPT通过微调Meta的LLaMA模型⑮，结合47,000个稳定结构数据集④，确保98.8%的设计符合物理定律⑰。

LegoGPT是第一个能够将文本输入转换为物理稳定的乐高设计的AI模型⑨。

目前▓，数据集⑤、代码和模型均已开源▓。

论文地址：https://www.arxiv.org/abs/2505.05469

项目地址：https://avalovelace1.github.io/LegoGPT/

不同于那些会为了迎合你输入的请求而生成奇怪设计的 AI 生成器❶，LegoGPT的设计遵循物理定律⑦，这意味着⑥。

LegoGPT不仅设计了与文本描述相匹配的乐高模型⑲，还确保它们可以在现实世界中逐块搭建⑱，无论是人类测试者通过手工搭建⑬，还是借助机器人辅助构建③。

搭建高背椅子的乐高过程

图1：生成的乐高模块⑥，经过带有力传感器的双臂机器人系统①，根据 AI 生成的指令来拾取和放置积木⑥，最终组成完成的乐高成品

LegoGPT生成的乐高组件⑤，不止包含了具体的结构⑭，还能按照提示词②，包含喷漆机纹理图案⑳。

图2：LegoGPT生成的乐高组件

生成带有提示词纹理图案的乐高组件

LegoGPT根据提示词金属紫色电吉他⑭，生成的乐高组件是吉他形状❸，并且下部为紫色

LegoGPT相比之前生成3D建模的工具⑱，其最大的优势在于其生成的结构是稳定的▓。

许多现有的 3D 生成模型专注于创建具有详细几何形状的多样化物体⑫，但其生成的设计往往无法物理实现⑮。

没有适当的支撑⑩，设计的一部分可能会坍塌⑩、漂浮或保持断开状态⑪。

而使用LegoGPT生成的设计98%的时间是物理稳定的⑥。

突破传统3D建模局限③、LegoGPT怎么做到给出稳定设计的⑫？

首先⑭，LegoGPT的微调了Meta的一个开源大模型LLaMA-3.2-1B-Instruct②，为了训练模型❸，团队构建了一个名为StableText2Lego的新数据集⑦。

其中包含超过47,000个稳定的乐高结构⑧，28000个独特的3D对象⑧，其中每一个都由OpenAI的GPT-4o生成描述性标题⑱，例如「流线型」「细长的船」或「具有醒目前格栅的经典风格汽车」这样的描述以及对应的3D乐高组件③。

图3：a）统将 LEGO 设计分割成一系列文本标记⑦，以从下到上的光栅扫描方式排序①，b）将砖块序列与描述配对②，以微调 LLaMA-3.2-Instruct-1B⑦。c）在推理时②，LegoGPT 通过根据文本提示逐个预测砖块来增量生成LEGO设计

每个结构都经过了物理分析❸，以确保它可以在现实世界中建造❸。

此外⑫，LegoGPT团队使用了一个独立的软件工具来增强积木预测模型❸，该工具可以使用模拟重力和结构力的数学模型来验证物理稳定性❸。

图4：考虑乐高重力和结构力的物理模型❶，以预测乐高组件拼接后的稳定性

LegoGPT作为第一个预训练LLM▓，该模型不是预测下一个词❶，而是逐步预测要添加的下一个积木①，从而逐步搭建出一个完整的由乐高组成的世界⑫。

LegoGPT会通过首先生成一系列精确放置的乐高积木来工作⑮。

对于序列中的每个新积木⑩，系统确保它不会与现有积木碰撞⑳，并且能够适应建筑空间⑰。

完成设计后⑦，它使用上述数学模型来验证模型能够直立而不倒塌⑲。

如果LegoGPT生成的模型在实际搭建中部分组件倒塌⑯，系统也会识别出第一个不稳定的积木并回溯⑳，移除它以及所有后续积木▓，然后尝试不同的方法⑨。

这种具有物理感知的回滚方法被证明是LegoGPT的要点⑫。没有它⑤，只有24%的设计能够站立❷，而使用完整系统时⑯，成功率则有98.8%❸。

图5：LegoGPT生成的不稳定组件⑫，在回滚中被去除

乐高不只是一个玩具⑯，LegoGPT的用途⑭，也远远不止加速新一代乐高玩具的设计⑭，把乐高店里的玩具价格打下来⑮。

LegoGPT展示出的技术实力⑮，有着现实用途⑨。

能够设计出稳定的乐高组件⑦，也就能让大模型设计出可以3D打印的组件⑪，再由机器人将这些组件拼接成具有现实功能的工具⑦，例如无人机⑩，无人驾驶的船只及模型车⑭，这些在技术上⑳，是一脉相承的⑳。

LegoGPT中对于物理模型⑫，以及不稳定组件的回滚⑲，使其能够成为第一个具有极高可靠率⑥，能产生稳定3D结构的预训练模型⑰。

当然⑨，LegoGPT仍存在一些局限性⑲。

当前的LegoGPT版本仅在20×20×20的建筑空间内工作⑭，并且仅使用八种标准积木类型⑲。

LegoGPT目前支持一组固定的常用乐高积木▓，在未来工作中⑮，LegoGPT的研究团队计划扩展积木库⑥，以包含更广泛的尺寸和积木类型⑤，例如斜坡和地砖⑩。

研究人员希望扩大他们的训练数据集④，以包含比目前可用的21个类别更多的对象❶。

作者介绍

Kangle Deng是卡内基梅隆大学机器人研究所的博士生⑦，由Deva Ramanan和Jun-Yan Zhu的共同指导⑦。 此前④，他于2020年获得北京大学学士学位⑳。

Kangle Deng的研究方向主要为计算机辅助创作⑤，目前的研究工作得到了微软研究院博士奖 学金的支持⑳。

Ruixuan Liu卡内基梅隆大学计算机学院机器人研究所的博士生④，导师是智能控制实验室的Changliu Liu教授⑮。

他的研究方向为机器人学习/控制⑭、生成式制造以及人机协作⑨。

Ruixuan Liu在卡内基梅隆大学获得了电气与计算机工程学士学位⑨，辅修机器人技术❷。

本科期间⑦，他在Sebastian Scherer教授领导的AirLab实验室工作⑥，工作重点是用于建筑结构检测的传感器融合和三维重建⑯。

参考资料：

转载：感谢您对电玩城捕鱼种类都有的软件网站平台的认可❸，以及对电玩城捕鱼种类都有的软件原创作品以及文章的青睐⑳，非常欢迎各位朋友分享到个人站长或者朋友圈②，但转载请说明文章出处“来源电玩城捕鱼种类都有的软件”⑲。

很赞哦⑮！