从乐高积木到艺术品：卡内基梅隆大学团队打造AI驱动的文本转乐高模型

在2025年5月，卡内基梅隆大学的研究团队——由Ava Pun、Kangle Deng、Ruixuan Liu、Deva Ramanan、Changliu Liu和Jun-Yan Zhu组成——发布了一项令人兴奋的研究，开创了从文本描述直接生成物理可稳定且可构建的乐高设计的先河。这项名为"从文本生成物理稳定与可构建的乐高设计"（Generating Physically Stable and Buildable LEGO® Designs from Text）的研究于2025年5月8日发表在arXiv（arXiv:2505.05469v1），项目网站为https://avalovelace1.github.io/LegoGPT/。这项创新性工作让任何人都可以通过简单的文字描述创造出丰富多彩的乐高模型，就像魔术师用咒语变出实物一般神奇。

一、研究背景：为什么AI生成的3D模型难以在现实中构建？

想象一下，你看到一张漂亮的3D设计图片，决定自己动手做一个。但当你开始尝试时，却发现这个设计在现实世界中根本无法站立或组装。这正是目前3D生成技术面临的关键问题。

虽然近年来3D生成模型取得了长足进步，让我们能够从文本描述中生成各种形状精美的3D物体，但这些数字设计往往只能在电脑屏幕上看起来漂亮，而无法转化为实际可构建的物体。原因主要有两个：首先，这些设计通常难以使用标准组件组装；其次，即使理论上可以组装，最终结构也可能物理不稳定，部分构件会塌陷、悬浮，或者彼此失去连接。

卡内基梅隆大学的研究团队将目光聚焦在乐高上，不仅因为乐高是娱乐、教育和创意表达的流行工具，还因为它是一个理想的研究基准——所有标准组件都容易获取，使研究结果易于复现。传统的乐高设计通常需要大量的手动工作，而现有的自动化方法主要是根据给定的3D模型创建乐高设计，或者专注于单一物体类别。

这个团队的目标是开发一种方法，直接从自由形式的文本提示生成乐高设计，同时确保物理稳定性和可构建性。简单来说，他们希望你只需输入"一张有高靠背的椅子"或"一艘流线型的船"，就能获得一份可以一块一块搭建的乐高设计图，而且搭建出来的结构保证能稳固地站立，不会散架。

二、研究的创新突破：语言模型秒变乐高设计师

卡内基梅隆团队提出的解决方案名为LEGOGPT，核心思路非常巧妙——他们发现大型语言模型（LLM）具有强大的推理能力，本来是用来预测下一个单词的，现在被重新调整为预测"下一块乐高积木应该放在哪里"。

想象一下搭建乐高的过程：你通常是一块一块地添加，每次都需要考虑新积木与现有结构如何最好地连接。这正是自回归（autoregressive）模型的工作方式——根据之前的内容预测下一步。研究团队利用这一特性，将乐高设计问题转化为文本生成任务。

这个方法具体如何工作？首先，研究团队创建了一个名为StableText2Lego的大规模数据集，其中包含了47,000多个物理稳定的乐高结构设计，覆盖28,000多个独特的3D物体。每个设计都配有详细的文字描述。然后，他们使用这些数据训练了一个自回归大型语言模型，让它学会从文本提示一块一块地预测乐高积木的放置位置。

但仅仅能生成乐高积木序列还不够，还需要确保生成的结构真正稳定并且可以建造。为此，研究团队开发了两个关键技术：

首先是"高效有效性检查"。就像厨师在烹饪过程中不断品尝和调整一样，系统会在添加每块新积木时检查它是否格式正确（如是否存在于积木库中）以及是否与现有积木发生碰撞。如果检测到问题，系统会立即"重新取样"，尝试不同的积木放置方式。

其次是"物理感知回滚"。这就像是搭建乐高过程中发现某个部分不稳定，就退回到最后一个稳定的状态重新开始。系统会在完成设计后进行物理稳定性分析，如果发现结构不稳定，会识别第一个导致不稳定的积木，然后退回到那个位置之前的状态，并从那里重新生成。

通过这种方法，LEGOGPT能够生成符合物理规律的乐高设计，就像一个经验丰富的乐高建模师一样，不仅考虑形状的美观，还确保结构的稳定性。

三、研究方法详解：如何训练一个懂物理的乐高生成器

为了训练LEGOGPT，研究团队采取了一系列精心设计的步骤。首先是数据集的构建。他们以ShapeNetCore（一个包含多种3D物体的公共数据集）为基础，选择了21个具有多样性和特色的物体类别，同时排除了类似立方体的简单形状。

每个3D模型首先被体素化到一个20×20×20的网格中（想象把一个物体切成20×20×20个小立方体），然后通过一种叫"分割与重组"的乐高化算法转换为乐高结构。为了增加数据的多样性和质量，研究团队在乐高化过程中引入了随机性，为每个3D物体生成多种不同的乐高结构变体。

接下来是物理稳定性分析。研究团队使用了一种新颖的方法来评估每个乐高结构的物理稳定性。简单来说，他们计算了作用在每块积木上的力，包括重力、与上下积木的垂直力，以及由于积木连接和相邻积木产生的水平剪切力。只有当所有积木都能达到静态平衡（即所有力和力矩加起来为零）时，结构才被认为是稳定的。

为了获取每个结构的文字描述，研究团队从24个不同视角渲染乐高设计，组合成一张多视角图像，然后使用GPT-4o生成五种不同详细程度的描述。这些描述仅关注几何特征，而不包含颜色信息。

在训练阶段，研究团队使用自定义格式表示乐高设计，每行代表一块乐高积木，格式为"{h}×{w} ({x},{y},{z})"，其中h×w是积木尺寸，(x,y,z)是其坐标。所有积木都是1单位高的轴对齐长方体，按从底到顶的光栅扫描顺序排列。这种格式大大减少了表示设计所需的令牌数量，同时包含了评估3D推理所必需的积木尺寸信息。

最后，他们使用这些数据微调了预训练的LLaMA-3.2-1B-Instruct模型，使其能够根据文本提示自回归地预测积木序列。整个过程就像是在训练一位虚拟的乐高大师，学习如何根据口头描述一块一块地构建稳定的乐高模型。

四、令人惊艳的结果：文字变成实体模型的魔法

LEGOGPT的性能令人印象深刻。研究团队对系统生成的设计进行了全面评估，并与多个基线方法进行了对比，包括零样本和少样本的预训练LLaMA模型，以及LLaMA-Mesh、LGM、XCube和Hunyuan3D-2等最先进的3D生成模型（这些模型生成网格，然后转换为乐高）。

评估结果显示，LEGOGPT在有效性（没有超出库、超出边界或碰撞的积木）、稳定性以及与文本相似性方面都优于所有基线方法。特别是，LEGOGPT生成的设计中有100%是有效的，98.8%是物理稳定的，远高于其他方法。这就像是其他厨师只能制作出美观但容易倒塌的蛋糕，而LEGOGPT则能制作出既美观又结实的蛋糕。

通过消融研究（即移除系统的某些部分看效果如何），研究团队证明了物理感知回滚和砖块拒绝采样的重要性。没有这些组件，生成的设计要么无效（例如，积木之间发生碰撞），要么物理不稳定。

更令人兴奋的是，LEGOGPT生成的乐高设计不仅仅是理论上可行的，还可以在现实世界中实际构建。研究团队进行了两种验证：人工组装和机器人自动组装。对于人工组装，由于系统输出了中间步骤，自然可以作为直观的组装指南。对于机器人自动组装，研究团队使用了双机械臂系统，成功地根据生成的设计构建了乐高结构。

除了基本的乐高形状生成，研究团队还开发了文本驱动的乐高纹理和着色方法，使用户可以为相同的乐高形状生成不同的纹理和颜色变体。这就像是为你的乐高模型添加皮肤和装饰，大大增强了设计的表现力和多样性。

五、研究局限与未来展望

虽然LEGOGPT取得了显著成果，但研究团队也坦率地指出了一些局限性：

首先，由于计算资源限制，他们尚未探索最大的3D数据集。目前，LEGOGPT仅限于在20×20×20网格内生成设计，并涵盖21个类别。未来的工作包括在更大、更多样化的数据集上扩展模型训练，比如在更高分辨率的网格上使用Objaverse-XL。这就像是从使用有限的食材烹饪，逐步扩展到拥有完整的食材库。

其次，目前的方法仅支持固定的常用乐高积木集合。未来计划扩展积木库，包括更广泛的尺寸和积木类型，如斜面和瓦片，以允许创建更多样化和精细的乐高设计。这相当于从只使用基本厨具到拥有专业厨师的全套工具。

这项研究得到了多方支持，包括帕卡德基金会、思科研究补助金和亚马逊教师奖。该工作也部分得到了制造业未来研究所和卡内基梅隆大学的支持，通过理查德·金·梅隆基金会的资助。研究成员Kangle Deng还得到了微软研究博士奖学金的支持。

六、研究意义与应用前景

LEGOGPT的出现开启了一个新时代，它让任何人——无论是孩子、业余爱好者还是专业设计师——都能通过简单的文字描述创造出物理上可行的乐高模型。这项技术有多个潜在的应用领域：

在教育方面，LEGOGPT可以成为一个强大的工具，帮助学生将抽象概念转化为实体模型，促进STEM（科学、技术、工程和数学）学习。老师可以让学生描述一个概念，然后使用LEGOGPT将其转化为可构建的乐高模型，从而实现抽象到具体的转换。

对于娱乐和创意表达，LEGOGPT为乐高爱好者提供了一种全新的创作方式。用户可以通过描述他们想象中的场景或物体，快速生成对应的乐高设计，然后进行实际构建。这就像是拥有了一个虚拟的乐高设计师，随时准备将你的想法转化为具体的构建计划。

在原型设计和制造领域，LEGOGPT提供了一种快速将概念转化为物理模型的方法。设计师可以通过文本描述快速迭代不同的设计理念，并在最终制造之前使用乐高模型进行物理验证。

更广泛地说，LEGOGPT代表了AI辅助设计的一个新前沿，展示了如何结合物理约束与生成模型来创建既美观又实用的设计。这种方法可能扩展到其他设计领域，如家具、建筑或工业产品设计。

结语：当文字跃然成形

归根结底，LEGOGPT的故事是关于缩小虚拟世界和物理世界之间鸿沟的。在一个我们可以轻松生成令人惊叹的数字图像和3D模型的时代，将这些数字创意转化为可以触摸和体验的实体物品仍然是一个挑战。LEGOGPT向我们展示了如何利用先进的AI技术，将简单的文字描述转化为不仅美观，而且物理可行的实体设计。

想象一下未来，你只需对着电脑说"一座哥特式风格的城堡，带有高耸的塔楼和彩色玻璃窗"，然后就能得到一份详细的乐高构建指南，让你一步一步地将这个想法变为现实。这正是LEGOGPT所展示的可能性——一个文字可以跃然成形的世界。

对于那些对这项研究感兴趣并想了解更多详情的读者，可以访问项目网站https://avalovelace1.github.io/LegoGPT/，那里有完整的代码、模型和数据集。或许在不久的将来，我们每个人都能成为借助AI的力量创造出令人惊叹的乐高设计的艺术家。