STAR-R1：如何让AI像人类一样理解空间变化？人民大学团队用强化学习突破视觉推理难题

**一项由人民大学高瓴人工智能学院团队领导的突破性研究**

你有没有好奇过，为什么人工智能在识别图片、生成文本方面已经如此强大，但在理解空间关系和物体变化方面却显得笨拙？这就像一个能流利背诵诗歌的孩子，却无法理解积木是如何从一种形状变成另一种的。这种AI与人类智能之间的差距，正是人民大学宗昭李、马宗阳等研究者们关注的焦点。他们最新的研究成果《STAR-R1: Spatial TrAnsformation Reasoning by Reinforcing Multimodal LLMs》发表于arXiv（预印本编号：2505.15804v2），为解决这一问题提供了创新方案。

空间变化推理能力是人类智能的基本元素之一。想象一下，当你看到一个玩具积木从红色变成蓝色，或者从方形变成圆形，你能轻松识别这种变化。但对于当今最先进的多模态大语言模型（MLLMs）来说，这却是一项巨大挑战，尤其是当视角发生变化时，比如你从不同角度观察这些物体时。这种名为"变换驱动的视觉推理"（TVR）的任务，需要AI像侦探一样，仔细分析两张图片，找出哪些物体发生了什么变化。

令人惊讶的是，即使是当前顶尖的商业AI模型如GPT-4o在这项任务上的准确率也仅有23.5%，远远不及人类。为什么会这样呢？研究团队发现，传统的监督微调（SFT）方法虽然能够提高模型性能，但它们只是让AI模仿人类的答案，而没有真正教会它如何像侦探一样思考和推理。而现有的强化学习方法则往往因为奖励机制过于简单（只有对错两种结果），导致AI难以找到正确的探索方向。

面对这些挑战，人民大学和中科院自动化所的研究团队提出了一种名为STAR-R1的全新方法。这个方法就像是为AI设计了一个更加细致的学习计划，通过精心设计的奖励机制引导AI一步步掌握空间推理能力。与其简单地告诉AI"你全对了"或"你全错了"，STAR-R1会根据AI回答的部分正确程度给予相应的奖励，同时惩罚它过度列举答案或消极不作为的行为。

这种方法就像是教孩子学习一样，不仅鼓励他们尝试回答问题，还会针对部分正确的回答给予适当的肯定，引导他们逐步接近完全正确的答案。研究结果表明，这种方法在所有11个评估指标上都取得了最佳表现，特别是在跨视角场景下，比传统SFT方法提高了23%的准确率。

更令人惊讶的是，研究团队发现，经过STAR-R1训练的AI表现出了人类般的行为模式。面对简单场景时，它会快速做出判断；而面对复杂场景（如视角变化）时，它会像人类一样更加仔细地比较所有物体，确保准确匹配。这种行为完全是AI自主学习得来的，而非人为编程的结果。

这项研究不仅提供了提升AI空间推理能力的有效方法，还为我们理解AI如何通过强化学习逐步接近人类认知能力提供了宝贵洞察。接下来，让我们一起深入了解STAR-R1是如何工作的，以及它为什么能取得如此显著的进步。

**二、任务与挑战：物体变换推理的艰难问题**

想象你正在玩一个"找不同"的游戏。游戏给你两张照片，上面有各种各样的物体——方块、球体、圆柱体，它们有着不同的颜色、大小和材质。你的任务是找出哪些物体发生了变化，以及变化的具体内容。听起来简单，对吧？但现在，让我们增加游戏难度：第二张照片是从不同角度拍摄的。突然间，原本简单的任务变得复杂起来了，因为你不仅需要找出变化，还要先确定两张照片中哪些物体是对应的。

这就是研究团队所面对的"变换驱动的视觉推理"（TVR）任务。在这个任务中，AI需要分析一张初始图像和一张最终图像，识别出哪些物体的哪些属性（颜色、形状、大小或材质）发生了什么样的变化。比如，AI需要能够识别出"编号为2的物体从木质变成了金属"或"编号为1的物体从绿色变成了红色"这样的转换。

这个任务之所以困难，主要有两个原因。首先，即使在相同视角下，AI也需要正确识别每个物体并比较其属性变化。其次，当视角改变时（例如，从中心视角变为左视角或右视角），物体在图像中的位置和外观也会随之变化，这使得匹配变得更加困难。

研究团队针对这一问题进行了深入分析。他们发现，即使是当前最先进的商业AI模型如GPT-4o在这项任务上的表现也令人失望，准确率仅为23.5%。这一数据充分说明了空间推理对AI来说确实是一个巨大挑战。

为什么现有方法难以解决这个问题呢？研究团队指出了两个主要原因：

首先，传统的监督微调（SFT）方法虽然能够通过模仿人类标注的答案来提高AI的表现，但它们无法使AI形成有效的推理链。这就像是让学生记住答案，而不是教会他们解题方法。特别是在视角变化的场景下，这种方法的局限性更加明显。

其次，现有的强化学习方法往往采用稀疏奖励机制，即只有当AI给出完全正确的答案时才会获得奖励。这种方法就像是告诉学生"你全对了"或"你全错了"，而不给出任何中间反馈。在复杂的TVR任务中，这种奖励机制导致AI很难找到正确的探索方向，学习效率低下且收敛速度慢。

研究团队通过在TRANCE数据集上进行实验验证了这些问题。他们发现，当AI需要识别多个物体的多种属性变化时，如果完全正确的情况较少，稀疏奖励机制几乎不会给AI提供有效的学习信号。这就导致AI在训练早期几乎无法获得正面反馈，无法判断哪些尝试是有效的，从而严重阻碍了学习过程。

面对这些挑战，研究团队提出了STAR-R1方法，旨在通过更加细致的奖励机制和惩罚机制，引导AI更有效地探索和学习空间推理能力。下面，我们将详细介绍这一创新方法的设计理念和实现方式。

**三、STAR-R1方法：如何训练AI进行空间推理**

想象你正在教一个孩子学习如何识别物体的变化。你不会仅仅告诉他答案对了或错了，而是会给予更详细的指导：「你正确发现了这个方块变色了，真棒！但它不是变成了绿色，而是蓝色。」「你不仅找出了颜色变化，还注意到了大小变化，做得很好！」这种渐进式的反馈让学习变得更加高效。STAR-R1正是基于这种理念设计的。

STAR-R1的核心是一套精心设计的奖励机制，它不再简单地判断AI的回答是对是错，而是根据回答的不同正确程度给予相应的奖励。具体来说，这套奖励机制包含两大部分：格式奖励和准确性奖励。

格式奖励确保AI的回答遵循特定的结构。就像在考试中，即使答案不完全正确，但如果书写格式规范也会得到一定的分数。STAR-R1要求AI在标签内记录推理过程，在标签内给出最终答案。如果AI正确使用了这些标签，就会获得1分的格式奖励，否则为0分。

准确性奖励则是STAR-R1的核心创新，它为AI的部分正确回答提供了细致的反馈。具体来说，对于每一个物体变换预测（如「2号物体的材质变成了金属」），STAR-R1会根据其正确程度给予不同级别的奖励：

如果AI正确识别了物体编号、变化的属性和具体变化值（如「2号物体的材质变成了金属」完全正确），它将获得最高奖励5.0分。这相当于在考试中得到了满分。

如果AI正确识别了物体编号和变化的属性，但变化值不正确（如「2号物体的材质变了」，但没有正确指出变成了金属），它将获得1.5分的部分奖励。这就像是在考试中答对了一半的问题。

如果AI仅正确识别了物体编号但属性和变化值都错了，它仍然会获得0.5分的最低奖励，以鼓励它在正确的方向上继续探索。

除了奖励机制外，STAR-R1还引入了惩罚机制，以防止AI采取投机取巧的策略。如果AI预测了不存在的变换（例如，声称3号物体变成了红色，但实际上它没有任何变化），每一个错误预测都会被扣除1分。此外，如果AI预测的变换数量少于实际变换数量，也会受到惩罚，以鼓励它积极探索所有可能的变换。

这种设计理念背后的思想是：宁可尝试可能错误的答案，也不要漏掉正确的答案。就像侦探工作，宁可多调查一些线索，也不要放过任何可能的证据。通过这种方式，STAR-R1鼓励AI进行全面而细致的探索，而不是消极被动地避免错误。

在训练过程中，STAR-R1采用了GRPO（Group-based Reward-optimal Policy Optimization）算法，这是一种高效的强化学习方法。与传统的PPO算法不同，GRPO不需要训练额外的价值网络，而是通过对比同一批次内不同回答的奖励来计算优势值，大大提高了训练效率。

具体来说，对于每个训练样本，STAR-R1会生成一组不同的回答，然后计算每个回答的总奖励（格式奖励+准确性奖励）。接着，它会计算这组回答的平均奖励和标准差，并据此为每个回答计算一个相对优势值。优势值越高的回答，模型就会被鼓励生成更多类似的回答，而优势值低的回答则会被抑制。通过这种方式，模型能够逐步学会生成更加准确的空间变换推理。

STAR-R1的另一个创新之处在于，它采用了单阶段纯强化学习训练范式，无需像其他方法那样先进行监督微调再进行强化学习。这种方法不仅简化了训练流程，还避免了监督微调可能引入的偏见和限制，使AI能够更加自由地探索和发现最优的推理策略。

通过这套精心设计的训练方法，STAR-R1能够有效地引导AI学习如何进行空间变换推理，特别是在具有视角变化的复杂场景中。接下来，我们将探讨这种方法在实际实验中的表现，以及它带来的惊人结果。

**四、实验结果：STAR-R1如何超越现有模型**

想象一场智力竞赛，参赛者需要找出两张照片中物体的变化。有些选手只看表面，有些却深入分析。这场竞赛中，STAR-R1表现卓越，不仅在简单题目上拿高分，在难题上更是遥遥领先。让我们看看它是如何击败其他选手的。

研究团队对STAR-R1进行了全面而严格的评估，选择了4.5K个测试样本，包括相同视角（In-Domain）和不同视角（Out-of-Domain）的场景。为了确保评估的全面性，他们设计了11个评估指标，覆盖了不同的角度和难度级别。

评估结果令人印象深刻。在所有11个指标上，STAR-R1都取得了最佳表现，远超其他模型。特别是与商业模型相比，STAR-R1的总体准确率（TAcc）达到了61.4%，比GPT-4o高出37.9个百分点，比Gemini-1.5-pro高出45.5个百分点。这一成绩充分证明了STAR-R1方法的有效性和优越性。

在属性准确率方面，STAR-R1在颜色、形状、大小和材质这四类属性上都表现出色，准确率分别达到81.3%、83.2%、86.1%和85.5%。这种均衡的表现表明，STAR-R1能够全面理解物体的各种属性变化，而不是仅仅擅长某一类特定的变化。

更令人惊讶的是，当场景中物体数量增加时，STAR-R1的性能下降得比其他模型要慢得多。在含有1-3个物体的场景中，它的准确率高达91.0%；即使在含有9-10个物体的复杂场景中，它仍然保持了37.5%的准确率。相比之下，其他模型在复杂场景中的表现急剧下降，有些甚至接近于随机猜测。

但最令人瞩目的是STAR-R1在跨视角（Out-of-Domain）任务上的表现。在这种更加困难的场景下，STAR-R1的准确率达到了53.9%，比基于监督微调（SFT）的方法高出23个百分点。这一巨大差距表明，STAR-R1不仅能够理解物体的变化，还能够在视角变化的情况下正确匹配对应的物体，这是一项远超其他模型的能力。

为什么STAR-R1在跨视角任务上表现如此出色？研究团队通过深入分析发现了一个有趣的现象：STAR-R1会像人类一样，根据场景的复杂程度调整其推理策略。

在相同视角的简单场景中，STAR-R1会进行有限的物体比较，因为变化通常很容易识别。但在跨视角的复杂场景中，它会系统地比较所有物体，以确保正确匹配。具体来说，在相同视角场景中，STAR-R1在67%的案例中会进行全面物体比较；而在跨视角场景中，这一比例上升到81%。

这种自适应行为完全是模型自主学习得来的，而非人为编程的结果。它表明，STAR-R1通过强化学习，不仅学会了如何识别物体变化，还学会了如何根据场景复杂度调整其推理策略，这是一种接近人类认知的行为模式。

研究团队还观察到了一个有趣的现象：STAR-R1在训练过程中，其回答的长度先减少后增加，最终趋于稳定。这表明，模型在训练初期会尝试各种推理策略，并逐渐简化其语言表达；但随后，它意识到仅关注少数几个物体可能导致匹配错误，于是开始系统地比较所有物体，最终找到了平衡点。这种动态变化进一步证明了STAR-R1学习过程的自然性和有效性。

最后，研究团队还进行了广泛的消融实验，以验证STAR-R1各组件的重要性。结果表明，无论是移除物体奖励、属性奖励还是惩罚机制，都会导致模型性能显著下降。这充分证明了STAR-R1设计的合理性和必要性。

总的来说，STAR-R1在空间变换推理任务上的卓越表现，特别是在跨视角场景中的显著优势，为提高AI的空间理解能力提供了一种有效方法，也为我们理解AI如何通过强化学习逐步接近人类认知能力提供了宝贵洞察。

**五、人类化行为：强化学习与监督学习的对比**

想象两个学生学习同一门课程。第一个学生只是死记硬背老师给的答案，第二个学生则通过不断尝试和反馈来理解解题方法。当面对新问题时，哪个学生更有可能找到解决方案呢？这正是监督学习（SFT）和强化学习（RL）的区别所在。

研究团队进行了一项深入比较，探究了基于强化学习（STAR-R1）和基于监督学习（STAR-SFT）的模型之间的差异。他们发现，两种方法在相同视角（In-Domain）和不同视角（Out-of-Domain）的任务上表现出明显的差异。

在相同视角的任务中，STAR-SFT的准确率达到了84.2%，略高于STAR-R1的76.3%。这是合理的，因为监督学习善于记忆训练数据中的模式，而相同视角的任务与训练数据更为相似。然而，当转向更具挑战性的跨视角任务时，情况发生了戏剧性的逆转：STAR-R1的准确率达到53.9%，而STAR-SFT仅为30.9%，相差高达23个百分点。

为什么会出现如此大的差距？研究团队通过案例研究揭示了一个关键原因：STAR-R1和STAR-SFT采用了截然不同的推理策略。

STAR-SFT模型倾向于进行快速但不全面的比较，通常只关注少数几个物体。在相同视角的简单场景中，这种策略足够有效，因为变化通常很容易识别。但在跨视角的复杂场景中，这种方法会导致严重的错误。

例如，当视角变化时，STAR-SFT错误地认为两张图片中相同位置的物体就是同一个物体，而忽略了视角变化会导致物体在图像中的位置发生变化。这就像一个人只看物体在照片中的位置而不考虑实际场景中的位置关系一样，这种方法在视角变化时必然会失败。

相比之下，STAR-R1会像侦探一样，系统地比较两张图片中的所有物体，包括那些未发生变化的物体。在具有多个物体的场景中，这种全面比较使它能够建立准确的物体对应关系，即使在视角变化的情况下也能正确匹配物体。

研究团队通过具体案例展示了这种差异。在一个案例中，STAR-SFT错误地将最终图像中的物体0、3和5识别为物体3、5和6，导致完全错误的推理结果。而STAR-R1则通过系统比较所有物体的状态，成功建立了正确的对应关系，从而得出准确的推理结果。

这种行为差异揭示了强化学习的独特价值：它不仅仅让AI学会了回答问题，还让AI学会了如何思考和推理。更令人惊讶的是，STAR-R1表现出的自适应行为与人类非常相似。在简单场景中，它会进行有限的比较；而在复杂场景中，它会更加全面地比较所有物体，就像人类会根据任务难度调整思考深度一样。

这种人类化的行为完全是模型通过强化学习自主发展出来的，而非人为设计的结果。这表明，通过适当的奖励机制，AI可以自主学习发展出类似人类的认知策略，而不需要明确的指导或规则。

研究团队还尝试将强化学习应用于已经接受监督微调的模型（STAR-SFT&RL），结果表明，这种方法确实能够提升模型在跨视角任务上的表现，从30.9%提高到36.5%。但这一提升仍远低于纯强化学习模型STAR-R1的53.9%。这一发现暗示，监督微调可能会使模型锁定某种推理模式，限制其在后续强化学习中的探索空间。

总的来说，STAR-R1与STAR-SFT的对比研究不仅证明了强化学习在提高AI空间推理能力方面的卓越表现，还揭示了AI可以通过强化学习自主发展出人类化的认知策略。这一发现为我们理解AI如何逐步接近人类认知能力提供了宝贵洞察，也为未来AI研究指明了方向。

**六、训练动态：AI如何学会推理**

学习一项新技能通常不是一条直线，而是充满起伏的旅程。STAR-R1的学习过程也是如此。研究团队对模型的训练过程进行了深入分析，发现了一些有趣的现象，这些现象揭示了AI如何逐步掌握空间推理能力。

最引人注目的是模型回答长度的变化。在训练初期，STAR-R1的回答非常冗长，充满了详细的多物体描述，如："第3号物体在第一张图像中是一个灰色的大型圆柱体。在第二张图像中，它变成了金属金色。这表明颜色和材质发生了变化。第1号物体在第一张图像中是..."。

随着训练的进行，模型的回答逐渐变得简洁，转向了单物体推理，如："棕色小球改变了颜色，变成了灰色"。这一阶段，模型的回答长度达到最低点。但有趣的是，在此之后，回答长度又开始增加，最终趋于稳定。

研究团队分析认为，这种动态变化反映了模型探索策略的演变。在训练初期，模型尝试各种推理方式并逐渐简化其语言表达。但随后，它意识到仅关注少数几个物体可能导致匹配错误，特别是在视角变化的情况下。因此，它开始系统地比较所有物体的状态，包括那些未发生变化的物体，以建立更准确的物体对应关系。

这种转变使模型最终形成了一种平衡的推理策略：为每个物体保持简洁的推理风格，同时系统地比较所有物体。例如："大型紫色玻璃立方体（索引2）变成了大型紫色玻璃立方体。小型紫色金属圆柱体（索引0）变成了小型紫色金属圆柱体。..."。这种策略不仅提高了准确率，还保持了推理的清晰度和可解释性。

研究团队还发现，模型在训练过程中的奖励曲线稳步上升，最终稳定在一个较高水平。这表明STAR-R1的奖励设计成功地引导模型持续改进，而不是陷入局部最优解。

此外，研究团队通过比较不同属性（颜色、形状、大小和材质）的准确率变化，发现所有属性的准确率都呈现类似的增长趋势，最终稳定在较高水平。这种均衡的进步表明，模型能够全面理解各种属性变化，而不是偏向某一特定类型的变化。

为了验证模型性能与训练数据量的关系，研究团队还进行了数据量消融实验。结果表明，随着训练数据量从1,000增加到9,000，模型的准确率从13.8%提升到61.4%，表现出明显的数据量效应。但有趣的是，准确率增长率呈现先增后减的趋势，暗示在数据量较少时，增加数据能带来显著提升；而当数据量达到一定水平后，增益开始减少。

研究团队还研究了模型规模对性能的影响。他们将基础模型从Qwen-2.5VL-7B替换为Qwen-2.5VL-3B，发现较小的模型在相同训练设置下，虽然也能从强化学习中获益，但性能提升要小得多。这表明基础模型的能力对最终性能有重要影响，更强大的基础模型能够达到更高的推理能力上限。

总的来说，STAR-R1的训练动态分析不仅揭示了模型如何逐步掌握空间推理能力，还为我们理解AI学习过程中的策略演变提供了宝贵洞察。这些发现既有实际价值，能指导未来模型的设计和训练，也有理论意义，有助于我们理解AI如何通过强化学习自主发展出有效的认知策略。

**七、结论与未来展望**

想象一个孩子从只会机械记忆答案，到能够理解并解决问题的过程——这正是STAR-R1所展现的AI进化之路。这项研究不仅在技术上取得了突破，更展示了AI如何逐步发展出类似人类的推理能力。

STAR-R1通过创新的奖励设计和强化学习方法，成功提高了AI在空间变换推理任务上的表现，尤其是在具有视角变化的复杂场景中。它在所有11个评估指标上都取得了最佳表现，比最先进的商业模型如GPT-4o和Gemini-1.5-pro高出30-40个百分点，比基于监督微调的方法在跨视角任务上高出23个百分点。

更重要的是，STAR-R1展现出了人类化的行为模式。它能够根据场景复杂度自适应地调整推理策略，在简单场景中进行有限比较，在复杂场景中进行全面比较，这种行为与人类处理不同难度任务的方式极为相似。而这种行为完全是模型通过强化学习自主发展出来的，而非人为设计的结果。

这项研究的意义远超过提高AI在特定任务上的表现。它为我们理解AI如何通过强化学习逐步接近人类认知能力提供了宝贵洞察。特别是，它证明了通过适当设计的奖励机制，AI可以自主学习发展出有效的推理策略，而不需要明确的指导或规则。

当然，这项研究也存在一些局限性。首先，当前的模型只能处理单时间戳的物体变换，而现实世界中的变换往往是随时间延展的序列，具有潜在的依赖关系。其次，虽然STAR-R1在视觉推理方面取得了显著进步，但它仍主要关注物体的基本属性变化，而没有处理更复杂的空间关系和交互。

未来的研究方向可能包括将这种方法扩展到时间序列变换，考虑物体间的相互作用，以及整合更复杂的空间关系理解。此外，研究团队还计划探索将这种基于强化学习的方法应用到其他多模态推理任务中，如视频理解、场景描述等。

更广泛地说，这项研究为AI朝着更加接近人类认知能力的方向迈进提供了一条可行路径。通过结合视觉感知和逻辑推理，AI可以逐步发展出更加全面和深入的世界理解。这不仅有助于提高AI在各种实际应用中的表现，还可能为我们理解人类认知过程提供新的视角。

正如研究团队所言，STAR-R1验证了R1-Zero范式（纯强化学习训练）在高级推理任务中的潜力。这一发现可能为未来的AI研究指明方向，推动AI从简单的模式匹配向真正的理解和推理能力转变。

这项由人民大学高瓴人工智能学院宗昭李、马宗阳等研究人员领导的工作，不仅是AI技术的一次重要突破，更是我们理解智能本质的一次宝贵探索。随着研究的深入，我们或许能够解开更多关于智能形成和发展的奥秘，无论是人工的还是自然的。