PHYX：大模型的物理推理能力测试，揭示AI在视觉物理问题上的惊人差距

现代人工智能发展迅猛，尤其是以GPT-4o、Claude 3.7等为代表的多模态大语言模型（MLLMs）似乎已经能够解决奥林匹克级别的数学问题。但2025年5月，由香港大学、密歇根大学、多伦多大学、滑铁卢大学和俄亥俄州立大学的研究团队在arXiv预印本平台发布的一项研究却揭示了一个惊人的事实：即便是最先进的AI模型，在物理推理能力上与人类专家相比仍有巨大差距。这项由Hui Shen、Taiqiang Wu等研究者领导的研究发表于arXiv:2505.15929v1，为我们展示了AI在"看懂"物理世界方面的现状。

想象一下，当你看到一个苹果从树上掉下来，你自然会理解这是重力作用的结果。对人类来说，这种物理直觉是与生俱来的，我们不需要明确地思考公式就能预测物体的运动。然而，AI模型在这方面的表现如何呢？研究团队创建了名为PHYX的基准测试，专门评估模型对物理场景的理解能力。

PHYX不是简单的知识问答，而是一个包含3000个精心设计的多模态物理问题的综合测试。这些问题涵盖了热力学、电磁学、力学、现代物理学、光学以及波与声学六大核心物理领域，分布在25个细分领域中。每个问题都配有视觉场景，要求模型不仅要理解物理公式，还要将这些抽象的知识应用到具体的视觉情境中。

举个例子，一个典型的PHYX问题可能会展示一个斜坡上的物体，并询问在特定条件下物体将如何运动。为了正确回答，AI需要识别图像中的关键元素（如斜坡角度、物体质量），应用适当的物理定律（如牛顿第二定律），进行必要的计算，并给出准确答案。这种推理过程结合了领域知识、符号推理和对现实世界约束的理解，比单纯的数学计算要复杂得多。

研究团队对16个基础模型进行了全面评估，结果令人惊讶。即便是目前最先进的多模态模型如GPT-4o、Claude 3.7-Sonnet和GPT-o4-mini，分别只达到了32.5%、42.2%和45.8%的准确率。相比之下，人类专家的表现至少在75.6%以上，最高可达78.9%。这意味着AI与人类之间存在着至少29%的能力差距！

这种差距在不同物理领域表现不一。在波与声学和力学领域，模型表现相对较好，这可能是因为这些问题通常包含自然图像，需要的推理步骤相对较少。而在热力学和现代物理学领域，模型的表现普遍较差，这些领域的问题往往需要更复杂的视觉感知和多步推理。

通过对96个错误案例的深入分析，研究团队发现了当前模型的三个关键缺陷。首先，视觉推理错误（占39.6%）表明模型常常误解视觉上下文，无法准确提取和理解实际物理场景中的信息。其次，模型过度依赖详细的文本描述，当输入从完整文本降为简化文本再到最小文本时，性能显著下降，表明它们未能有效利用视觉输入进行推理。最后，与数学推理相比，物理推理对模型来说是更大的挑战，需要更好地整合抽象概念和现实世界知识。

研究者还发现，即使是没有直接视觉输入的大语言模型（LLMs）如DeepSeek-R1和GPT-o3-mini，在获得图像描述后也能取得与多模态模型相当的表现。这一发现既展示了LLMs令人印象深刻的泛化能力，也暴露了当前MLLMs在利用原始视觉信号进行物理推理方面的局限性。

值得注意的是，这项研究不仅指出了问题，还提供了解决方案。研究团队实施了一个基于广泛使用的工具包（如VLMEvalKit）的评估协议，支持一键式评估，极大地方便了未来研究者复现实验结果。

总的来说，PHYX基准测试不仅是对当前AI模型物理推理能力的全面评估，也为未来发展物理感知AI系统提供了清晰的路线图。它揭示了AI从"看到"到"理解"物理世界的漫长之路，同时也激励研究者开发能够真正理解物理规律而非仅依靠表面模式匹配的AI系统。

随着AI技术不断发展，或许未来的模型能够像人类一样自然地理解物理世界，但目前看来，这一目标仍有相当长的路要走。正如物理学家理查德·费曼所言："物理学是最基础和最包罗万象的科学。"同样，对物理世界的深入理解也可能是AI迈向真正智能的基础和关键。