被难倒的视觉语言模型：为什么人工智能看不懂视觉谜题？

视觉文字谜（Rebus Puzzles）是一种通过图像、空间排列和符号替代来编码语言的视觉谜题，对当前最先进的视觉语言模型（VLMs）提出了独特挑战。这项由加州大学伯克利分校和POSTECH联合研究团队（李希庆、葛佳欣、吴宗翰、康民宇、Trevor Darrell和David M. Chan）于2025年5月发表在arXiv（arXiv:2505.23759v1）的研究，系统地探索了当前人工智能模型在解决这类需要复杂推理能力的视觉谜题时的表现与局限性。

想象一下，你看到"WATER"这个单词被排列成向下弯曲的形状，你可能立刻想到"瀑布（Waterfall）"。又或者看到"TIME"下方写着"ABCDE"，你会想到"长时间不见（Long time no see）"。这些看似简单的谜题，对人类来说可能只需几秒就能解决，但对于目前最先进的AI视觉语言模型却成了一道难题。

为什么这些视觉谜题对AI如此具有挑战性？研究团队解释说，与传统的图像描述或问答任务不同，解决视觉文字谜需要多模态抽象、符号推理以及对文化、语音和语言双关语的理解。这些能力恰恰是目前AI系统的短板所在。

研究团队构建了一个包含432个精心创建并注释的英语视觉文字谜数据集，涵盖从简单的图示替换到依赖空间位置的线索（如"head"在"heels"上方表示"head over heels"）等多种类型。他们评估了各种视觉语言模型的表现，从OpenAI的GPT-4o到Google的Gemini-2.5系列，再到开源模型如Qwen2.5-VL。

研究结果揭示，即使是最先进的模型在解决这些谜题时也面临显著困难。虽然闭源推理模型如o3、o4-mini和gemini-2.5-pro表现相对较好，甚至超过了非英语母语的人类解题者，但与专家解题者相比仍有巨大差距。最佳模型o3的准确率为54.6%，而人类专家可达76.4%。更令人惊讶的是，开源模型的表现更加糟糕，如phi-4的准确率仅为0.46%。

一、视觉文字谜：AI的推理盲点

视觉文字谜是什么？想象你看到一个图像，里面有字母"M"上方写着"MIND"，这个谜题表示"Mind over matter（精神胜于物质）"。又或者看到"ONCE"旁边有一个时钟，表示"Once upon a time（很久很久以前）"。这些视觉谜题结合了图像识别、空间关系理解和语言创造性，对AI系统提出了多层面的挑战。

研究团队对每个谜题进行了精细分类，标注了解决该谜题所需的认知技能类别。这些技能包括缺失或否定（AN）、文本方向（TO）、数量或数学推理（QMR）、视觉隐喻和文化引用（VMCR）、符号替代（SS）、字体样式/大小（FS）、字母和词语操作（LWM）、语音和文字游戏（PW）、空间和位置推理（SPR）、图像识别（IR）以及文本识别（TR）。

通过这种分类，研究人员可以精确定位AI模型在哪些认知能力上表现较好，哪些方面存在明显短板。这就像医生对病人进行全面检查，确定健康状况和潜在问题一样。

二、AI模型的表现：成功与失败的模式

当研究团队分析不同技能类别的表现时，发现了一些有趣的模式。模型在符号替代（SS/SPR）和数量推理（QMR）样本上表现惊人地好，这可能是因为这些模型在训练时接触了大量的数学特定基准测试。然而，在抽象推理和横向思维方面存在显著差距，特别是在识别物体的缺失（AN）和解决视觉隐喻（VMCR）方面。

举个例子来理解这种差异：当你看到数字"4"替代单词"for"时，大多数AI模型能够理解这种直接的符号替换。但当谜题需要理解缺失的元素（如一个有空白的图像表示"无形的/invisible"）或文化参考（如特定的视觉隐喻）时，模型就会困惑不已。

研究还发现了空间和位置推理（SPR）与字母和词语操作（LWM）之间的能力差距。许多模型在理解元素的空间布局方面表现尚可，但当谜题要求对这些布局进行抽象操作或重新解释时，模型就显得力不从心了。这就像一个人可以看懂地图上的位置标记，但无法规划从A点到B点的最佳路线一样。

同样有趣的是文本识别（TR）、字体样式/大小（FS）和文本方向（TO）之间的表现差异。虽然最好的模型在文本识别和理解非常规方向的文本方面表现不错，但它们在利用字体样式或大小作为线索方面相对较弱。

三、改进策略：AI能从提示中学习吗？

研究团队探索了多种策略来提高模型的表现，包括上下文学习、技能引导提示和迭代改进。

在上下文学习实验中，研究人员提供了一个包含图像、答案和推理的示例，看看模型是否能从中学习。结果显示，这种方法对大多数模型影响有限，Qwen2.5-VL显示了轻微改善，而o4-mini反而表现下降。这表明性能瓶颈可能不是来自于对任务的理解，而是模型内在的推理能力限制。

当研究人员明确告诉模型解决每个谜题所需的具体认知技能时，模型表现略有提升。这就像给学生一份考试，不仅告诉他们问题，还提示他们应该使用哪种解题方法。这种"技能引导"提示的有限效果表明，模型在识别所需技能方面可能不是主要障碍，真正的瓶颈在于如何有效执行这些推理过程。

研究团队还尝试了迭代改进策略，允许模型在首次失败后多次尝试解决同一谜题。结果显示，虽然模型可以通过多次尝试提高表现，但很快会达到性能上限。这表明模型虽然能够从错误中学习一些东西，但仍然存在根本性的推理局限。

四、视觉重要吗？语言就足够了？

为了进一步理解视觉感知对谜题解决能力的影响，研究人员设计了一个实验，用详细的文本描述替代谜题图像。结果非常有启发性：推理模型（特别是o4-mini）在失去直接视觉输入后表现显著下降，而较小的模型如Qwen2.5-VL在使用详细描述时反而略有改善。

这一发现揭示了视觉语言模型，特别是推理模型，在解码过程中可能依赖对视觉内容的迭代检查。就像人类在解决复杂谜题时，会反复查看图像的不同部分，寻找线索和模式一样。当模型失去这种直接视觉访问能力时，其推理过程受到显著影响。

五、基础视觉模型的表现如何？

除了测试完整的视觉语言模型外，研究人员还评估了底层视觉对比模型（如CLIP和SigLIP）在检索正确答案方面的表现。这些模型通常作为视觉语言模型的特征提取器。

结果显示，模型架构设计对性能有显著影响。尽管MobileCLIP以效率为重点，但由于其底层数据分布（DataCompDR数据集），它表现出色。SigLIP 2和TULIP都包含显式视觉重建目标，这可能导致它们在任务上表现良好。

模型规模和分块大小也驱动了性能，较大的规模（L、GOPT、So400m）和较小的分块大小（B16 vs B32）通常产生更好的指标，表明更精细的标记化有助于视觉特征表示。有趣的是，对于SigLIP 2系列，将分辨率提高到256以上并没有一致改善指标，有时在384和512分辨率下反而略有下降，这表明视觉文字谜不需要高保真度的视觉编码，而是需要更灵活的潜在空间。

六、研究意义与未来方向

这项研究不仅揭示了当前视觉语言模型在解决视觉文字谜方面的能力和局限性，还提出了几个重要的未来研究方向。

首先，模型在理解否定、解释视觉隐喻以及超越简单感知任务进行更深层次抽象推理方面的局限性需要进一步研究。其次，探索迭代改进的极限以及缩小意识与执行之间的差距至关重要。最后，理解在推理过程中对视觉内容的迭代检查如何影响下游性能也是一个关键问题，特别是考虑到研究观察到的推理模型对直接视觉访问的重要性。

这项研究的局限性也值得注意。由于所有谜题都是手工生成和注释的，数据集相对较小（仅432个样本），无法详尽探索所有可能的类别。此外，谜题全部是英语，未探索其他语言的视觉文字谜。研究也在很大程度上依赖于表现良好的GPT模型进行分析，这可能使发现在某种程度上特定于OpenAI模型。

总的来说，这项研究表明，虽然视觉语言模型在感知任务或涉及更直接、学习到的映射的任务上表现较强，但在需要更深层次抽象的任务上仍然较弱。这种差距提醒我们，尽管AI在某些方面取得了令人印象深刻的进步，但在真正理解人类创造的视觉和语言游戏方面仍有很长的路要走。

解决这些挑战对于开发能够在多模态理解方面展现更人类化、更稳健和更通用能力的视觉语言模型至关重要，这不仅有助于解决视觉谜题，还能应用于现实世界中的各种应用。