当AI"看图说话"时，它真的在"看"吗？——中国科学院自动化研究所揭示多模态推理的致命盲区

这项由中国科学院自动化研究所认知与决策智能复杂系统重点实验室、中国科学院大学人工智能学院联合完成的研究，于2026年6月发表，论文编号为arXiv:2606.22565。感兴趣的读者可以通过该编号在arXiv平台查询完整论文。

**一道让AI集体失灵的送分题**

现在有一道你可能觉得很简单的题目：数一数这张图片里有多少辆玩具车。对人类来说，扫一眼就能搞定。但如果给一个被誉为"会思考"的顶尖AI加上"先想想再回答"的指令，它反而可能给出错误答案。

这个反常现象，正是这项研究的起点。

在AI领域，有一种被寄予厚望的技术叫做"链式推理"（Chain-of-Thought，简称CoT）。顾名思义，就是让AI在给出最终答案之前，先像人类解题一样把中间步骤一步步写出来，形成一条思维链条。这项技术在文字类任务上的成效有目共睹——让AI解数学题时先列式子再计算，准确率会大幅提升。

于是，研究者们自然而然地想：如果把这套"先想后答"的方法搬到需要同时理解图片和文字的任务上，效果会不会同样惊艳？毕竟，真实世界中的AI应用——读科学图表、解几何题、理解日常场景——几乎没有哪个是纯文字的，图片信息至关重要。

这项研究的价值，正在于它系统性地回答了这个问题。研究团队用14个不需要特殊推理能力的通用AI模型和8个专门强化了推理能力的模型，跨越12种不同类型的任务，做了一次大规模的"体检"。体检结果揭示了一个令人深思的核心问题：这些被称为"多模态推理"的AI，在处理图片信息时，究竟是在真正地"看"，还是只是在自欺欺人地"说"？

**一、链式推理是万能钥匙吗？不，它更像一把挑剔的钥匙**

先来理解一下"多模态"这个词。"模态"可以理解为信息的类型，文字是一种模态，图片是另一种模态。能同时处理图片和文字的AI，就叫多模态大模型（MLLM）。

研究团队把测试任务分成了两大类：感知类任务和推理类任务。感知类任务，更像是考眼力，比如"找出图中穿粉色衬衫的人在哪个位置""图片里有多少个苹果""这张图里有没有写着某个字"。推理类任务，则更像是考脑力，需要在看懂图之后进行多步骤的逻辑计算，比如根据几何图形求角度、分析科学图表得出结论、从多张图片中比较共同规律。

给这些任务加上"先想后答"的链式推理，结果出现了明显的分化。

对于推理类任务，链式推理表现出了明显优势。数学推理平均提升了6.1个百分点，科学推理提升了2.9个百分点，涉及多张图片的综合推理则提升了4.9个百分点。道理不难理解：数学和科学问题本来就需要一步步推导，让AI把推导过程明确写出来，相当于强制它走上正确的解题路径，就像要求学生做题必须写步骤一样，结果自然更好。

然而，当链式推理被用在感知类任务上时，画风突变。视觉定位任务（即"找出图中某个物体在哪里"）的平均准确率下降了4.6个百分点，知识性问答下降了3.3个百分点，数物体数量的任务更是下降了4.8个百分点。

为什么"多想"反而会变差？一个直观的解释是：对于数数这类任务，答案本来就直接写在图里，AI扫一眼就能给出正确答案。但如果强迫它先"深思熟虑"，它反而可能在脑子里绕了一大圈，最后自乱阵脚。就好比你本来能一眼认出自己的手机，但如果有人非要你先描述一遍手机的每个细节再认，你反而可能越描述越困惑。

研究还发现，对于逻辑推理和算法推理这类任务，链式推理的效果高度依赖模型本身的规模。规模较大的模型能从中受益，但规模较小的模型不仅没有提升，有时反而表现变差。这就像不同水平的学生面对"写解题过程"的要求：学霸因为有清晰的思路，写出来更有助于检验；而基础薄弱的学生，写推理过程只会暴露更多漏洞，反而失分。

**二、"开了挂"的推理模型，真的就无敌了吗？**

既然普通AI加上链式推理的效果好坏参半，那么专门经过训练、天生就擅长"慢慢想"的推理模型呢？

目前，研究者训练推理模型的主流方法叫做RLVR（基于可验证奖励的强化学习）。简单来说，就是给AI反复做题，每道题对了就给奖励，错了就扣分，让它通过大量试错逐渐学会正确的推理策略，最终能生成更长、更复杂、有自我检验能力的思维链。这套方法在纯文字的推理任务上效果显著，DeepSeek-R1等知名模型正是靠它横空出世。

研究团队测试了五个开源的多模态推理模型，并与其对应的普通基础版本进行了对比。结果多少令人失望：这些开源推理模型在各类任务上的平均提升幅度相当有限，有的甚至在某些任务上比普通版本还要差。

原因何在？研究团队给出了一个关键的解释：这些开源模型在训练时几乎清一色地使用数学题作为训练素材，训练来训练去，它们的"拿手好戏"越来越局限于数学推理，而对其他类型的任务——比如理解空间关系、分析图像模式——则关注甚少。

这就像一个学生每天只刷数学题备考，到了考试却发现试卷里有语文、有历史、有地理。他的数学可能考得很好，但整体成绩平平，甚至可能因为复习时间太偏，语文反而退步了。

相比之下，谷歌旗下的商业推理模型Gemini-2.0-Flash-Thinking就展现出了截然不同的面貌。它在各类推理任务上都取得了实质性的提升，尤其是在算法推理任务上，进步幅度高达24.7个百分点。这说明商业公司在训练推理模型时，使用了更加多样化的任务类型，没有将重心完全押注在数学上。

**三、"眼睛"和"嘴巴"的背离：Look Light, Think Heavy**

到目前为止，研究已经发现了链式推理不是万能的，现有开源推理模型有明显局限。但这项研究最引人深思的发现，是对"为什么"的剖析。

研究团队设计了一套巧妙的"探针"实验，专门用来把"视觉推理能力"和"文字推理能力"拆开单独检验。

以一道几何题为例：图上有两个三角形，问题是求某条边的长度。这道题可以被拆成两个子问题。一个是视觉探针：这两个三角形是什么关系（比如相似三角形）？这个子问题必须看图才能回答，无法靠文字描述推导出来。另一个是文字探针：已知这两个三角形是相似三角形，设相关边长为y，请用方程求解y的值。这个子问题完全不需要看图，纯粹是数学计算。

结果显示，在视觉探针上，AI的平均得分比在文字探针上低了足足20个百分点。也就是说，同样是解一道图形题，"从图里把有用信息提取出来"这一步，比"拿着提取好的信息做计算"这一步，难度要高得多。

更关键的是，研究发现，一个AI在视觉探针上的得分，与它在原始完整题目上的最终得分相关性更高。换句话说，能不能看懂图、从图里推理出关键信息，几乎决定了能不能解出整道题。文字计算能力强固然重要，但如果视觉推理这道关卡过不了，后面的计算再厉害也无从施展。

这个发现有一个形象的名字，研究者把它叫做"Look Light, Think Heavy"——轻描淡写地看，大费周章地想。

为了更深入地理解这个现象，研究团队进一步分析了AI在生成完整推理过程时的两种行为：视觉反思（对图片信息产生疑问、重新审视图片）和语言反思（对自己的推理步骤产生疑问、修正逻辑）。

研究者把每个AI生成的完整推理过程按照顺序平均分成十段，逐段分析其中包含多少视觉反思和多少语言反思。结果呈现出一个非常清晰的分叉模式：语言反思随着推理进程先升后降，大约在推理进行到一半时达到顶峰，就像一个思考者在分析到关键节点时会停下来反问"我的逻辑有没有问题"；而视觉反思则从推理一开始就一路走低，随着推理的深入，AI对图片的关注越来越少，到了推理后期几乎完全不再"回头看图"。

这个现象背后有什么机制？研究团队通过分析AI内部的注意力权重（可以理解为AI在思考时对不同信息的"关注程度打分"）找到了答案。当AI生成越来越长的推理文字时，它对已经写出来的推理文字本身的关注度越来越高，而对原始图片的关注度则越来越低，形成了一种"推理文字反客为主"的局面。

一个直观的类比：假设你在画一幅按图临摹的画，本来应该一边看参考图一边画。但如果你画着画着开始越来越专注于自己画布上的线条，反复思考"这一笔和上一笔衔接得好不好"，却越来越少抬头看参考图，那么到了后期，你画出来的东西可能已经和原图相差甚远，因为你的注意力被自己的画布而非原图占据了。

这正是AI在长篇链式推理中发生的事：它的注意力被自己生成的推理文字所吸引，逐渐遗忘了原始图片。

**四、当关键信息被遮住，AI还知道自己不知道吗？**

研究团队还设计了一个颇为犀利的验证实验：故意用马赛克遮住图片中的关键信息，然后观察AI的反应。

这个实验的逻辑在于：一个真正具备"深度视觉内省"能力的AI，应该能意识到"图片里的关键信息被遮住了，我看不清，所以我无法回答这个问题"，并主动拒绝给出答案。这就像一个诚实的法医检验员，如果关键证据被污染看不清楚，他会如实说明"证据不足，无法得出结论"，而不是凭空捏造一个答案。

实验结果显示，当关键信息被遮住时，AI确实产生了更多的视觉反思（表达困惑、试图重新理解图片）和语言反思（质疑自己的推理方向），说明它感知到了"有什么地方不对劲"。然而，尽管产生了这些反思，这些AI模型几乎都仍然坚持给出了某个答案，而非选择放弃作答。

换句话说，它知道自己可能看错了，但还是继续往下说，像一个明明看不清楚路牌却坚持按猜测的方向开车的司机。这说明当前AI的视觉反思是浅层的——它能察觉异常，却没有能力将这种察觉转化为实质性的行动改变。

**五、路在何方：让AI真正学会"回头看图"**

研究团队并不满足于揭示问题，还指出了两条颇具潜力的解决方向。

第一条路是让AI学会在推理过程中主动进行视觉回溯。研究者展示了一个OpenAI的o3模型的案例：当图片中的角度标注被遮住时，o3没有将就着作答，而是在推理过程中主动放大图片的遮挡区域，仔细审视，最终判断"图片信息不足以支撑解答，拒绝作答"。这种主动"回头看图、看不清就说看不清"的能力，正是当前大多数多模态推理模型所欠缺的。

第二条路是为AI配备视觉工具箱。研究者展示了另一个案例：面对一道复杂的八皇后棋盘问题，AI首先调用了图像识别工具，精确定位了棋盘上每个棋子的位置，得到坐标数据后，再调用算法代码完成求解。这种"眼睛不够用就借助工具帮眼睛"的策略，能够从根本上弥补AI纯靠自身视觉能力的局限。

当然，研究也坦诚地指出，即使是强大如GPT-4.1这样的商业模型，在提示它使用工具辅助推理时，它倾向于使用数字计算器等文字类工具，而非真正的图像理解工具，说明"视觉工具使用意识"本身也需要专门的培养。

**六、研究的局限与坦诚**

这项研究诚实地承认了自身的边界。由于计算资源有限，研究每种任务只选取了一到三个数据集，每个数据集抽取约200个样本，参与测试的AI模型共22个（14个通用模型+8个推理模型）。这个规模已经覆盖了足够广的范围，但不能保证涵盖所有情况的多样性。此外，研究目前聚焦于静态图片，没有涉及视频理解这一更复杂的场景，这将是未来工作的扩展方向。

---

归根结底，这项研究告诉我们的是：让AI"先想后说"并不总是好主意，关键取决于你让它处理什么类型的问题。对于需要多步推导的数学和科学问题，"慢慢想"确实有用；但对于需要直接读取图片信息的感知类任务，多余的推理步骤反而是干扰。

更深层的发现是，当前的多模态推理AI有一个根本性的"偷懒"倾向：它们越推理，越会把注意力从原始图片上移走，转而沉浸在自己产生的文字里。外表上看起来思维严谨、推理周密，实际上早已和图片信息渐行渐远。这种"嘴上说得头头是道、眼睛早已不看图"的状态，便是研究者所说的"Look Light, Think Heavy"——轻视觉，重语言，是当前多模态推理最核心的缺陷。

要真正让AI理解图片，不只是让它生成更多推理文字，而是要让它在整个推理过程中始终保持对图片的深度关注，甚至在察觉图片信息不足时，能够诚实地说出"我看不清楚，我不确定"。这对AI来说，是比做数学题难得多的挑战。

有兴趣深入了解这项研究的读者，可以通过arXiv编号2606.22565查阅完整论文。

---

Q&A

Q1：链式推理（CoT）为什么在数数物体、视觉定位这类任务上反而让AI变差？

A：因为数物体、找位置这类感知任务的答案本来就直接写在图片里，AI直接看一眼就能答对。但如果强迫它先"深思熟虑"，它在推理过程中反而会把注意力从图片上移开，沉浸在自己生成的文字推理里，越想越乱，最终给出错误答案。就像你一眼认得出自己的手机，但如果被要求先详细描述手机每个特征再认，反而可能越描述越犯糊涂。

Q2：开源多模态推理模型为什么在广泛任务上的提升幅度有限？

A：主要原因是这些开源模型在训练时几乎只使用数学题作为素材，导致它们的推理能力高度集中于数学领域，对于视觉定位、图像模式识别、空间关系理解等其他类型的任务，能力提升有限，有时甚至会退步。相比之下，训练素材更多样化的商业模型（如Gemini-2.0-Flash-Thinking）则在多种推理任务上都取得了显著提升。

Q3："Look Light, Think Heavy"现象在多模态推理模型中具体是怎么体现的？

A：研究者把AI的完整推理过程分成十段逐段分析，发现了一个规律：AI对自身推理逻辑的反思（语言反思）会随着推理进程先增后减，在中途达到顶峰；而对图片信息的重新审视（视觉反思）则从推理一开始就持续下降，到推理后期几乎完全消失。内部的注意力数据也证实了这一点：随着推理文字越来越长，AI对这些文字本身的关注度越来越高，对原始图片的关注度越来越低，形成了"推理文字反客为主"的局面。