当AI学会"提问"：马里兰大学等机构联合研究让视觉语言模型从被动回答者进化为主动提问者

这项由马里兰大学帕克分校、加州大学洛杉矶分校、北京大学及阿布扎比穆罕默德·本·扎耶德人工智能大学联合完成的研究，以预印本形式发表于2026年6月，论文编号为arXiv:2606.13929。感兴趣的读者可通过该编号查阅完整论文。

教室里，老师提问，学生回答——这是我们最熟悉的学习模式。然而，真正有深度的思维者往往不只是好的答题机器，他们还能提出好问题。对AI来说也是如此。当前绝大多数视觉语言模型（就是那种既能看图又能聊天的AI）几乎全都在扮演"回答者"的角色：你丢给它一张图片和一个问题，它告诉你答案。但如果反过来，让AI自己看着图片提出有深度的问题，结果会怎样？这支来自多所顶尖院校的研究团队就做了这样一件事，而他们的发现，正是这篇文章要讲述的故事。

故事的核心问题是：AI能不能自己训练自己，从一个只会答题的学生，进化成一个会问出好问题的思考者？而且，整个进化过程不需要任何人类老师或外部更强大AI的帮助。

一、为什么"提问能力"值得被认真对待

在正式进入研究细节之前，有必要先理解为什么"会提问"这件事本身是有价值的。

回到教室的比喻。一个只会背答案的学生，和一个能问出"为什么太阳从东边升起而不是西边"的学生，谁的理解更深？显然是后者。好的问题本身就说明提问者真正观察了眼前的事物，并在脑子里做了一番思考。对AI系统来说同样如此：如果一个AI能针对一张图片提出精准、有深度、需要仔细观察才能回答的问题，那它对图像内容的理解就远超那些只能接受提问的AI。

更进一步，好的问题还有"放大效应"。当AI提出更好的问题，这些问题又可以反过来成为训练素材，帮助AI更好地理解图像、更好地回答问题。这就形成了一个良性循环——问题质量越高，训练效果越好，训练后的AI又能提出更好的问题。

然而，现有的视觉问题生成方法（Visual Question Generation，简称VQG）一直被一个根本性瓶颈卡住：它们依赖的是固定的、静态的数据集。这就好比一个学生只能从一本固定的题库里学习提问，提来提去都是那几个模板："这张图片里有什么颜色的物体？""图中的人在做什么？"这类问题安全但无聊，且往往不需要对图片进行深入观察。一旦题库定死了，学生的提问水平也就到头了。

研究团队的核心洞察在于：不需要依赖这本固定题库，AI完全可以自己给自己出更好的题目。

二、自我进化的提问者：整体框架是什么

这套框架的核心思想，可以用一个"工匠打磨"的比喻来理解。

一个铁匠在打造宝剑时，不会只打一锤子就完事。他会先锻打出一个粗糙的形状（提案阶段），然后用锉刀和磨石反复打磨（改写阶段），再严格检查哪些部分质量合格、哪些需要剔除（筛选阶段），最后用合格的宝剑来训练下一批铁匠，而这些铁匠打出的剑又成为新一轮打磨的起点（迭代循环）。

研究团队设计的框架分为两个主要阶段。第一阶段是"自我监督数据构建"：模型提出候选问题，把这些问题改写成更难、更贴近视觉内容的版本，再根据能否从图片回答、是否有视觉依据、是否比原版更难等标准进行筛选，最终保留高质量的问题-答案对。第二阶段是"双格式训练"：用筛选出来的数据同时训练模型的两种能力——既训练它看图提问（QG格式），也训练它给定图片和问题后回答（QA格式），确保提问能力提升的同时，回答能力不打折扣。

整个过程结束后，训练好的新模型会被重新用作下一轮的"提问候选人"，如此往复，形成一个闭环的自我改进循环。

三、三步炼剑：提案、改写与筛选

现在，把镜头拉近，看看这三个关键步骤是如何运作的。

第一步是问题提案。给定一张没有任何标注的图片，当前版本的模型（Mt，读作"M-t"，代表第t轮的模型）会被要求从多个不同的视觉角度生成候选问题。这里有一个聪明的设计：研究团队不是让模型随便问，而是给它提供了多种"视觉意图"的提示，比如属性识别、空间关系、场景理解、有依据的推理等。每种视觉意图就像给铁匠指定了不同的打造方向，这样就能产生覆盖图片各方面的多样化候选问题，而不是一窝蜂地问同一类东西。

每提出一个问题，模型同时也生成对应的答案，形成一批候选的"问题-答案-图片"三元组，等待下一步处理。

第二步是问题改写。这一步有一个微妙但极其重要的设计决策：改写工作不由当前轮次的模型（Mt）完成，而是交给最初的基础模型（M0）来做。

为什么要这样区分？研究团队的理由非常清晰。如果让同一个模型既提案又改写，就好比让一个人既写初稿又自我审稿，往往会陷入自我重复，两个步骤都落入同一个思维定势。引入固定的基础模型M0来负责改写，相当于引入了一个不同视角的"编辑"，能给候选问题带来新的变化和多样性，同时又不需要任何外部的专家或更强大的AI介入。

改写时，M0会根据明确的指令把候选问题变得更难：可能是增加视觉检索难度（让答案藏在图片更不显眼的地方），也可能是增加需要对比多个区域的推理步骤，或者要求更复杂的空间关系判断。改写后，M0还会为新问题生成对应的答案。

第三步是问题筛选。改写后的候选库里质量参差不齐，需要一道严格的质检工序。筛选的标准围绕三个核心问题展开：改写后的问题能否从图片中找到明确答案？它是否有真实的视觉依据而不是靠常识就能回答？它是否比原始候选问题在感知难度或推理难度上有所提升？

只有同时通过这三项检验的问题-答案对，才会被保留进入训练数据集。其余的全部丢弃。这个筛选机制是防止AI训练崩坏的关键防线——如果不加筛选，AI很可能会强化自己原本的偏见，越训越差。

四、双格式训练：让AI既会问又会答

筛选出高质量数据之后，训练阶段同样有一个精心设计的细节。

研究团队采用了"双格式训练"策略，同时使用两种类型的训练样本。QG格式（Question Generation，问题生成格式）：输入只有图片，要求模型输出既包含问题也包含答案，训练的是"看图提问"的能力。QA格式（Question Answering，问题回答格式）：输入是图片加上问题，要求模型只输出答案，训练的是"给定问题后回答"的传统能力。

如果只用QG格式训练，模型的提问能力会提升，但回答能力可能下降，因为它不再经常练习"只回答"这件事。如果只用QA格式，则反之。把两者混合在一起，就能在提升提问能力的同时，用QA格式的训练数据作为"锚点"，防止回答能力跑偏。

实验数据有力地支持了这一设计：在三种骨干模型上，QA+QG联合训练均取得了比纯QA或纯QG训练更好的综合表现，既保住了回答质量，又显著提升了提问质量。

五、如何评估一个问题"问得好不好"

评估问题的好坏是整个研究体系里另一个容易被忽视但极为重要的部分。

传统的AI问题评估方式非常粗暴：把生成的问题和一个标准答案对比，或者用BLEU、METEOR这类指标衡量文字相似度。这就好比评价一道菜"好不好"只看它的摆盘照片是否和菜谱封面像，而不去尝味道。一个问题哪怕写得很流畅，也可能根本不需要观察图片就能回答，这种问题对于训练视觉AI毫无价值。

研究团队因此设计了一套专门针对视觉问题的评估协议，从两个层次衡量问题质量。

在单个问题层次，评估分为"感知难度"和"推理难度"两大维度。感知难度关注的是"要回答这个问题，需要在图片里找到什么样的视觉证据"，细分为两个子维度：一是视觉搜索难度，即答案的视觉依据是显眼易找还是隐蔽难寻；二是视觉证据覆盖范围，即问题所依赖的视觉信息是集中在一个明显物体上，还是需要兼顾图片的多个区域和属性。推理难度关注的是"找到视觉证据后，需要做多复杂的思考才能得出答案"，同样细分为两个子维度：视觉情境推理，即是否需要从可见线索推断场景含义、物体功能或事件因果；视觉空间推理，即是否需要判断图片中元素之间的位置关系、距离、遮挡或布局结构。

在问题集层次，评估一个额外的维度：提问多样性。这里的逻辑是：一个针对同一张图片生成的问题集，即便每个问题单独来看都还不错，但如果所有问题本质上问的都是同一件事（比如五个问题都在问图里有什么颜色），整体价值就大打折扣。多样性评分通过计算问题集内各问题在语义上的平均距离来衡量，距离越大说明问题之间越不重复，覆盖的视觉维度越广。

具体的评分实现上，单问题的四个维度由GPT-5.4担任"考官"，它会看着图片和问题，依照详细的评分细则给出0到5分的评分，再归一化到0到1之间。多样性则用Qwen3-Embedding-4B模型把问题编码成向量，计算问题间的余弦距离，余弦距离越大代表语义差异越大、多样性越高。

六、实验结果：进化真的发生了

研究团队在三个不同规模的骨干模型上验证了这套框架：Qwen2.5-VL-3B-Instruct（30亿参数）、Qwen2.5-VL-7B-Instruct（70亿参数）和Qwen3VL-4B-Instruct（40亿参数）。训练时每轮使用10000条经过筛选的自生成问答对，评估在100张来自CVBench数据集的多样化自然图片上进行。

结果相当清晰。以Qwen2.5-VL-3B为例，基础模型在五个QG维度上的综合平均分只有0.25，经过第一轮自我进化训练后跃升至0.45，第二轮进一步提升至0.50。换算成相对提升幅度，两轮下来综合QG得分提升了整整82%。其他两个骨干模型也呈现出类似的持续提升趋势，包括本来起点就已较高的Qwen3VL-4B，也从0.36提升到了0.54再到0.57，说明这套框架对强模型同样有效，并非只对弱模型有改善空间。

在回答能力方面，研究团队在四个标准视觉问答基准上（CVBench、SparBench、VStarBench、RealWorldQA）追踪了模型的准确率。结果显示，提问能力的大幅提升并未以牺牲回答能力为代价——QA平均准确率在各模型上基本保持稳定，部分模型甚至还有小幅提升。

七、各组件的价值：拆开来看哪步最关键

在整体框架有效之后，研究团队进一步做了一系列"拆解实验"，就像一道菜里单独品尝每种调料，弄清楚哪个环节贡献了多少。

关于改写和筛选的价值，实验对比了四种情形：不加任何改写和筛选直接用自生成数据训练、只加改写不加筛选、两者都加。基础模型的QG综合平均分是0.25，仅用原始自生成数据训练后提升到0.35，加入改写后进一步到0.40，完整流程（改写加筛选）则达到0.45。这说明每个环节都有独立贡献，改写拓展了候选问题的质量上限，筛选则确保只有真正高质量的数据进入训练，两者缺一不可。

关于自生成数据与原始数据集的比较，实验在相同的图片来源（SAT数据集）和相同的训练预算（10000条数据）下，对比了直接使用SAT原有标注数据与使用自生成数据的效果。结果耐人寻味：直接用SAT原有标注虽然在视觉搜索难度上略有改善，但导致QA平均准确率从60.49%跌落至57.46%，推理和多样性维度也表现更差。而自生成数据不仅在几乎所有QG维度上超越了SAT原有标注，还把QA平均准确率提升到了62.26%。这意味着在有限预算下，经过精心改写和筛选的自生成数据，是比直接从现有大型数据集中随机抽取数据更有效的训练信号。

关于更好的问题能否帮助下游任务，研究团队还做了一个颇为有趣的实验：比较用基础模型提的问题和用改进后模型提的问题来训练的效果，两组数据的答案都统一由GPT-5.4生成，以此控制答案质量的干扰，只看问题质量本身的影响。结论是，用改进后模型提的问题训练，QA平均准确率从61.90%提升到63.32%，在CVBench-3D子集上的提升尤为显著（69.25%升至75.58%）。这说明更好的问题不仅是目的，也是手段——问题质量的提升，能为整个AI系统带来更好的训练效果。

八、与同类方法的比较：和LOVA3的正面交锋

为了把研究放在更大的背景下评估，研究团队还将自己的方法与LOVA3进行了正面比较。LOVA3是近期一个同样关注让AI学会提问的研究，但它依赖人类标注和更强大的外部AI（如GPT）提供监督信号，而本研究完全依靠模型自身。

在相同的评估协议下，LOVA3（基于LLaVA-v1.5-7B骨干，参数量更大）的QG综合平均分为0.325，而本研究基于Qwen2.5-VL-3B骨干（参数量更小）的第一轮模型已经达到0.450，第二轮进一步提升到0.501。其中推理类维度的差距最为突出：视觉情境推理得分从LOVA3的0.259跃升到本研究第一轮的0.553，几乎翻倍。这说明完全自主的自我进化框架，在问题质量方面不仅不输依赖外部监督的方法，甚至还能超越它。

九、从定性角度看：问题是怎么变好的

数字之外，定性的例子往往更能说明问题。研究团队展示了同一张图片在三个不同训练阶段（基础模型M0、第一轮M1、第二轮M2）分别生成的问题，几组对比都颇能说明问题。

以一张有壁炉的室内图片为例，基础模型问的是"图片中壁炉是什么颜色的"，第一轮模型升级为"壁炉上面放了什么东西"，第二轮模型则进化到"放在壁炉上的物体有没有出现在镜子的倒影里"。最后这个问题需要同时找到壁炉、壁炉上的物体、画面中的镜子，以及判断物体是否在镜子的可见范围内——这才是真正需要仔细检查图片才能回答的问题。

另一张图片是一个带字母字毯的儿童活动室，基础模型问"图片中三轮车的颜色和样式是什么"，第一轮进化为"地板上彩色字母块的目的是什么"，第二轮则提出"红色椅子和黄色椅子，哪一把更适合孩子进行绘画活动"——这个问题需要观察两把椅子的位置、桌面空间、周围环境，再结合对儿童绘画活动所需条件的推断，是典型的多步骤视觉推理问题。

归根结底，这个研究在现实层面最重要的意义并不局限于"AI问题问得更好"这件事本身。它示范了一种更广泛的可能性：AI系统不需要永远依赖人类标注员或更强大的外部AI来获得改进，在特定条件下，它完全可以自己给自己设计更好的训练素材，并在这个过程中持续成长。

对于普通人来说，这意味着未来的AI助手可能更懂得从你的问题背后挖掘你真正想要了解的东西，也可能在帮你分析一张照片或视频时，主动发现那些你自己都没注意到的关键细节。当然，任何技术都有局限，研究团队也坦承目前的筛选机制还不能完全捕捉更细微的视觉依据质量，而且整个提案-改写-筛选-训练的迭代流程计算代价不低。这些都是未来可以继续打磨的方向。

不过，这把"宝剑"已经锋芒初露。有兴趣深入了解的读者，可以通过arXiv编号2606.13929查阅完整论文，亲自感受这套自我进化框架的全貌。

Q&A

Q1：自我进化视觉提问框架的训练过程不需要任何人工标注吗？

A：基本上是的。这套框架最大的特点就是全程使用模型自己生成的数据来训练自己，不需要人类标注员为问题打分，也不需要调用GPT等更强大的外部AI来提供监督信号。模型既是出题者，也是改写者和筛选者。唯一用到外部AI的地方是评估环节——研究团队用GPT-5.4来评分，但这只是测量效果用的，不参与训练本身。

Q2：双格式训练中QG格式和QA格式分别在训练什么？

A：QG格式（问题生成格式）的输入只有图片，要求模型同时生成问题和答案，核心目标是训练模型"看图提问"的能力。QA格式（问题回答格式）的输入是图片加上问题，模型只需要输出答案，训练的是传统的"回答问题"能力。两种格式混合使用，是为了在提升提问能力的同时，用QA格式作为"锚点"防止模型的回答能力下降。

Q3：自我进化视觉提问框架提升的是问问题的能力，对模型回答问题的准确率有没有负面影响？

A：从实验结果来看，影响非常小，甚至部分情况下反而有提升。研究团队在CVBench、SparBench、VStarBench和RealWorldQA四个标准基准上跟踪了回答准确率，发现经过两轮自我进化训练后，三个骨干模型的QA平均准确率基本保持稳定，Qwen2.5-VL-7B还从65.90%小幅提升到66.90%。这主要得益于双格式训练策略中QA格式数据对回答能力的保护作用。