InternVL3.5：上海AI实验室的多模态AI新突破，让机器像人一样理解图文世界

这项由上海AI实验室InternVL团队开展的研究发表于2024年8月，论文作者包括王维云、高张伟、顾立新等众多研究人员。完整论文可通过GitHub代码库（https://github.com/OpenGVLab/InternVL）和HuggingFace模型库（https://huggingface.co/OpenGVLab/InternVL3_5-241B-A28B）获取。这项研究代表了开源多模态大语言模型领域的重大进展，为普通人理解和使用人工智能技术提供了新的可能性。

当我们看到一张图片时，大脑能够瞬间理解其中的内容，并与文字描述完美结合。比如看到一张猫咪照片，我们不仅知道这是一只猫，还能描述它的颜色、姿态，甚至推测它的心情。但对计算机来说，要达到这种图文并茂的理解能力却异常困难。InternVL3.5的出现，正是为了让机器获得这种类似人类的综合理解能力。

这个项目就像是给计算机配备了一副"智能眼镜"和一个"聪明大脑"。智能眼镜负责观察和分析图像，聪明大脑则负责理解文字和进行推理。但与以往的系统不同，InternVL3.5将这两个部分紧密结合，让它们能够相互协作，就像人类的视觉系统和语言系统天然配合一样。

研究团队面临的最大挑战是如何让机器在处理复杂任务时变得更聪明，同时还要让整个系统运行得更快。这就好比要制造一辆既能跑得快又很省油的汽车。为了解决这个问题，他们开发了三项核心技术：级联强化学习、视觉分辨率路由器和解耦视觉-语言部署。这些技术名称听起来复杂，但本质上就是让系统变得更聪明、更高效的三种方法。

一、级联强化学习：让机器学会像人一样思考

在传统的机器学习中，系统通常采用单一的学习方式，就像一个学生只用一种学习方法来掌握知识。但人类的学习过程往往更加复杂和灵活。我们可能先通过大量练习掌握基础技能，然后在实际应用中不断调整和优化。InternVL3.5的级联强化学习正是模仿了这种人类学习模式。

这个学习过程分为两个阶段，就像烹饪一道复杂菜肴的过程。第一阶段是离线强化学习，好比在家里反复练习刀工和火候控制。在这个阶段，系统使用已有的大量训练数据，通过混合偏好优化技术来学习基础技能。这就像厨师在家里对着菜谱反复练习，掌握各种基本技法。

第二阶段是在线强化学习，就像真正在餐厅里为顾客烹饪。系统开始处理全新的问题，根据实时反馈来调整自己的策略。这个阶段使用了一种叫做GSPO的算法，它能让系统在面对新情况时快速适应和优化。就像经验丰富的厨师能够根据食材的新鲜程度和顾客的特殊要求来调整菜品一样。

这种两阶段学习方法的优势非常明显。与传统的单一学习方式相比，级联强化学习在推理任务上实现了高达16%的性能提升。更重要的是，这种方法具有很好的可扩展性，无论是小型的1B参数模型还是大型的241B参数模型，都能从中受益。

二、视觉分辨率路由器：智能调节图像清晰度

当我们用手机拍照时，系统会自动调节分辨率，在光线充足的环境下使用高分辨率，在光线不足时降低分辨率以提高拍摄成功率。InternVL3.5的视觉分辨率路由器采用了类似的智能调节策略。

传统的视觉处理系统往往对所有图像采用相同的处理方式，这就像用同样的放大镜去观察所有物品，不管是精密的手表零件还是粗糙的石头表面。这种"一刀切"的方式既浪费计算资源，又可能影响处理效果。

视觉分辨率路由器就像一个经验丰富的摄影师，能够根据图像内容的复杂程度来决定需要多高的分辨率。对于内容相对简单的图像，比如纯色背景上的单个物体，系统会自动选择较低的分辨率来处理，这样既能获得准确的结果，又能大大节省计算时间。而对于内容复杂、细节丰富的图像，系统则会自动切换到高分辨率模式，确保不遗漏任何重要信息。

这个过程通过一种叫做视觉一致性学习的技术来实现。系统首先学习如何在不同分辨率下保持输出结果的一致性，然后训练路由器来预测每个图像区域的最适分辨率。结果显示，这项技术能够在几乎不影响性能的前提下，将视觉处理所需的时间缩短50%。

三、解耦视觉-语言部署：让系统运行更高效

在传统的多模态系统中，视觉处理和语言处理通常在同一个处理单元上顺序进行，就像一个人既要负责看图又要负责写文章，只能一项一项地完成。这种方式的问题在于，不同类型的任务对计算资源的需求不同，视觉处理需要强大的并行计算能力，而语言处理更依赖于序列化的推理过程。

解耦视觉-语言部署技术将这两个过程分离开来，就像在工厂里设置了专门的视觉检测车间和文本处理车间。视觉处理部分专门负责分析图像，将结果以紧凑的特征形式传递给语言处理部分。这样，两个部分可以在不同的硬件上并行工作，大大提高了整体效率。

这种设计带来的好处是多方面的。首先，它能够更好地利用不同类型的计算硬件。视觉处理可以在专门优化的图形处理单元上运行，而语言处理则在适合序列计算的处理器上进行。其次，这种分离允许系统根据具体任务来灵活调配资源，比如处理大量图像时可以增加视觉处理的计算资源，而处理长文本时可以将更多资源分配给语言部分。

在实际测试中，解耦视觉-语言部署技术将系统的推理速度提高了4.05倍。更重要的是，这种加速效果随着输入图像分辨率的提高而更加明显，这意味着系统在处理高质量图像时能够获得更大的效率提升。

四、全面的性能表现：接近商业级别

为了验证InternVL3.5的实际能力，研究团队在36个不同的基准测试中进行了全面评估。这些测试覆盖了多模态理解、推理、文本处理和代理任务四个主要方面，就像对一个全能运动员进行全方位的体能测试。

在多模态理解方面，InternVL3.5在处理图文结合任务时表现出色。比如在MMBench测试中，最大的InternVL3.5-241B-A28B模型达到了87.4分，超越了绝大多数开源竞争对手。这意味着系统能够准确理解图像内容，并与文字描述进行恰当的匹配和推理。

推理能力是这个系统最引人注目的特点之一。在MMMU这个多学科推理基准测试中，InternVL3.5-241B-A28B获得了77.7分，而较小的8B模型也达到了73.4分。这个成绩表明系统不仅能够理解图像和文字，还能进行复杂的逻辑推理，就像一个优秀的学生能够综合运用多个学科的知识来解决复杂问题。

在数学推理方面，系统的表现同样令人印象深刻。在MathVista测试中，最大模型获得了82.7分，展现了强大的数学问题解决能力。这意味着系统能够理解几何图形、分析统计图表，并进行相应的数学计算和推理。

五、广泛的应用能力：从文档处理到GUI交互

InternVL3.5的能力远不止于基础的图文理解，它在多个专业领域都展现出了实用价值。在文档理解方面，系统能够处理各种复杂的文档格式，包括表格、图表、扫描文档等。就像一个经验丰富的办公室助手，能够快速从各种文档中提取关键信息并进行整理分析。

在OCR任务中，InternVL3.5展现了优秀的文字识别能力。无论是印刷体还是手写体，无论是规整的表格还是复杂的图表，系统都能准确识别其中的文字内容。这种能力使其在处理现实世界的文档时具有很高的实用价值。

特别值得关注的是系统在GUI交互方面的能力。GUI交互就是与图形用户界面的交互，比如点击按钮、填写表单、浏览网页等。InternVL3.5能够理解屏幕上的各种界面元素，并根据指令执行相应的操作。在ScreenSpot测试中，最大模型达到了89.8分，显示出了强大的界面理解和操作能力。

这种GUI交互能力开辟了人工智能辅助办公的新可能性。系统可以帮助用户自动执行重复性的界面操作，比如批量处理文件、填写表格、浏览和整理信息等。这就像有了一个永不疲倦的数字助手，能够按照指令完成各种计算机操作任务。

六、多语言和视频理解：全球化的智能助手

在全球化的今天，多语言能力是人工智能系统的重要特征。InternVL3.5在多语言理解方面表现出色，能够处理英语、中文、葡萄牙语、阿拉伯语、土耳其语和俄语等多种语言。这就像一个博学的翻译，不仅能理解不同语言的文字，还能理解配图的含义，并将两者结合起来进行准确的理解和回应。

视频理解是另一个重要的应用领域。与静态图像相比，视频包含了时间维度的信息，理解起来更加复杂。InternVL3.5能够分析视频内容，理解其中的动作、情节和时间序列关系。在多个视频理解基准测试中，系统都展现了良好的性能，这为视频内容分析、自动字幕生成、视频摘要等应用提供了技术基础。

系统还具备处理多图像任务的能力。在现实应用中，我们经常需要同时分析多张相关图像，比如比较不同角度的照片、分析图像序列的变化等。InternVL3.5能够同时处理多张图像，找出它们之间的关联和差异，这种能力在图像分析、质量控制、医疗诊断等领域具有重要价值。

七、技术创新的深层价值：让AI更贴近人类

InternVL3.5的技术创新不仅体现在性能数字上，更重要的是它代表了人工智能发展的一个重要方向：让机器的思维方式更接近人类。级联强化学习模仿了人类从基础练习到实际应用的学习过程，视觉分辨率路由器体现了人类视觉系统的自适应特性，解耦部署则反映了人类大脑不同功能区域协同工作的模式。

这种设计理念的转变意义深远。传统的人工智能系统往往追求在特定任务上的极致性能，而忽视了系统的通用性和适应性。InternVL3.5则更加注重构建一个能够灵活适应不同任务的通用智能系统，这更符合我们对人工智能助手的期望。

从技术发展的角度来看，InternVL3.5的开源特性也具有重要意义。与商业化的封闭系统不同，开源意味着全世界的研究者和开发者都可以基于这个系统进行进一步的研究和应用开发。这种开放式的发展模式有助于加速整个领域的技术进步，同时也让更多人能够享受到先进AI技术带来的便利。

八、实际应用前景：改变我们的工作和生活

InternVL3.5的能力预示着人工智能在实际应用中的巨大潜力。在教育领域，这种系统可以成为智能导师，不仅能够理解学生的问题，还能分析相关的图表、实验结果等视觉信息，提供更加全面和准确的解答。

在医疗健康领域，系统的图像理解和推理能力可以辅助医生分析医学影像，识别异常情况，甚至提供初步的诊断建议。当然，这类应用需要严格的安全验证和监管，但技术基础已经初步具备。

在商业应用中，InternVL3.5可以成为智能客服助手，不仅能理解客户的文字咨询，还能分析客户上传的图片，比如产品照片、问题截图等，提供更加精准的服务。这将大大提升客服效率和用户体验。

对于内容创作者来说，这种系统可以成为强大的创作助手。它能够分析图片内容，生成相应的文字描述，或者根据文字要求找到合适的图片素材。这在新闻报道、社交媒体内容制作、广告设计等领域都有广泛的应用前景。

九、挑战与发展方向：向更高智能迈进

尽管InternVL3.5取得了显著的进展，但在通向更高级人工智能的路上仍然面临诸多挑战。首先是计算资源的需求。虽然系统已经通过各种优化技术提高了效率，但大规模模型仍然需要相当多的计算资源，这限制了其在普通设备上的部署。

其次是理解的深度问题。虽然系统能够处理复杂的多模态任务，但它的理解更多是基于模式识别和统计关联，而不是真正的概念理解。这意味着在面对一些需要常识推理或创造性思维的任务时，系统可能仍然存在局限性。

另一个挑战是安全性和可靠性。随着AI系统能力的增强，确保其行为的安全性和可预测性变得越来越重要。特别是在涉及重要决策或敏感信息的应用场景中，需要建立完善的安全机制和监督体系。

为了应对这些挑战，研究团队正在多个方向上继续努力。在技术层面，他们致力于开发更高效的模型架构，减少计算资源需求的同时提升性能。在理解能力方面，研究重点转向如何让系统获得更深层次的概念理解和推理能力。在安全性方面，则需要建立更完善的测试和验证机制。

十、对未来的展望：智能化生活的新篇章

InternVL3.5的发展代表了人工智能技术的一个重要里程碑，但它更像是通向未来智能化生活的一扇门。随着技术的不断发展和完善，我们可以期待看到更加智能、更加贴近人类需求的AI系统。

在不远的将来，这类系统可能会成为我们日常生活中不可或缺的智能助手。它们不仅能够理解我们的语言和图像，还能理解我们的意图和情感，提供更加个性化和贴心的服务。比如，当你在规划旅行时，AI助手能够分析你上传的风景照片，理解你的喜好，并推荐类似风格的旅游目的地。

在工作场景中，这种智能系统将极大地提升工作效率。设计师可以通过简单的描述让AI生成设计方案，研究人员可以让AI帮助分析实验数据和文献，教师可以让AI协助制作教学材料。这不是要取代人类的工作，而是让人类能够专注于更有创造性和价值的工作内容。

从更宏观的角度来看，InternVL3.5这类技术的发展将推动整个社会向智能化转型。智能交通系统将更好地理解路况和行人行为，智能城市管理系统将更准确地分析城市运行状态，智能制造系统将更精准地控制生产过程。

当然，这种转型也需要我们思考更多的社会问题，比如如何确保技术发展的公平性，如何保护个人隐私，如何处理就业结构的变化等。这些都需要技术开发者、政策制定者和全社会的共同努力。

归根结底，InternVL3.5的意义不仅在于它展示了当前AI技术的最新成果，更在于它为我们描绘了一个更加智能、更加便捷的未来生活蓝图。虽然这个未来还需要时间来实现，但技术的基础正在稳步建立，而且是以开源的方式与全世界分享。这种开放式的发展模式让我们有理由相信，更先进、更普惠的人工智能技术将会更快地惠及每一个人。

对于有兴趣深入了解技术细节的读者，可以访问研究团队提供的开源代码库和模型，亲自体验这项技术的能力。毕竟，最好的理解方式就是实际使用和体验。

Q&A

Q1：InternVL3.5相比其他AI系统有什么特别之处？

A：InternVL3.5的特别之处在于它采用了级联强化学习方法，模仿人类从基础练习到实际应用的学习过程，这让它在推理任务上比传统系统提升了16%。同时它还具备视觉分辨率路由器，能智能调节图像处理精度，在保持性能的同时将处理速度提升4倍多，这种既聪明又高效的特点是其最大优势。

Q2：普通人可以如何使用InternVL3.5技术？

A：目前InternVL3.5是完全开源的，技术人员可以通过GitHub获取代码进行研究和开发。对于普通用户来说，虽然还不能直接使用，但基于这项技术的应用产品正在开发中。未来可能会出现智能办公助手、教育辅导工具、内容创作助手等产品，让普通人也能享受到这种先进的图文理解和推理能力。

Q3：InternVL3.5在处理中文内容方面表现如何？

A：InternVL3.5在多语言处理方面表现出色，特别是在中文理解上有很好的支持。系统能够处理中文文本、理解中文图像内容，并进行中英文之间的图文匹配和推理。在CMMLU等中文基准测试中，大型模型达到了90.2分的高分，显示了强大的中文理解和处理能力，这对中文用户来说是个好消息。