多模态深度研究员：基于代理架构从零开始生成图文交织报告

2024年6月3日，浙江大学CAD&CG国家重点实验室的研究团队在学术平台arXiv上发表了一篇引人注目的研究论文《多模态深度研究员：基于代理架构从零开始生成图文交织报告》。这项由杨兆睿、潘博、王晗、王一遥、刘星宇、朱敏峰、张博和陈为共同完成的研究，为自动生成高质量图文交织报告开辟了新天地。

研究背景：为什么可视化在报告中如此重要？

想象一下，当你阅读一篇充满大段文字的报告时，你可能会感到枯燥乏味，甚至难以理解其中的核心信息。这正是可视化在信息传递中扮演着不可替代角色的原因。可视化就像是文本海洋中的灯塔，能够引导读者快速把握关键点，发现潜藏的模式，并增强整体阅读体验。

近年来，大型语言模型（LLMs）在推理和检索增强生成方面取得了显著进步，使它们能够进行深度研究并生成全面的报告。然而，现有的深度研究框架主要集中在生成纯文本内容上，而自动生成交织文本和可视化的领域则鲜有探索。无论是学术界（如Jin等，2025；Zheng等，2025b；Li等，2025b）还是工业界（如OpenAI，2025c；Google，2024；xAI，2025；David Zhang，2025）的研究都主要关注纯文本报告生成，忽视了文本以外模态的展示。这种以文本为主的报告限制了信息的有效传递，降低了可读性和实用性。

在现实场景中，人类专家通常会精心设计一系列具有一致风格的可视化图表，将它们融入适当的文本背景中，创建连贯的图文交织报告。然而，要实现多模态报告的端到端生成仍面临诸多挑战。尽管通过提示大型语言模型生成单个可视化图表是一种很有前景的解决方案，但如何有效地表示和整合这些可视化内容与文本内容仍然是一个重大挑战。

可视化的形式化描述：连接语言与图表的桥梁

为了解决这一挑战，研究团队提出了"可视化的形式化描述"（Formal Description of Visualization，简称FDV），这是一种受到图形语法理论启发的结构化表示方法。FDV就像是可视化内容的"配方书"，它从四个方面全面捕捉可视化设计：

1. 整体布局（Overall Layout）：描述图表的整体组织结构，包括各组成部分的位置安排。 2. 绘图尺度（Plotting Scale）：详细说明数据到视觉通道（如位置、颜色）的映射逻辑及其注释。 3. 数据（Data）：描述用于生成可视化的数值数据和文本元素。 4. 标记（Marks）：描述每个视觉元素的设计规格。

FDV就像是一种通用语言，能够准确传达可视化设计的精髓，使大型语言模型能够学习人类专家的设计并生成专业质量的图表。想象一下，如果将可视化比作一道料理，FDV就是详细记录了食材、调料比例、烹饪步骤和装盘要求的完整食谱，让任何人都能按图索骥复现出相同的美食。

多模态深度研究员：四步法生成完美图文报告

基于FDV，研究团队开发了"多模态深度研究员"（Multimodal DeepResearcher），这是一个能够从零开始生成图文交织报告的代理框架。整个框架分为四个关键阶段：

**第一阶段：研究阶段**

首先，多模态深度研究员通过网络搜索和推理收集有关特定主题的全面信息。它就像一位勤奋的学者，先生成相关关键词，然后通过网络搜索获取信息，分析这些信息并综合成有价值的见解，为报告奠定坚实的知识基础。

**第二阶段：示例报告文本化**

在这个阶段，系统利用前面提到的FDV将人类专家创建的多模态报告转化为纯文本形式。这个过程就像是将一幅精美的画作描述成文字，使得计算机能够"理解"图表的精髓。这些文本化的示例报告随后用于上下文学习，帮助模型掌握专业报告的结构和风格。

**第三阶段：规划阶段**

有了充分的研究和学习示例后，系统会制定一个详细的内容大纲和可视化风格指南，确保整个报告的一致性。这就像是建筑师在动工前先绘制详细的蓝图，确保最终建筑的和谐与美观。

**第四阶段：多模态报告生成**

最后，系统通过起草、编码和迭代图表优化生成最终的交织报告。这个过程非常精细：首先生成含有FDV占位符的文本报告，然后提取这些FDV并提示语言模型通过编码实现设计。为了确保可视化质量，研究团队还引入了一个演员-评论家机制来修改生成图表的代码，使最终生成的图表既美观又准确。

多模态报告基准：如何评估生成的报告？

为了系统评估生成的多模态报告，研究团队构建了MultimodalReportBench，其中包含100个多样化的主题作为输入以及5个专门的评估指标：

1. **信息量和深度**：评估报告是否通过文本和可视化提供全面、实质性和深入的信息。 2. **连贯性和组织结构**：评估报告是否组织良好，可视化是否与文本有意义地连接。 3. **可验证性**：评估报告中的信息是否可以通过引用进行验证。 4. **可视化质量**：评估报告中可视化图表的质量，包括视觉清晰度和文本标签。 5. **可视化一致性**：评估报告中的可视化是否保持一致的整体风格。

实验结果：多模态深度研究员的惊人表现

研究团队进行了广泛的实验，使用了专有模型和开源模型进行评估。作为基线，他们改编了DataNarrative（Islam等，2024）框架，这是一个从表格输入生成图表占位符的相关框架。

实验结果令人振奋！无论是自动评估还是人工评估，多模态深度研究员都表现出色。特别是，当使用Claude 3.7 Sonnet作为生成器时，多模态深度研究员在总体上达到了82%的胜率，特别在可验证性（86%）、可视化质量（80%）和可视化一致性（78%）方面表现突出。

人工评估结果更加惊人，多模态深度研究员在总体上获得了100%的胜率！三位评估者中，两位选择了多模态深度研究员生成的所有10份报告，而第三位评估者选择了其中9份。

可视化分析：超越传统图表类型

虽然多模态深度研究员和基线方法每份报告生成的图表数量相当（分别为9.3和9.4），但多模态深度研究员生成的可视化明显更加多样化。虽然两种方法都优先考虑传统图表类型（如条形图和折线图），但多模态深度研究员在生成复杂可视化方面表现更为出色。

例如，在100个选定主题中，多模态深度研究员生成了15个流程图和18个仪表板，而DataNarrative仅生成了2个流程图和1个仪表板。此外，多模态深度研究员生成了280个难以归类的可视化（如信息图和思维导图），远超DataNarrative生成的96个。这种差异凸显了多模态深度研究员在适应多样化真实场景方面的灵活性。

挑战与限制：仍需解决的问题

尽管多模态深度研究员表现出色，但集成可视化仍然带来了新的挑战。研究团队将常见错误分为两类：

1. **重叠问题**：这是最常见的错误，通常由两个因素导致：FDV中的过多信息使得在有限空间内难以适当排列，以及图例、标签和注释放置不当。

2. **幻觉问题**：这是LLMs的基本挑战，在可视化生成中也存在。例如，在某些情况下，模型可能错误地标记数据不足的区域，使用虚构内容填充红色区域。

消融研究：每个组件都至关重要

为了评估多模态深度研究员各个组件的有效性，研究团队在20个随机子集主题上进行了消融实验。他们比较了3个变体与完整框架：

1. 没有示例学习的变体：在70%的情况下表现较差 2. 没有规划的变体：在85%的情况下表现较差 3. 没有图表优化的变体：在80%的情况下表现较差

这些结果清晰地表明，移除任何组件都会导致显著的性能下降，证明了每个组件对多模态深度研究员的成功都是不可或缺的。

研究意义与未来展望

这项研究不仅提出了一种新的任务——从零开始生成图文交织多模态报告，还提供了相应的数据集和评估指标。更重要的是，研究团队提出了可视化的形式化描述（FDV），这是一种结构化的可视化文本表示，使大型语言模型能够进行上下文学习并生成多模态报告。

虽然实验结果令人鼓舞，但研究团队也承认存在一些限制。首先，生成的可视化中存在几种类型的错误，正如前面讨论的。此外，从示例报告进行上下文学习对LLMs的上下文大小和理解能力提出了要求。最后，与最先进模型相关的计算支出以及可视化代码生成所需的广泛处理时间，限制了实验验证所使用的数据集规模。

尽管如此，多模态深度研究员代表了自动生成高质量图文交织报告的重要一步，为未来研究开辟了新的可能性。随着技术的不断进步，我们可以期待更加精确、多样和视觉上引人入胜的自动生成报告，这将极大地改变信息传递和知识共享的方式。