ChartIR：教机器人看懂图表然后写代码的新方法——上海交通大学团队的创新突破

这项由上海交通大学MIFA实验室的徐承志、王宇阳、魏来研究团队与利哈伊大学的孙立超教授以及北京通用人工智能研究院的黄伟然教授联合完成的研究发表于2025年6月15日，论文编号为arXiv:2506.14837v1。感兴趣的读者可以通过arXiv平台访问完整论文。

现在我们身边到处都是聪明的AI助手，它们能看懂图片、回答问题，甚至能写代码。但是当你拿一张统计图表给它们看，请它们写出能画出这个图表的Python代码时，这些平时很聪明的AI就开始犯糊涂了。这就像是一个会做菜的机器人，你给它看一道菜的照片，它却写不出正确的菜谱来重现这道菜。

为了解决这个问题，上海交通大学的研究团队开发了一套叫做ChartIR的新方法。这个方法就像是给AI配了一副"理解图表的眼镜"和一个"翻译助手"。当AI看到一张图表时，它不再是直接硬着头皮去写代码，而是先仔细观察图表，用文字描述出图表的各种细节，然后基于这些描述来一步步改进代码，直到生成的图表和原图几乎一模一样。

研究团队发现，现有的AI模型在处理图表转代码这个任务时面临两大难题。第一个难题是"看不懂"——AI很难准确理解图表中的复杂信息，比如颜色、文字标注、坐标轴设置等等。第二个难题是"说不清"——即使看懂了图表，AI也很难将这些视觉信息准确地转换成能运行的代码。这就好比一个外国游客看到中国菜谱，既看不懂中文描述，又不知道怎么把理解的内容转换成实际的烹饪步骤。

一、给AI配上"图表理解眼镜"

ChartIR方法的第一个创新是给AI配了一副特殊的"眼镜"，让它能够更好地理解图表。这副眼镜的工作原理很像一个专业的图表分析师。当这个分析师看到一张图表时，他不会急着下结论，而是会有条不紊地观察各个细节。

具体来说，这个过程分为两个阶段。在第一阶段，AI会像一个细心的观察者一样，对图表进行全面的"体检"。它会记录下图表包含几个子图、每个子图是什么类型（比如是饼图、柱状图还是折线图）、坐标轴上有什么标签、使用了哪些颜色、有什么文字注释等等。这个描述过程非常详细，就像医生给病人做全身检查时要记录各项指标一样。

举个例子，当AI看到一个饼图时，它不会简单地说"这是个饼图"，而是会详细描述："这是一个饼图，包含四个扇形区域。第一个区域是蓝色的，占37.5%，标注着'375g面粉'；第二个区域是橙色的，占7.5%，标注着'75g糖'..."这样的描述就像是一个专业的图表解说员在为盲人朋友详细解说图表内容。

这种描述方法的巧妙之处在于，它把视觉信息转换成了语言信息。我们都知道，现在的AI在处理语言方面比处理图像要强得多，这就像是把一个复杂的数学题翻译成了AI更擅长的语言题。

二、循序渐进的代码改进策略

有了详细的图表描述后，ChartIR进入第二个阶段——迭代改进。这个过程就像是一个学生在老师指导下反复修改作文一样。AI首先会根据图表描述写出一个初始版本的代码，然后运行这个代码看看生成的图表是什么样子。

接下来就是关键的改进环节。AI会把自己生成的图表和原始图表进行对比，就像是拿着两张照片找不同。它会仔细分析："我画出的图表哪里和原图不一样？颜色对了吗？文字标注位置正确吗？比例准确吗？"然后AI会写出一份"差异报告"，详细描述两张图的区别。

基于这份差异报告，AI会对代码进行针对性的修改。比如，如果发现生成的图表缺少文字标注，AI就会在代码中添加相应的标注代码；如果发现颜色不对，就会修改颜色设置。修改完成后，AI会再次运行代码，生成新的图表，然后继续对比、分析、改进。

这个过程会反复进行，直到生成的图表和原图几乎一模一样，或者连续几次改进都没有明显进步为止。这就像是一个画家反复修改自己的作品，每次都在细节上做一些调整，最终达到满意的效果。

与之前的方法相比，ChartIR的优势在于它考虑的是图表的整体质量，而不是某个单一方面。之前的METAL方法就像是一个偏科的学生，每次只专注于改进一个方面（比如只管颜色或只管文字），结果可能是颜色对了但文字位置错了，或者文字对了但颜色又变错了。而ChartIR则像是一个全面发展的好学生，每次改进时都会综合考虑各个方面，确保整体效果的提升。

三、实验验证：数字说话的成果

为了验证ChartIR方法的有效性，研究团队进行了大量的实验测试。他们选择了两个广泛使用的图表数据集：Plot2Code和ChartMimic。这两个数据集就像是图表转代码任务的"高考试题库"，包含了各种类型和难度的图表，是检验AI能力的标准测试平台。

实验结果相当令人鼓舞。在Plot2Code数据集上，当使用强大的GPT-4o模型时，直接让AI生成代码只能得到5.61分（满分10分），使用之前最好的METAL方法可以达到6.02分，而使用ChartIR方法则达到了6.56分，相比直接生成提升了17%。这个提升幅度相当可观，就像是一个学生的考试成绩从56分提高到了66分。

更有意思的是，ChartIR不仅在总体评分上表现优秀，在各个细分指标上也都有显著改善。比如在图表布局准确性方面，ChartIR达到了95%的准确率，明显超过了其他方法。在传统的图像相似度指标上，比如PSNR（图像质量评估指标）从13.53提升到14.29，SSIM（结构相似性指标）从0.68提升到0.69。

对于开源模型Qwen2-VL，ChartIR的改进效果更加明显。在ChartMimic数据集上，直接生成代码只能得到2.20分，METAL方法达到2.32分，而ChartIR达到了3.86分，提升幅度高达75%。这种大幅提升说明，对于能力相对较弱的模型，ChartIR的结构化指导方法特别有效，就像是给一个基础较差的学生配了一个优秀的家教。

研究团队还进行了详细的消融实验，就像是拆解一台机器来看每个零件的作用。他们发现，如果去掉图表描述部分，性能会明显下降；如果去掉迭代改进部分，性能同样会受损。这说明ChartIR的两个核心组件都是必不可少的，就像做菜时盐和油都不能少一样。

四、真实案例：看看ChartIR是如何工作的

为了更直观地展示ChartIR的工作过程，研究团队提供了一个具体的案例。这个案例涉及一个饼图，显示了烘焙食谱中各种原料的比例。

在初始阶段，AI首先生成了对这个饼图的详细描述："这是一个饼图，包含四个扇形区域，分别代表面粉、糖、黄油和浆果。颜色方案使用固定值：面粉是蓝色，糖是橙色，黄油是绿色，浆果是红色。每个扇形都标注了百分比和重量..."

基于这个描述，AI生成了初始代码并运行，得到了第一版图表。然而，这个初始版本虽然颜色正确，但缺少了文字标注。这就像是画了一个饼图的轮廓，但忘记加上标签。

在第一次改进中，AI对比了初始图表和原图，发现了文字缺失问题，于是生成了差异报告："在第一张图中，饼图扇形内没有注释或文字。在第二张图中，每个饼图扇形都标注了百分比和对应的重量..."基于这个分析，AI修改了代码，添加了文字标注功能。

运行修改后的代码，生成了第二版图表。这次文字标注出现了，但有一个扇形的颜色变成了浅橙色而不是原来的红色。就像是解决了一个问题又出现了新问题。

在第二次改进中，AI再次进行对比分析，识别出了颜色问题："第一张图中，浆果部分是蓝色、橙色、绿色、浅橙色。第二张图中，浆果部分应该是红色而不是浅橙色..."于是AI再次修改代码，将浆果的颜色从浅橙色改为红色。

经过这两轮改进，最终生成的图表在颜色和文字标注方面都与原图完全一致。这个过程就像是一个学徒在师傅指导下反复修改作品，每次都在原有基础上解决一个具体问题，最终达到了完美复制的效果。

五、技术实现的巧思与细节

ChartIR方法的成功不仅在于整体思路的创新，更在于许多技术实现上的巧思。比如，为了确保改进的有效性，研究团队设计了一套综合评价体系。这个体系不像之前的方法那样只看单一指标，而是综合考虑多个视觉相似度指标，包括CLIP得分、DINO特征、SSIM结构相似性等等。

这种综合评价方式就像是给学生评分时不只看一门课的成绩，而是看总分。只有当新生成的图表在综合得分上确实比之前的版本更好时，AI才会采用新的代码。这样可以避免"拆东墙补西墙"的问题，确保每次改进都是真正的进步。

另一个巧妙的设计是收敛机制。为了防止AI无休止地修改下去，研究团队设置了一个"耐心计数器"。如果连续几次改进都没有带来明显提升，系统就会停止尝试，返回当前最好的结果。这就像是告诉一个完美主义者："差不多就行了，不要追求绝对完美。"

对于代码调试问题，研究团队也考虑得很周到。在迭代过程中，AI生成的代码有时可能包含语法错误或逻辑错误，导致无法运行。为了解决这个问题，研究团队引入了专门的代码修复机制，就像是给AI配了一个专业的程序员助手，专门负责修复代码中的bug。

对于开源模型和闭源模型，ChartIR采用了不同的策略。对于GPT-4o这样的强大闭源模型，由于它本身就具备很好的图表理解能力，可以直接让它生成图表描述。但对于能力相对较弱的开源模型，研究团队专门训练了一个图表描述生成器，使用GPT-4o生成的高质量训练数据对Qwen2.5-VL进行微调，让它具备生成准确图表描述的能力。

六、局限性与改进空间

尽管ChartIR取得了显著的成果，但研究团队也坦诚地指出了方法的局限性。首先是计算成本问题。相比直接生成代码，ChartIR需要多轮迭代，因此需要更多的计算资源和时间。这就像是精工细作虽然质量更好，但也需要更多时间和精力。

另一个局限是对闭源模型的改进效果相对有限。GPT-4o这样的强大模型本身就具备很好的图表理解能力，因此ChartIR的结构化指导对它的帮助不如对开源模型那么明显。这有点像是给已经很优秀的学生请家教，效果自然不如给基础较差的学生请家教那么显著。

此外，当前的方法主要针对常见的图表类型进行了优化，对于一些特殊或复杂的图表类型，效果可能还有提升空间。就像是一个厨师虽然擅长做家常菜，但对于一些特殊的异国料理可能还需要进一步学习。

七、对未来的影响与展望

ChartIR方法的意义远不止是在技术指标上的提升，它代表了一种新的思路：通过结构化的中间表示来桥接不同模态之间的鸿沟。这种思路可能会启发更多类似的研究，比如从表格生成图表、从音频生成乐谱等等。

对于普通用户来说，这项研究的实际应用价值很大。想象一下，你在看一篇学术论文或新闻报道时，看到一个很有意思的图表，想要基于类似的数据制作自己的图表。有了ChartIR这样的技术，你只需要把图表截图给AI看，它就能帮你生成相应的代码，你可以修改数据来制作自己的图表。

对于教育领域，这项技术也有很大潜力。学生在学习数据可视化时，可以通过分析现有图表来学习不同的制图技巧。老师也可以更容易地为学生提供代码示例，帮助他们理解各种图表的制作方法。

从更广阔的角度看，ChartIR体现了当前AI研究的一个重要趋势：不是简单地让AI变得更大更强，而是让AI变得更聪明更有条理。通过合理的方法设计，即使是能力相对较弱的模型也能在特定任务上取得出色的表现。

说到底，ChartIR这项研究告诉我们，解决复杂问题的关键往往不是蛮力，而是巧思。就像古人说的"四两拨千斤"，通过合理的方法设计，可以让AI在图表理解这个复杂任务上取得重大突破。随着这类方法的不断完善，我们有理由相信，AI在各种多模态任务上都会有更好的表现，最终更好地服务于人类的日常工作和生活。

这项研究的开源代码和详细实现已经公开，感兴趣的开发者和研究人员可以在此基础上进一步改进和扩展。毫无疑问，ChartIR只是这个研究方向的一个开始，未来还会有更多更好的方法出现，让AI在理解和生成各种类型的内容方面变得更加智能和可靠。

Q&A

Q1：ChartIR是什么？它能做什么？ A：ChartIR是上海交通大学团队开发的一种新方法，能让AI看懂图表并写出相应的Python代码。它的核心能力是将图表图像转换成能重现该图表的可执行代码，就像给AI配了一副"理解图表的眼镜"和一个"代码翻译助手"。

Q2：ChartIR会不会比现有方法更好用？ A：是的，实验结果显示ChartIR明显优于现有方法。在标准测试中，使用GPT-4o时比直接生成提升17%，使用开源模型时提升更是高达75%。它不仅准确率更高，生成的图表在颜色、文字、布局等各方面都更接近原图。

Q3：普通人能用ChartIR吗？使用门槛高不高？ A：目前ChartIR还是一个研究阶段的技术，主要面向开发者和研究人员。不过由于研究团队已经开源了代码，技术人员可以基于这个方法开发更容易使用的应用。未来很可能会有基于ChartIR的在线工具，让普通用户也能轻松使用。