清华大学与天津大学联手破解"AI看图翻译"难题：让大模型真正读懂图片里的文字

这项由清华大学软件学院、天津大学计算机科学与技术学院、中国人民大学信息资源管理学院、上海交通大学人工智能学院及百度公司联合开展的研究，以预印本形式发表于2026年4月，论文编号为arXiv:2604.16943，提交至Science China Information Sciences期刊审稿。

当你拿起手机对着一张德文说明书拍照，请求翻译软件帮你把图里的文字翻成中文时，你有没有想过，这件事对计算机来说，其实相当烧脑？这不只是"认字"，也不只是"翻译"，而是要同时完成两件事，还得把它们配合得天衣无缝。目前市面上的主流方案，比如谷歌翻译的即时相机功能，本质上是把"认字"和"翻译"两个独立的程序串联起来：先用文字识别技术（OCR）把图片里的字抠出来，再送给翻译引擎处理。这套流程最大的问题是，前一步犯的错误会原封不动地传给后一步，就像流水线上第一道工序出了废品，后续工序再精良也救不回来。

近年来，多模态大语言模型（MLLM）的崛起让人看到了新希望。这类模型能同时"看图"和"读字"，理论上可以绕开上述流水线的弊端，直接从图片生成翻译结果。然而现实并不那么美好——即便是InternVL2、LLaVA-NeXT、LLaMA3.2、Qwen2.5-VL这些能力出众的模型，在面对图片里的多语言文字时，翻译质量依然差强人意。研究团队把这个现象称为"模态鸿沟"：模型处理图片信息的方式，和它处理文字信息的方式之间，存在一道天然的裂缝。

更棘手的是，现有的解决思路——也就是在特定任务数据上对模型进行"微调"（fine-tuning）——本身也有隐患。通常的做法是把模型所有参数都重新训练一遍，这就好比你为了让一位万能厨师专门擅长做川菜，把他所有的厨艺记忆都重写了一遍，结果他虽然川菜做得好了，但原本会的粤菜、湘菜全忘了。这就是所谓的"参数冗余"和"知识遗忘"问题。

为了从根本上解决这个困境，研究团队提出了一套名为MNAFT（Modality Neuron-Aware Fine-tuning，模态神经元感知微调）的全新方法。这套方法的核心思路，是先搞清楚模型内部每一个"神经元"（可以理解为模型处理信息的最小单元）究竟负责什么工作，然后只对和当前翻译任务真正相关的那些神经元动手术，其余的一律保持不动。这篇文章接下来将带你深入了解这套方法的每一个细节。

一、为什么大模型"看图说话"容易，"看图翻译"却这么难

在正式介绍MNAFT之前，有必要先理解问题的根源所在。多模态大语言模型的基本结构，可以用一个三明治来比喻：最底层是一个"视觉编码器"，专门负责把图片转化成模型能理解的特征；中间是一个"连接器"，把视觉特征翻译成语言模型能读懂的格式；最上层是一个大型语言模型，负责生成最终的文字输出。

问题就出在这个三明治的底层。视觉编码器（通常是CLIP这类模型）在训练时，主要靠大量图片和对应文字描述之间的对比学习来积累能力。这种训练方式非常适合理解"图片里有一只猫"这类宏观内容，却不擅长精细捕捉图片里嵌入的多语言文字——尤其是当字体、排版、背景各异时，不同语言的字符形态差异极大，视觉编码器往往力不从心。这就导致模型"看图"得到的特征，和它生成翻译所需要的文字特征之间，存在相当大的偏差，也就是研究团队所说的"模态鸿沟"。

传统的解决办法是对整个模型进行全面微调，让它在图片翻译数据上重新学习。但问题在于，神经网络里的神经元并不是千篇一律的——有些神经元专门处理特定语言（比如专门负责中文字符识别），有些神经元负责跨模态的通用理解（不管什么语言都用得上），还有些神经元存储着大量来自预训练阶段的通用知识。把所有神经元一视同仁地更新，很容易打乱那些原本工作良好的神经元，造成不必要的破坏。

研究团队的洞察正是从这里出发：既然不同神经元各司其职，何不先把它们的分工摸清楚，再有针对性地只更新真正需要改变的那部分？

二、MNAFT的工作原理：一张精密的"神经元地图"

MNAFT的工作流程大致分为两个阶段，可以用绘制地图然后按图索骥来理解。

第一阶段是绘制地图，也就是神经元重要性评估。研究团队设计了一套"指令驱动激活分析"方法，用不同的任务指令来探测每个神经元的反应。具体而言，他们会给模型输入两类指令：一类是"图片里有什么文字？"这样的通用文字识别指令，另一类是"把[源语言]的文字翻译成[目标语言]"这样的特定语言翻译指令。通过观察不同指令下各个神经元的激活程度，就能大致判断每个神经元主要负责什么。

判断神经元重要性的具体工具，是数学上的泰勒展开（Taylor expansion）。这个工具的直觉很简单：如果把某个神经元"关掉"（把它的输出设为零），模型的翻译损失会增加多少？损失增加得越多，说明这个神经元越重要。用公式来表达，神经元 i 的重要性得分 Θ_TE(i) 等于"该神经元激活值的大小"乘以"损失函数对该激活值的导数（也就是梯度）"的绝对值。前者反映神经元对网络输出的贡献程度，后者反映损失对这个神经元的敏感度。两者相乘，就得到一个综合衡量神经元重要性的分数。

有了每个神经元的重要性分数，下一步是在不同任务（不同语言对之间的翻译）下分别计算这些分数，然后把结果拼成一张"神经元重要性矩阵"。这张矩阵的每一行代表一个神经元，每一列代表一个翻译任务，矩阵里的数值反映该神经元在对应任务下的重要性。分析这张矩阵，就能发现两类神经元：在所有任务下都高度重要的，被称为"语言无关神经元"（language-agnostic neurons），也就是通用神经元；只在特定语言任务下才高度重要的，被称为"语言特异性神经元"（language-specific neurons）。

区分这两类神经元的技术手段是统计方差。如果一个神经元在不同任务下的重要性分数差异很小（方差低），说明它对所有任务都同样重要，属于通用神经元；如果差异很大（方差高），说明它只在某些特定任务下才活跃，属于特异性神经元。研究团队用一个预设比例 ε 作为阈值，方差低于阈值的归为通用，高于阈值的归为特异。

在层级选择上，研究团队同样用重要性分数来排序，分别从视觉编码器的各层和语言模型的各层中，挑选出对当前任务最关键的若干层（层数作为超参数，可根据具体任务调整）。这样就形成了一张完整的"功能地图"：哪些层重要，这些层里哪些神经元属于通用、哪些属于特异，一目了然。

三、按图索骥：选择性微调策略

有了这张地图，第二阶段的工作就变得非常清晰。在对特定语言的图片翻译任务进行微调时，MNAFT只更新以下两类神经元的参数：目标任务对应的语言特异性神经元，以及同一层内的语言无关（通用）神经元。模型里其余所有神经元的参数，全部冻结，不做任何改动。

技术实现上，这通过一个"掩码"（mask）机制完成。在反向传播（模型学习时更新参数的过程）时，对于不需要更新的神经元，梯度被直接乘以零屏蔽掉；对于需要更新的神经元，梯度正常传递，参数按照标准的学习率规则更新。这种方式确保只有被选中的神经元才会在微调过程中发生改变。

之所以把通用神经元也纳入更新范围，而不是只更新特异性神经元，背后有一层深意：通用神经元虽然对所有任务都重要，但在图片翻译这个特殊场景下，它们负责跨模态理解的能力同样需要适当调整，才能更好地配合特异性神经元工作。完全冻结通用神经元会限制模型的整体适应能力；同时更新两类神经元，既保留了通用知识，又实现了针对性的任务适配。

这套策略从根本上避免了两个常见问题：一是参数冗余——只改动真正需要改动的部分，不做无谓的更新；二是参数干扰——翻译中文的神经元改变了，不会影响翻译法文的神经元，各语言的知识互不干涉。

四、实验设计：在四个数据集、六种翻译任务上全面检验

为了严格验证MNAFT的效果，研究团队搭建了一个相当完整的实验体系。他们选用了四个公开的图片翻译数据集，覆盖两类场景：合成数据和真实数据。

ECOIT是一个电商领域的大规模数据集，包含从中文电商平台自动抓取的商品图片以及经过人工审核的英文翻译，共48万句子、364万源语言词符。IIMT则是利用德英和法英两个口语翻译数据集生成的合成图片数据集，图片分辨率512×512，背景颜色随机，共452,230个样本。MIT-10M是一个来自真实世界数据的大规模多语言图片翻译语料库，包含84万张图片和14种语言的图文对。OPUS-MIT-5M则是从OPUS语料库中随机采样500万句子对构建的图片翻译数据集，涵盖20种语言对。

在每个任务上，研究团队从源数据集中取10万条作为训练集，100条作为测试集。六个具体任务分别是：ECOIT的中译英、IIMT的德译英和法译英、MIT-10M的德译英和英译德，以及OPUS-MIT-5M的英译中。

评测指标采用了机器翻译领域最常用的两个：BLEU分数衡量翻译结果与标准答案之间的词语重叠程度，METEOR分数则在BLEU的基础上进一步考虑了同义词和词序，对语义相似性的判断更加全面。

对比实验的范围也非常广泛。在传统流水线方面，研究团队选用了EasyOCR和PP-OCRv3两种文字识别工具，配合NLLB-200翻译模型（支持200种语言互译）组成两套级联系统。在基础大模型方面，研究团队使用Qwen2.5-VL-3B模型测试了四种不同的使用策略：纯文字模式（先用OCR抽取文字，再翻译）、零样本模式（直接把图片和翻译指令送给模型）、单样本模式（提供一个示例再让模型翻译）以及思维链模式（先让模型描述图片里的文字，再翻译）。在微调方法方面，对比对象包括全参数微调、LoRA、DoRA、MixLoRA和M2PT。此外，还与六个专门的端到端图片翻译模型进行了比较，包括ItNet、PEIT、Translatotron-V、UMTIT、E2ETIT和DIMTDA。

五、实验结果：MNAFT在所有任务上全面领先

实验结果相当清晰地展现了MNAFT的优势。

与传统级联流水线相比，差距最为悬殊。以ECOIT的中译英任务为例，EasyOCR+NLLB组合的METEOR分数只有13.7，PP-OCRv3+NLLB为13.1，而MNAFT达到了75.1——是级联方法的五倍以上。这个差距直观地说明了串联式OCR加翻译的局限：文字识别稍有偏差，翻译结果就会大幅失真，尤其在商品图片这类字体复杂、背景繁乱的场景下，OCR的错误率往往相当可观。

与不经过微调的大模型基线相比，MNAFT也表现出明显优势。特别值得注意的是，MNAFT在大多数任务上不仅超过了零样本、单样本和思维链模式，甚至超过了纯文字模式——后者是先用OCR提取文字再翻译，等于给了模型一个"开卷考试"的机会。MNAFT能在不借助OCR辅助的情况下超越这个基线，说明它确实学会了从图片中直接提取并翻译文字信息的能力。

在所有微调方法的比较中，MNAFT同样全面胜出。以MIT-10M德译英任务为例，全参数微调的METEOR分数为62.6，LoRA为57.1，DoRA为55.5，MixLoRA为55.1，M2PT为58.0，而MNAFT达到79.8——比第二名全参数微调高出17.2个百分点。这个差异非常显著，充分说明了神经元感知式选择性微调相比盲目更新全部参数的优势所在。

在与专门的端到端图片翻译模型的比较中，MNAFT同样拿下了最高分。在ECOIT中译英任务上，MNAFT的METEOR为75.1、BLEU为54.6，排名第二的Translatotron-V分别为73.1和52.6。在IIMT德译英任务上，MNAFT的METEOR为67.9、BLEU为38.0，而此前最好的UMTIT只有54.6和36.1。

六、消融实验：拆解MNAFT的每个零件，看哪个最关键

为了搞清楚MNAFT的哪些设计真正起到了关键作用，研究团队在OPUS-MIT-5M英译中和ECOIT中译英两个任务上做了系统的消融实验——也就是每次只保留方法的一部分，看去掉其他部分后性能怎么变。

关于神经元类型的影响，实验表明单独只微调通用神经元效果最差：在OPUS-MIT-5M上METEOR仅65.9、ECOIT上51.8，远低于完整MNAFT的75.2和75.1。这说明通用神经元虽然对所有任务都重要，但缺乏针对特定语言的专项能力，单独更新它们不足以实现精准翻译。只微调特异性神经元的效果则明显好很多，OPUS-MIT-5M上达到66.5、ECOIT上61.7，但仍不如同时更新两类神经元的完整MNAFT。这说明通用神经元和特异性神经元在翻译任务中是互补的，缺少任何一方都会损失一定的性能。

关于层级选择的影响，不做神经元筛选、直接微调所有层所有神经元的效果（OPUS-MIT-5M上67.2、ECOIT上61.6）确实比完整MNAFT差，证明了神经元筛选策略本身的价值。只微调语言模型层（不更新视觉层）和只微调视觉层（不更新语言层）的效果都有所下降，其中只微调视觉层的效果最差（OPUS-MIT-5M上65.9、ECOIT上57.3），说明语言层对于翻译输出的直接贡献更大，但视觉层的适配同样不可或缺——尤其在某些数据集上，视觉层的调整对性能提升贡献更显著。

七、深入分析：用可视化工具揭开神经元分工的面纱

除了性能数字，研究团队还做了一系列可视化分析，试图直观展示模型内部不同神经元的分工状态。

在平均激活值分析方面，研究团队绘制了每一层神经元在不同任务下的平均激活程度曲线。结果显示，不同任务在不同层上的激活模式差异相当明显：比如英译中任务在视觉模型的某些特定层上激活值显著高于其他任务，说明这些层对该任务涉及的视觉特征特别敏感；而中译英任务则在语言模型的某些层上激活明显更强。此外，研究团队还分析了相邻层之间激活值的变化量（delta激活），发现某些层在特定任务下出现急剧跳变，这些位置很可能是模型在处理信息时发生重要表示转换的关键节点。

在t-SNE聚类可视化方面，研究团队把视觉和语言两个模块最后一层的神经元激活值，用t-SNE算法降维投影到二维平面上，观察六种不同翻译任务的激活点是否形成清晰的聚类。结果非常直观：语言模型的特异性神经元形成了六个泾渭分明的聚类，每种翻译任务各占一团，不同任务的点之间几乎没有重叠；而且语言相近的任务（如德译英和法译英）对应的聚类在空间上靠得更近，语言差异大的任务（如中译英和英译中）对应的聚类则分得更开。这个现象有力地支持了一个核心假设：特异性神经元确实编码了语言特定的知识，能够区分不同的翻译方向。

相比之下，语言模型的通用神经元所形成的分布则混合得多，六种任务的点交织在一起，边界模糊，说明这些神经元捕捉的是跨任务的通用语言特征，而非某种特定语言的专项知识。视觉模型的情况与语言模型类似：特异性神经元能形成一定程度的任务聚类（虽然没有语言层那么清晰），而通用神经元的分布则相当弥散。这个差异暗示，视觉特征对语言的区分度天然弱于语言特征本身，因为不同语言文字的视觉外观差异，终究没有语言结构差异那么系统化。

八、扩展实验：在更大模型上验证MNAFT的普适性

为了确认MNAFT不只是在特定模型上有效，研究团队还在两个更大的模型上做了验证：Qwen2.5-VL-7B（70亿参数）和LLaVA-NeXT-LLaMA3（80亿参数）。

实验结果以雷达图的形式呈现，六种翻译任务分别对应雷达图的六个顶点，每种微调方法的得分连成一个多边形。两个模型上的结论高度一致：MNAFT对应的多边形面积最大，全参数微调和LoRA虽然也比未微调的基线模型有所提升，但都明显小于MNAFT。这说明MNAFT的神经元感知微调策略能够跨越不同模型架构和参数规模发挥作用，具备较好的普适性。

值得注意的是，LLaVA-NeXT模型在各任务上的绝对分数低于Qwen2.5-VL-7B，但MNAFT相对于其他微调方法的提升幅度在两个模型上是相似的，说明MNAFT的优势来自方法本身，而不依赖于特定模型架构的特性。

九、计算效率：MNAFT在节省资源方面的表现

除了翻译质量，研究团队还仔细测量了MNAFT的计算开销，并与全参数微调和LoRA进行了比较。所有实验在英伟达A100（80GB显存）GPU上进行，训练轮次和批量大小保持一致。

在ECOIT数据集上，全参数微调需要9.2小时、占用94.3GB显存；LoRA需要8.6小时、12.2GB显存；MNAFT只需7.0小时、20.8GB显存。在OPUS-MIT-5M数据集上，全参数微调需要12.6小时、127.7GB显存；LoRA需要10.2小时、12.3GB显存；MNAFT需要8.2小时、20.8GB显存。

从这组数字可以读出几个有趣的规律。MNAFT比全参数微调快约24%，显存消耗只有全参数微调的22%左右，优势非常显著。与LoRA相比，MNAFT的显存占用确实多一些（约21GB对比12GB），原因是MNAFT需要为原始参数的一个子集维护优化器状态，而LoRA只需要维护那些小型低秩矩阵的状态。但MNAFT的训练速度反而比LoRA快18%到20%，原因是LoRA在前向传播中需要额外的矩阵乘法运算，引入了额外的计算延迟，而MNAFT保留了原始架构，只在反向传播的参数更新阶段应用梯度掩码，减少了有效的参数更新量从而缩短了训练时间。

研究团队也坦诚地指出了一个当前实现上的局限：梯度掩码是在优化器更新阶段施加的，但梯度计算本身仍然覆盖了所有激活值，并没有实现真正的稀疏反向传播。如果未来能在底层实现真正的稀疏梯度计算，MNAFT的效率还有进一步提升的空间。

十、三个真实案例：MNAFT到底改进了什么

研究团队选取了三个具体的翻译案例，直观展示MNAFT和未经微调的基础模型之间的差异。

第一个案例是一张手机配件的商品包装图，图中有英文产品说明。基础模型（Qwen2.5-VL-3B）在翻译成德文时出现了"幻觉"——凭空添加了"sicherheitshalber Ihre Smartphones und Karten immer"这段文字（大意是"始终为了您的智能手机和卡片的安全"），这很可能是因为模型在训练中见过大量类似手机配件的产品描述，就把这些"经验"混入了翻译。MNAFT的输出则准确无误，完整翻译了图中实际出现的句子，没有任何凭空捏造的内容。

第二个案例是一张皮革产品的宣传图，图中写着"100% Genuine Leather. High quality wallets."基础模型把"Genuine Leather"直接翻译成了"Genuine Leather"（保留英文，未翻译），对"High quality wallets"的翻译也比较字面化。MNAFT则正确地将"Genuine Leather"译为"Echtes Leder"，并将"High quality wallets"翻译为"Hochwertige Geldborsen"，措辞更符合德语广告语境的表达习惯，体现了对图片中隐含的商业语境的理解。

第三个案例最能体现语义理解的深度：图中是一段新闻标题，内容是"The Syrians created these routes and now they are being used against them."这句话里，"they"在前半句指的是叙利亚人（路线的创建者），在后半句则语义反转——路线被用来对付叙利亚人本身。基础模型的中文翻译误将后半句理解为"他们正在利用这些路线"，把施害者和受害者搞混了。MNAFT的翻译则准确捕捉到了这种语义反转，正确表达了"路线被用来对付叙利亚人"的含义，在复杂的指代消歧上展现出更强的语境理解能力。

十一、更广阔的应用前景：MNAFT的潜力不止于图片翻译

研究团队在文章末尾专门讨论了MNAFT在图片翻译之外的潜在应用。MNAFT的核心思路——识别神经元的专项分工、有针对性地进行选择性更新——并不只适用于翻译任务。

在图像描述（Image Captioning）场景下，MNAFT可以专注于激活负责识别显著物体、动态行为及其上下文关系的神经元，同时微调负责生成通顺文字的语言神经元，对于医疗影像描述或时尚评论等专业领域尤为有价值，还可以用于生成多语言图片描述。

在视觉问答（VQA）场景下，不同类型的问题需要不同类型的视觉理解能力。比如"这个物体是什么颜色？"需要颜色识别能力，"图中有几个苹果？"需要计数能力，"左边的物体在右边物体的哪个方向？"需要空间推理能力。MNAFT可以识别出负责这些不同能力的神经元子集，针对特定类型的问题进行精准微调，而不需要重训整个模型。

在人机交互场景下，多模态对话要求模型同时处理视觉信息和自然语言对话。MNAFT可以定制化更新负责对话连贯性或情感识别的神经元子集，让模型在特定对话场景下更加得心应手。

归根结底，MNAFT这套方法的价值在于它提供了一种新的思路：与其把大模型看成一个不可分割的整体，不如把它理解为由大量各司其职的功能单元组成的网络，然后针对具体任务，精准地调动和更新最相关的那些单元。这种思路在理论上适用于几乎所有需要对多模态大模型进行任务适配的场景。

说到底，MNAFT这项研究的核心贡献，是用一种有理论依据、有实验支撑的方式，回答了"微调大模型时应该动哪里"这个问题。它的答案不是"全部动"（会破坏通用知识），也不是"随机动一小部分"（效果有限），而是"先搞清楚每个零件负责什么，再只动真正需要动的那些"。这个思路简洁而有力，实验结果也表明它确实管用。

对于普通用户来说，这项研究最直接的意义或许是：未来用手机拍照翻译外文路牌、菜单、产品说明时，AI翻译的准确率和理解深度有望大幅提升，不再因为OCR认错了一个字而导致整句话翻译跑偏。而对于研究者来说，MNAFT提供了一套可复用的神经元分析框架，有可能在更多多模态任务上打开新的优化思路。

有兴趣深入了解这项研究的读者，可以通过论文编号arXiv:2604.16943查询完整论文。

Q&A

Q1：MNAFT和LoRA有什么区别？为什么MNAFT更快但显存更多？

A：LoRA通过在原始权重矩阵旁边插入两个小型低秩矩阵来实现微调，只需要存储和更新这些小矩阵，因此显存占用极低（约12GB）。MNAFT则是直接修改原始参数中被选中的神经元权重，需要为这些原始参数维护完整的优化器状态，所以显存比LoRA多（约21GB）。但LoRA在每次前向传播时需要额外做矩阵乘法，引入了计算延迟；MNAFT保留了原始网络架构不变，只在反向传播的更新阶段屏蔽不相关的梯度，实际更新的参数量更少，所以训练速度反而比LoRA快大约18%到20%。

Q2：神经元重要性评估用了测试集，这会不会导致测试集泄露？

A：神经元重要性评估阶段完全不涉及任何参数更新，只是用测试集数据计算每个神经元的激活值和梯度，从而打出重要性分数，决定哪些神经元和哪些层需要在后续微调中被更新。这个过程类似于校准阶段的"探针"，相当于在正式考试前用考题感受一下哪些知识点需要复习，但不会把考题答案直接学进模型里。由于没有任何权重被修改，测试集的分布信息没有通过梯度下降的方式注入模型，因此不存在传统意义上的测试集泄露问题。

Q3：MNAFT怎么确定哪些层是"关键层"，哪些神经元是"通用"还是"特异"？

A：确定关键层的方法是对每一层的神经元重要性分数求平均，得到该层的整体重要性得分，然后按得分从高到低排序，选取视觉编码器和语言模型各自的前若干层（具体层数是可调节的超参数）。在确定了关键层之后，对层内的每个神经元在六种不同翻译任务下的重要性分数计算统计方差。方差低于预设阈值的神经元被归为通用神经元，方差高于阈值的被归为特异性神经元。阈值由另一个预设比例参数ε控制，例如ε=0.2意味着方差排名前20%的神经元被认定为特异性神经元，其余为通用神经元。