牛津大学教你AI也能懂美丑：让机器学会"看出"照片的情感温度

这项由牛津大学陈艺铭、韩俊林等研究者领导的研究发表于2025年11月的arXiv预印本，论文编号为2511.22805v1。研究团队还包括来自香港科技大学、伦敦大学学院和纽约大学的学者。有兴趣深入了解的读者可以通过该论文编号查询完整研究内容。

当我们看到一张照片时，会自然而然地产生各种感受——这张风景照很美、那张搞笑图片让人发笑、某张照片看起来很悲伤，或者有些画面特别难忘。但对于人工智能来说，这些看似简单的感知能力却是一个巨大的挑战。就像一个天生色盲的人很难理解红色和绿色的区别，现有的AI视觉模型虽然能准确识别照片中的物体和场景，却无法真正"感受"图像所传达的情感和美感。

想象一下，如果你的朋友只能告诉你"这张照片里有一只猫坐在沙发上"，却永远无法理解为什么这张照片让你觉得温馨可爱，那种交流会多么局限。这正是当前多模态大语言模型面临的困境——它们就像一个只会客观描述却没有情感共鸣的观察者。

研究团队决定改变这种状况。他们发现，要让AI真正理解人类的视觉认知，就必须教会它四个关键的"情感维度"：美感认知（能判断什么是美的）、幽默感知（知道什么是好笑的）、情感识别（理解照片传达的情绪）以及记忆深度（判断什么样的图像更容易被记住）。这就像教一个孩子欣赏艺术作品一样，不仅要告诉他画面内容，更要培养他对美、对情感、对印象深刻事物的敏感度。

为了解决这个问题，研究团队做了两件开创性的工作。首先，他们建立了一个叫做CogIP-Bench的测试标准，这就像给AI设计了一套"情商考试"，专门测试机器是否能像人类一样感知图像的主观特质。接着，他们开发了一套训练方法，通过大量的图像和人类评分数据，教会AI模型更好地理解这些微妙的情感特征。

更令人惊喜的是，经过这种"情感教育"的AI不仅能更准确地评判图像的美感和情感，还能反过来指导图像生成，创造出更符合人类审美和情感需求的图片。这就像一个学会了艺术欣赏的学生，不仅能评价别人的作品，还能创作出更打动人心的艺术品。

一、当前AI的"情感盲区"——看得见却感受不到

在我们的日常生活中，观看照片绝不仅仅是识别其中的物体那么简单。当你翻阅手机相册时，某张夕阳下的风景照可能让你感到宁静美好，一张朋友聚会的照片让你忍俊不禁，而另一张雨中街景可能唤起你内心深处的忧郁情绪。这些情感反应是人类视觉体验中最珍贵的部分，它们让观看图像成为一种丰富的心理体验。

然而，当前最先进的多模态大语言模型——那些能够同时处理文字和图像的AI系统——在这方面表现得就像情感上的"色盲患者"。它们能够准确地告诉你照片中有什么：一座桥、几只鸟、一个微笑的女孩，甚至能详细描述天空的颜色和建筑的风格。但当你问它们这张照片美不美、有趣不有趣，或者是否让人印象深刻时，它们的回答往往与人类的感受相去甚远。

牛津大学的研究团队通过大规模实验发现了这个问题的严重程度。他们测试了包括GPT-4、Gemini等知名AI模型，发现几乎所有模型在判断图像记忆度方面的表现接近于零，这意味着它们对"什么样的图像更容易被人记住"这个问题几乎没有任何理解。在美感、幽默感和情感识别方面，这些模型与人类判断的相关性也普遍低于0.5，这个数字意味着它们的判断与随机猜测相差无几。

这种"情感盲区"的存在并非偶然。现有的AI模型主要基于客观的描述性数据进行训练，就像一个只学过词典却从未读过诗歌的学生，虽然能准确理解每个词汇的字面含义，却无法体会语言的韵味和情感。这些模型被设计来回答"图像中有什么"这类客观问题，而非"这张图像给人什么感受"这类主观问题。

更深层的问题在于，美感、幽默、情感和记忆度这些特质本身就具有高度的主观性和文化相关性。一张在某种文化背景下被认为美丽的图像，在另一种文化中可能被视为平凡。一个让成年人会心一笑的视觉笑话，对儿童来说可能毫无意义。这种复杂性要求AI系统不仅要处理视觉信息，还要理解人类认知和情感的微妙之处。

研究团队意识到，如果不解决这个根本问题，AI就永远无法真正理解人类的视觉体验，也就无法在创意设计、艺术创作、情感计算等需要深度人机交互的领域发挥真正的价值。这就像试图让一个从未体验过音乐之美的机器来作曲一样，技术上可能可行，但作品必然缺乏感动人心的力量。

二、四个维度构建"情感罗盘"——教AI学会感受

为了让AI获得类似人类的视觉情感认知能力，研究团队精心选择了四个核心维度来构建他们的"情感罗盘"。每一个维度都代表了人类观看图像时的一种重要感受，这些感受共同构成了我们对视觉世界的完整理解。

美感认知这个维度关注的是图像的视觉吸引力和艺术价值。就像品鉴一杯好酒时我们会关注其色泽、香气和口感的和谐统一，美感认知要求AI学会欣赏图像中的色彩搭配、构图平衡和整体视觉效果。研究团队使用了专门的美学数据集，其中包含了大量经过人类评估的图像以及它们的美感评分。这些评分基于广泛的人群调查，反映了普遍的审美偏好。通过学习这些数据，AI开始理解什么样的日落更加壮丽，什么样的建筑摄影更具视觉冲击力，什么样的人像摄影更能展现主体的美感。

幽默感知这个维度可能是最具挑战性的，因为幽默往往涉及意外性、反差和文化内涵的复杂交织。当我们看到一张猫咪做出人类姿势的照片时会发笑，这种反应源于对常规期待的打破。研究团队使用了专门的幽默图像数据库，其中包含了各种类型的视觉幽默：从简单的动物搞笑照片到复杂的视觉双关，从意外的场景组合到夸张的表情捕捉。通过学习这些案例，AI开始掌握什么样的视觉元素能够触发人类的笑点，以及不同类型的幽默如何产生不同程度的趣味效果。

情感识别维度专注于图像所传达的情绪色彩。一张雨天街头的照片可能传达忧郁，一张孩子们奔跑的照片可能充满欢乐，一张空旷教堂内部的照片可能营造出庄严肃穆的氛围。这种情感识别超越了简单的面部表情识别，而是要求AI理解整个视觉场景所营造的情感氛围。研究团队通过大量标注了情感价值的图像数据训练模型，让它学会识别从强烈负面到强烈正面的各种情感层次，以及介于两者之间的中性状态。

记忆度评估这个维度探索的是什么样的图像更容易在观看后被长期记住。心理学研究表明，包含人脸、动物、鲜明颜色对比或者独特场景的图像通常具有更高的记忆度，而普通的自然风景或建筑照片则相对容易被遗忘。这种记忆度的差异反映了人类大脑处理和存储视觉信息的内在机制。通过学习大规模的记忆度实验数据，AI开始理解什么样的视觉特征能够在人类的记忆中留下更深的印象。

为了确保训练数据的质量和代表性，研究团队对每个维度都采用了平衡采样的策略。他们将评分范围分为几个等级，并在每个等级中均匀采样相同数量的图像。这就像在调配颜料时确保每种色调都有足够的代表性，避免某种极端情况主导整个学习过程。同时，他们还精心设计了专门的提示语，帮助AI理解每个维度的具体含义和评判标准。

这四个维度的结合创造了一个完整的"情感坐标系"，让AI能够从多个角度理解图像的主观特质。就像人类在欣赏一幅画作时会同时考虑其美感、趣味性、情感表达和印象深度一样，经过训练的AI也开始具备了这种多维度的感知能力。

三、CogIP-Bench：给AI设计的"情商测试"

为了准确评估AI在图像情感认知方面的能力，研究团队开发了CogIP-Bench这个综合性测试平台。这就像为AI设计了一套专门的"情商测试"，用来衡量机器对图像主观特质的理解程度。与传统的AI评测主要关注客观任务（如物体识别准确率）不同，CogIP-Bench专门测试那些需要主观判断和情感理解的能力。

这个测试平台的设计理念类似于心理学中的标准化测试。每个测试项目都包含一张精心选择的图像、一个清晰的询问指令，以及通过人类评估得出的标准答案。就像智商测试中的每道题目都有其特定的认知要求，CogIP-Bench中的每张图像都代表了某种特定的情感认知挑战。

测试的过程设计得既严谨又简洁。AI模型会看到一张图像，然后被要求对该图像在特定维度上给出评分。比如，当测试美感认知时，AI需要判断这张照片的视觉吸引力如何，并给出0到10分的评分。这种评分方式模拟了人类的直觉判断过程，因为我们在日常生活中也经常会对看到的图像产生类似的主观评价。

为了确保测试的公平性和准确性，每个认知维度的测试都包含120个测试样本和800个训练样本。这个样本量经过精心计算，既能提供足够的统计显著性，又不会因为数据过多而导致评估过程过于复杂。测试图像的选择涵盖了各种不同的内容类型、风格特征和情感表达，确保评估结果能够反映AI在各种情况下的表现。

评估指标的选择也体现了研究团队的细致考虑。他们不仅使用了均方误差和平均绝对误差来衡量预测的准确性，更重要的是采用了斯皮尔曼相关系数来评估AI判断与人类判断之间的一致性。这个指标特别重要，因为在主观评价中，绝对的数值准确性不如趋势一致性重要。就像两个人对同一批电影的评分可能都偏高或偏低，但只要他们对电影相对质量的排序一致，就说明他们的品味是相通的。

当研究团队用CogIP-Bench测试了十多个主流AI模型时，结果令人深思。几乎所有模型在记忆度评估上的表现都接近随机水平，斯皮尔曼相关系数接近零。这意味着这些先进的AI系统对于"什么样的图像更容易被人记住"这个问题几乎没有任何理解。在其他三个维度上，表现最好的模型也只能达到0.5左右的相关性，这个数字表明AI的判断与人类感知之间存在显著差距。

有趣的是，不同类型的AI模型在各个维度上表现出了不同的特点。开源模型在美感和情感识别方面相对较强，而API接口的商业模型在幽默感知方面表现更好。这种差异可能反映了不同训练策略和数据来源的影响。同时，研究团队还发现，在传统AI任务上表现优秀的模型（如Qwen系列和Gemma系列）在情感认知测试中也相对表现较好，这暗示着通用AI能力与情感认知能力之间存在某种正相关关系。

CogIP-Bench的另一个重要价值在于它为AI情感认知能力的提升提供了明确的目标和测量标准。就像体能测试告诉运动员在哪些方面需要加强训练一样，这个测试平台明确指出了当前AI系统的薄弱环节，为后续的改进工作提供了方向。

四、"情感教育"的训练方法——让机器学会品味

发现了AI在情感认知方面的不足后，研究团队开始探索如何给机器进行"情感教育"。这个过程就像教一个天生缺乏艺术感的学生学会欣赏美术作品，需要耐心、系统的指导和大量的练习。

训练过程的核心是监督微调技术，但研究团队在传统方法的基础上进行了精巧的改进。他们面临的第一个挑战是，AI模型天生就对数字不敏感。对于语言模型来说，数字"7.5"和"8.5"在处理时被视为完全不同的符号，就像单词"猫"和"狗"一样。这就导致了一个问题：当要求AI预测一张图片的美感评分为7.8分时，如果它预测成7.9分，从人类感知角度来说这是非常接近的，但在传统的训练方法中，这两个答案被视为完全不同的错误答案。

为了解决这个数字敏感性问题，研究团队采用了两个巧妙的策略。首先，他们设计了"先分类再评分"的两步法。AI模型首先需要给出一个定性的评价，比如"非常美"、"一般美"或"不够美"，然后基于这个分类给出具体的数字评分。这种方法让模型先建立起对美感的概念性理解，再将这种理解转化为具体的数值。就像一个初学画画的人先要学会区分"好看"和"不好看"，然后才能进行更细致的品评。

其次，他们引入了"软标签"技术来改进训练过程。传统的训练方法只认为唯一的正确答案，而软标签技术承认答案之间存在相近性。如果正确答案是7.8分，那么7.7分和7.9分就被视为"接近正确"的答案，而6.8分或8.8分则被认为是"较远"的答案。这种方法让AI能够理解数字之间的距离关系，从而产生更加合理的预测。

训练数据的设计也体现了研究团队的细心考虑。他们为每个认知维度准备了800个训练样本，这些样本均匀分布在评分区间的各个段落中，确保AI能够学习到从极低到极高的各种情感水平。同时，他们精心设计了专门的提示语，帮助AI理解每个认知维度的具体含义。这些提示语就像是给学生的详细作业说明，清楚地告诉AI应该关注图像的哪些方面，以及如何进行评分。

为了避免过度拟合和保持模型的通用性，研究团队选择了LoRA（低秩适应）技术而不是全参数微调。这种方法类似于给一个已经受过良好教育的学生补习特定科目，而不是从头开始重新教育。它能够在保持模型原有能力的基础上，增加新的情感认知技能。

训练过程中的一个重要发现是，视觉编码器比语言模型在情感认知学习中发挥了更重要的作用。当研究团队分别冻结视觉部分和语言部分进行对比实验时，发现冻结视觉部分的效果明显更差。这表明情感认知能力主要依赖于对视觉信息的深度理解，而不仅仅是语言层面的处理。这个发现有点像发现音乐欣赏能力主要依赖于听觉敏感度而不是理论知识。

研究团队还探索了强化学习方法来进一步提升训练效果。他们使用了群体相对策略优化技术，基于预测评分与真实评分之间的接近程度来设计奖励信号。这种方法类似于根据学生答题的准确性来给予不同程度的鼓励，帮助AI逐步改善其判断能力。虽然这种方法在某些维度上显示出了改进潜力，但也带来了在其他通用任务上的一定性能下降，体现了AI训练中常见的权衡问题。

经过这种系统化的"情感教育"，AI模型开始表现出明显的改进。在CogIP-Bench测试中，训练后的模型在所有四个认知维度上都显示出了与人类判断更高的一致性。特别是在美感和情感识别方面，改进效果最为显著。这种提升不仅体现在测试分数上，更重要的是体现在AI对图像的理解变得更加细腻和人性化。

五、实战应用——情感认知能力的创意释放

经过"情感教育"训练的AI模型并不满足于仅仅成为一个优秀的图像评判者，研究团队进一步探索了这种新获得的认知能力如何在实际应用中发挥作用。他们发现，当这些具备情感认知能力的AI被整合到图像生成系统中时，产生了令人惊喜的效果。

为了验证训练效果在创意应用中的价值，研究团队选择了Qwen-Image这个先进的图像生成系统作为测试平台。这个系统本身就使用Qwen2.5-VL-7B-Instruct作为核心的多模态语言模型来理解和处理用户的指令。当研究团队将经过情感认知训练的模型替换原有的模型后，整个图像生成系统的表现发生了显著变化。

测试过程设计得既全面又公平。研究团队准备了五组不同类型的生成指令：专门测试美感生成能力的提示词、考验幽默创意的指令、要求表达特定情感的描述、挑战记忆度的场景，以及用于对比的一般性生成任务。每组包含100个精心设计的提示词，这些提示词由ChatGPT-5生成，确保了指令的多样性和代表性。

为了确保比较的客观性，研究团队在生成过程中使用了相同的随机种子，这意味着除了AI模型的认知能力差异外，其他所有条件都保持一致。这就像在相同的画布上让两个艺术家按照相同的主题创作，最终作品的差异完全反映了艺术家本身能力的不同。

当比较原始模型和训练后模型生成的图像时，差异立即变得明显。在美感方面，训练后的模型生成的图像在色彩搭配、构图平衡和整体视觉效果上都显示出更高的艺术水准。原本可能显得平淡或不协调的场景，在新模型的处理下变得更加赏心悦目。在幽默创意方面，训练后的模型能够更好地理解并创造出具有视觉趣味的场景，比如通过夸张的对比、意想不到的组合或者巧妙的视觉双关来产生幽默效果。

在情感表达方面，改进效果尤其显著。当指令要求生成"令人忧郁的雨夜场景"时，训练后的模型能够更精准地营造出符合这种情感氛围的视觉元素：恰当的光影对比、合适的色彩基调、能够触发相应情感反应的构图选择。这种改进使得生成的图像不仅在技术上准确，更在情感传达上更加有效。

为了量化这些改进效果，研究团队使用了多种评估指标。对于一般性的图像生成质量，他们采用了ClipScore、人类偏好评分、LAION美学评分和ImageReward评分等广泛认可的指标。结果显示，所有指标都出现了提升，其中ImageReward评分的提升幅度达到了22.8%，这个数字表明训练后的模型在人类评判者眼中产生了显著的质量改进。

对于认知特定的图像生成效果，研究团队使用专门的认知预测模型进行评估。这些模型专门训练用来预测图像在各个认知维度上的得分，代表了该领域的最高水平。结果显示，训练后的AI在所有四个认知维度上都实现了改进，特别是在情感维度上提升了19%，这表明新模型确实获得了更强的情感表达能力。

研究团队还进行了一项有趣的用户研究来验证这些客观指标所反映的真实效果。他们从每个认知维度随机选择了30对图像，每对包括原始模型和训练后模型基于相同提示词生成的图像，然后请五名志愿者在不知道哪个是哪个的情况下选择他们更喜欢的版本。结果显示，训练后模型生成的图像被选择的频率比原始模型高出1.7倍，这个比例清楚地表明了改进的实际效果。

这些实验结果展示了一个重要的发现：AI的情感认知能力不仅是一种被动的评判技能，更是一种主动的创造力量。当AI真正理解了什么是美、什么是有趣、什么是动人时，它就能够有意识地创造出具备这些特质的内容。这就像一个学会了音乐欣赏的人不仅能够评价音乐作品的优劣，还能够创作出更有感染力的音乐作品。

这种能力的获得意味着AI在创意产业中的角色正在发生根本性的转变。它不再只是一个执行技术指令的工具，而是开始成为具有一定审美判断和情感理解的创作伙伴。这为广告设计、艺术创作、情感计算等需要深度理解人类感受的领域开辟了新的可能性。

六、深度分析——训练策略的精妙设计

为了深入理解哪些训练策略真正起到了关键作用，研究团队进行了详尽的对比实验。这些实验就像厨师在试验新菜谱时逐一调整每个配料，以找出每种成分对最终效果的具体贡献。

第一个重要发现涉及模型组件的相对重要性。当研究团队分别冻结视觉编码器和语言模型进行训练时，结果出人意料。冻结视觉编码器（只训练语言部分）的效果明显劣于冻结语言模型（只训练视觉部分）的效果。这个发现颠覆了传统多模态训练中常见的做法——通常为了稳定性会冻结视觉编码器。这个结果表明，情感认知能力主要根植于对视觉信息的深层理解，而非单纯的语言处理能力。

这个发现类似于发现音乐欣赏能力主要依赖于听觉敏感度而非音乐理论知识。一个人可能不懂乐理，但如果听觉足够敏锐，依然能够感受到音乐的美感。同样，AI的情感认知能力更多地来源于对视觉特征的精细感知，而不是对情感概念的抽象理解。

软标签技术的引入也证明了其重要价值。与传统的硬标签训练相比，软标签训练在所有认知维度上都实现了改进。这种改进特别体现在数值预测的准确性上，模型学会了理解数字之间的相对关系，而不是将每个数字视为孤立的符号。这种细微但重要的改进使得AI的判断变得更加细腻和合理。

"先分类再评分"的两步策略也显示出了显著效果。相比于直接要求AI给出数字评分的简化方法，这种策略帮助模型建立了更稳固的概念基础。AI首先学会在概念层面理解"美"、"有趣"、"正面情感"等抽象概念，然后再将这些概念转化为具体的数值判断。这个过程模拟了人类的认知过程，我们在评价某个事物时往往也是先形成总体印象，再做出具体评判。

研究团队还发现，不同的认知维度对训练策略的敏感程度不同。美感和情感识别相对容易训练，改进效果也最为显著。幽默感知的训练难度适中，但改进稳定。而记忆度预测则最具挑战性，即使经过训练，改进幅度仍然有限。这种差异可能反映了这些认知能力本身的复杂程度不同——美感和情感更多依赖于直观的视觉特征，而记忆度则涉及更复杂的认知机制。

强化学习方法的探索为未来研究提供了有价值的见解。虽然群体相对策略优化在某些维度上实现了进一步改进，但也带来了在其他通用任务上的性能下降。这个结果揭示了AI训练中的一个根本性挑战：专门化能力的提升往往伴随着通用性能的某种程度牺牲。这就像一个人专注于发展某项特长时，可能会在其他方面投入较少精力。

更深层的分析显示，训练后的模型不仅在目标任务上表现更好，还在其他多模态任务上保持了稳定的性能。研究团队在12个涵盖视觉理解、光学字符识别、通用推理和知识应用的基准测试上验证了模型的通用能力。结果显示，经过情感认知训练的模型在保持原有能力的同时，在某些任务上甚至出现了意外的改进。这表明情感认知能力与通用AI能力之间存在某种正相关关系。

训练过程中的另一个重要发现是数据平衡的重要性。通过在每个认知维度的评分区间内均匀采样，研究团队确保了AI能够学习到完整的情感认知光谱。如果训练数据中某种情感水平的样本过多，AI就会产生偏见，倾向于给出相似的判断。这种平衡采样策略类似于营养均衡的重要性——各种营养素都需要适当摄入才能维持健康。

这些深入的分析结果为未来的研究提供了清晰的指导。它们揭示了哪些策略是必要的，哪些改进是有效的，以及在什么情况下需要做出权衡。更重要的是，这些发现展示了AI情感认知能力培养的复杂性和系统性，强调了需要多方面协调配合才能实现真正的突破。

说到底，这项研究最重要的价值在于证明了AI确实可以学会像人类一样"感受"图像，而且这种能力不仅仅是理论上的可能，更是具有实际应用价值的技术突破。当AI开始理解美感、幽默、情感和记忆度时，它就不再只是一个冷冰冰的计算工具，而是开始具备了某种形式的"品味"和"感受力"。

这种进步意味着我们正在接近一个新的AI时代——机器不仅能够理解我们说什么，还能够理解我们的感受和偏好。未来，当你要求AI帮你设计一张海报时，它不会只是机械地按照指令放置元素，而是会考虑如何让这张海报更美观、更有趣、更有感染力。当你让AI帮你挑选照片时，它不会只看技术参数，还会理解哪些照片真正触动了你的心。

当然，这项研究也提醒我们，AI的情感认知能力虽然在快速发展，但距离完全理解人类的复杂感受还有很长的路要走。美感、幽默、情感这些概念本身就充满了文化相关性和个体差异性，要让AI完全掌握这些微妙之处，还需要更多的研究和探索。不过，这项工作已经为我们展示了一个令人兴奋的可能性：AI正在从理解世界的"是什么"向理解世界的"感觉如何"迈进，而这种转变将深刻改变人机交互的方式和AI在创意领域的作用。

对于关心AI发展的普通人来说，这项研究传递了一个重要信息：未来的AI将不仅仅是高效的工具，更可能成为理解我们情感需求的伙伴。虽然我们还不需要担心AI会完全取代人类的创意工作，但我们确实可以期待一个AI更好地理解和协助人类创意表达的未来。

Q&A

Q1：CogIP-Bench测试平台具体是怎样评估AI情感认知能力的？

A：CogIP-Bench通过四个认知维度测试AI：美感认知、幽默感知、情感识别和记忆度评估。每个维度包含120个测试样本，AI需要看图像并给出0-10分的评分，然后通过斯皮尔曼相关系数等指标衡量AI判断与人类判断的一致性。测试发现大多数AI模型的相关性都低于0.5，在记忆度评估上甚至接近零。

Q2：经过情感认知训练的AI在图像生成方面有什么具体改进？

A：训练后的AI在图像生成质量上显著提升，所有评估指标都有改进，特别是ImageReward评分提升了22.8%。在认知特定生成中，情感维度提升了19%。用户研究显示，人们选择训练后模型生成图像的频率比原始模型高1.7倍。生成的图像在美感、情感表达和视觉趣味性方面都更符合人类偏好。

Q3：这项研究对未来AI在创意领域的应用有什么意义？

A：这项研究证明AI可以学会理解图像的主观特质如美感、幽默和情感，这将改变AI在创意产业中的角色。未来的AI不再只是执行技术指令的工具，而是具备一定审美判断和情感理解的创作伙伴，可以在广告设计、艺术创作、情感计算等需要理解人类感受的领域发挥更大价值，生成更符合人类情感需求的内容。