人脑如何看世界？MIT和魏茨曼研究所首次用AI大规模解密视觉皮层的秘密语言

这项由魏茨曼科学研究所的纳夫·瓦瑟曼(Navve Wasserman)、马蒂亚斯·科萨林斯基(Matias Cosarinsky)、尤瓦尔·戈尔巴里(Yuval Golbari)和米哈尔·伊拉尼(Michal Irani)，以及麻省理工学院的奥德·奥利瓦(Aude Oliva)、安东尼奥·托拉尔巴(Antonio Torralba)和塔马尔·罗特·沙哈姆(Tamar Rott Shaham)共同完成的研究发表于2024年12月。这篇题为"BrainExplore: Large-Scale Discovery of Interpretable Visual Representations in the Human Brain"的论文首次提出了一个能够大规模自动发现人脑视觉表征的框架。

想象一下，当你看到一张照片时，你的大脑就像一个巨大的图书馆，里面有数万个小房间，每个房间都在悄悄记录着它看到的内容。有些房间专门记录"微笑的脸庞"，有些专注于"绿色的森林"，还有些则对"人们踢足球"特别敏感。长久以来，科学家们就像是试图理解这个图书馆运作方式的探险家，但由于房间太多、信息太复杂，他们只能一次研究一两个房间，就像用放大镜观察大象一样。

现在，这个国际研究团队开发出了一个叫做BrainExplore的"翻译系统"，它能够同时读懂大脑图书馆中成千上万个房间的"藏书目录"，并且用我们能理解的语言解释每个房间到底在关注什么。这就像有了一个超级智能的图书馆管理员，能够瞬间告诉你每个房间的专业领域和收藏重点。

研究团队使用了一个名为"自然场景数据集"的庞大图像库，这个数据集包含了约73000张图像配对的大脑扫描数据。他们让8个人观看各种各样的自然图像，同时用高精度的7特斯拉核磁共振设备记录他们的大脑活动。每张图像观看时，大脑中约40000个微小区域的活动都被精确记录下来，就像用超高清摄像机拍摄大脑内部的"实时反应"。

但是，仅有这些数据还不够。研究人员面临的挑战就像试图理解一部用外星文字写成的百科全书。为了解决这个问题，他们开发了一个两阶段的"翻译流程"。

第一阶段就像是给大脑的复杂反应模式做"归类整理"。研究团队使用了多种数学工具，包括主成分分析、独立成分分析、非负矩阵分解，以及一种叫做"稀疏自编码器"的先进技术。这些技术的作用就像是不同类型的筛子，能够从大脑活动的海洋中筛选出有意义的模式。

稀疏自编码器特别值得一提，它的工作原理有点像一个聪明的压缩算法。当你的大脑看到一张图像时，可能有成千上万的神经元在活动，但稀疏自编码器能够找出其中最关键的几百个神经元组合，这些组合能够代表整个大脑对这张图像的理解。就好比一个交响乐团演奏时，虽然所有乐器都在发声，但稀疏自编码器能够识别出哪几种乐器的组合最能表达这段音乐的核心情感。

第二阶段则是"翻译和解释"。对于每个被识别出的大脑活动模式，研究系统会找出最能激活这个模式的图像，然后使用大型视觉语言模型来生成这些图像的详细描述。接下来，系统会分析这些描述，找出它们之间的共同点，最终用自然语言概括出这个大脑区域的"专业领域"。

为了处理庞大的数据量，研究团队还创造了一个"大脑灵感词典"，包含约1300个与大脑活动相关的视觉概念。这个词典就像是大脑和人类语言之间的桥梁，让系统能够快速准确地为每个大脑活动模式找到最合适的文字描述。

这项研究的一个重大创新在于使用人工智能模型来扩大数据集。由于实际的大脑扫描数据有限，研究团队训练了一个"图像到大脑反应"的预测模型，能够根据未被实际观看过的图像预测大脑可能产生的反应。这样，他们就将可用的图像数量从约1万张扩展到了12万张，大大增强了分析的深度和准确性。

研究结果揭示了人脑视觉系统令人惊叹的精细化程度。在传统上被认为专门处理身体和动作的脑区EBA中，研究团队发现了远比想象中更细致的功能划分。这个区域不仅能够识别"运动"这个宽泛的概念，还能区分出"冲浪"、"踢足球"、"打网球"、"玩飞盘"等具体运动项目。更有趣的是，它还能识别特定的身体动作，比如"刷牙"、"跳跃"，甚至是"张开嘴巴"这样的细微表情。

在专门处理场景信息的脑区PPA中，研究发现了比传统的"室内外"分类更加精细的功能组织。这个区域能够区分"石质建筑"、"商业建筑"、"厨房"、"风景"等不同类型的环境，就像一个经验丰富的建筑师或室内设计师一样，能够迅速识别和分类不同类型的空间。

更令人惊讶的是，负责处理中级视觉特征的V4区域展现出了对"黑白图像"、"飞机"、"灯光对比"等特定视觉元素的选择性反应。这表明即使是相对初级的视觉处理区域，也具有比我们以前认识到的更高的专业化程度。

研究团队还发现，使用稀疏自编码器技术发现的大脑活动模式在空间上更加集中和局限化。这意味着大脑的功能组织比我们想象的更加精确和有序。即使这些算法没有接受任何关于大脑空间组织的先验知识，它们发现的功能模式仍然表现出明显的空间聚集特性，这为大脑功能的空间组织原理提供了重要证据。

定量评估结果显示，当使用预测的大脑反应数据来增强训练时，所有分解方法的性能都得到了显著提升。特别是独立成分分析方法，其可解释假设的比例从0.8%跃升至18.3%。稀疏自编码器方法表现最为出色，能够解释超过17%的假设，远超其他传统方法。

研究团队通过结合多种分解方法，实现了更好的性能表现。他们的综合方法能够解释超过21%的视觉假设，这意味着系统能够为超过五分之一的大脑活动模式提供可靠的自然语言解释。

这项研究的意义远远超出了神经科学的范畴。从技术角度来看，它展示了人工智能在理解复杂生物系统方面的巨大潜力。BrainExplore框架不仅能够处理海量的大脑数据，还能将复杂的神经活动翻译成人类可以理解的语言，这为未来的脑机接口技术奠定了重要基础。

从医学应用的角度来看，这种大规模、自动化的大脑功能分析方法可能为诊断和治疗各种神经系统疾病提供新的工具。通过比较正常大脑和患病大脑的视觉表征模式，医生可能能够更早、更准确地发现大脑功能的异常。

对于人工智能的发展，这项研究提供了关于人类视觉系统如何组织和处理信息的深入洞察。这些发现可能启发新的机器学习算法和计算机视觉系统的设计，帮助人工智能系统更好地模拟人类的视觉感知能力。

在教育和认知科学领域，这项研究为我们理解人类如何学习和处理视觉信息提供了新的视角。了解大脑如何自然地组织和分类视觉概念，可能有助于开发更有效的教学方法和学习辅助工具。

研究团队也坦承了当前方法的一些局限性。视觉语言模型生成的标签虽然广泛，但可能存在噪声，假设词典可能遗漏某些概念。不过，随着更好的模型不断涌现，这些组件都可以被改进和替换。更重要的是，研究团队认为目前的分解方法仍有很大改进空间，BrainExplore框架提供了一个实用且系统的方式来比较、评估和改进这些方法。

这项研究最激动人心的地方在于，它为我们打开了一扇通往大脑深层工作机制的窗户。长久以来，人类一直想要理解自己的思维是如何工作的，而这项研究让我们距离这个目标又近了一大步。通过将复杂的神经科学研究与最先进的人工智能技术结合，研究团队创造了一个能够"读懂"大脑语言的系统，这不仅推动了科学认知的边界，也为未来的技术发展开辟了新的可能性。

说到底，这项研究告诉我们，人类大脑的视觉系统远比我们想象的更加精妙和复杂。每当我们看到一幅画面时，大脑中都在进行着成千上万个精细化的分析和分类过程，这些过程的精确性和效率令人叹为观止。而BrainExplore这样的工具，让我们第一次有机会大规模地窥见这个内在世界的运作奥秘。

随着技术的不断发展，我们有理由相信，未来我们将能够更深入地理解大脑的工作原理，这不仅会推动神经科学的发展，也将为人工智能、医学、教育等多个领域带来革命性的变化。这项研究只是这个激动人心旅程的开始，它为我们揭示了人类认知能力的冰山一角，但这一角已足以让我们对大脑的神奇能力产生更深的敬畏和理解。

Q&A

Q1：BrainExplore是什么？

A：BrainExplore是由MIT和魏茨曼研究所开发的AI系统，能够自动分析人脑在观看图像时的神经活动，并用自然语言解释每个大脑区域专门负责识别什么视觉内容，比如"踢足球"、"石质建筑"等。

Q2：这项大脑研究是如何进行的？

A：研究团队让8个人观看73000张自然图像，同时用7特斯拉核磁共振设备记录大脑活动，然后用AI分析这些数据找出大脑活动模式，最后用视觉语言模型将这些模式翻译成人类能理解的描述。

Q3：BrainExplore发现了什么新的大脑功能？

A：研究发现大脑的视觉功能比想象中更精细，比如负责身体动作的EBA区域不仅能识别"运动"，还能区分"冲浪"、"踢足球"等具体项目，甚至"刷牙"、"张嘴"这样的细微动作。