今天,Meta公司人工智能研究部门Meta AI官宣,正在着手一个长期研究项目,研究人脑如何处理语言,目标是建立更好的语言模型。
该项目日前宣布,将与神经成像中心NeuroSpin、法国国家数字科学与技术研究所Inria合作完成。有了这两个基金会的参与,Meta AI将比较人工智能语言模型和人脑对相同的口语或书面句子的反应。
“了解人类智力的起源是21世纪科学界的一大挑战”,NeuroSpin主任Stanislas Dehaene说道,“语言人工神经网络越来越接近于模仿人脑的活动,从而为思考如何在神经组织中实现人脑思想提供了新思路。”
目前,最接近人类语言的人工智能模型是通过观察上下文来系统地分解句子,并试图基于一种机器学习类型来预测下一个单词。尽管这些系统或许会带来一种表面“人性化”的错觉,但相比人脑,还是差了一大截。
例如,人工智能模型的输入是“Once upon”(从),要预测下一个词,能够预测到“a time”(Once upon a time,英语里常用于童话故事的开头,相当于“从前”),是个孤立的过程。而另一方面,对于一个在童话故事中长大的人而言,其大脑听到 "Once upon"后,大脑不仅仅会预测“a time”是下一个词组,脑海中还会浮现出与童话相关的各种神奇概念,例如邪恶的女巫、龙、城堡、英雄和其他具有文化意义的东西。
当大脑做出这些预测时,它们会生成特定的“大脑状态”,可以在大脑成像中看到。Meta AI利用功能性磁共振成像和脑磁图扫描仪,在志愿者阅读或听故事时拍摄大脑活动的快照。
当研究人员开始用机器学习记录来自公共数据集的大脑扫描,并结合新的功能性磁共振成像和脑磁图扫描仪,他们发现了一些有趣的事情。该研究表明,人脑中的语言处理过程与人工智能语言模型的工作原理类似,往往类似于有组织的层次结构。
例如,当单词触发视觉刺激时,大脑中有一些区域与视觉处理算法类似,也有一些区域与表示单词理解的算法类似,而整个网络的行为似乎与人工智能语言转换器类似。
在大脑研究中,我们已经知道,大脑的特定区域是视觉化和语言处理的一部分,它们的相互作用形成了构建叙事和表达的网络。Meta AI的结果显示,大脑的某些区域,如前额叶和顶叶皮质——位于大脑的前部和中部——最能代表语言模型,并能对遥远的未来进行单词预测。
在Meta AI工作的博士生Charlotte Caucheteux表示,“我们发现,更好的算法是在预测下一个单词越多,就越类似大脑的活动,这一点相当重要,因为这表明,大脑和算法之间共享的内部表征对于处理语言的算法是有用的。”
Meta AI的研究人员和他们的合作者认为,他们很可能踏上了成功之路,因为他们在分析了200名志愿者的简单阅读测试的大脑活动后很快得到了验证。约一周后,麻省理工学院的一个团队独立完成了一项类似的研究,并得出了非常相似的结论。
通过这些研究,Meta AI希望在人脑和人工智能模型之间建立可量化的相似性,并利用这些相似性对大脑功能产生新见解。通过提供与人类语言使用更协调的行为和反应的人工智能,它将能够以自然的方式更好地与人互动。
好文章,需要你的鼓励
新加坡国立大学研究团队开发了SPIRAL框架,通过让AI与自己对弈零和游戏来提升推理能力。实验显示,仅训练AI玩简单扑克游戏就能让其数学推理能力提升8.6%,通用推理提升8.4%,且无需任何数学题目作为训练材料。研究发现游戏中的三种推理模式能成功转移到数学解题中,为AI训练提供了新思路。
同济大学团队开发的GIGA-ToF技术通过融合多帧图像的"图结构"信息,创新性地解决了3D相机噪声问题。该技术利用图像间的不变几何关系,结合深度学习和数学优化方法,在合成数据集上实现37.9%的精度提升,并在真实设备上展现出色泛化能力,为机器人、AR和自动驾驶等领域提供更可靠的3D视觉解决方案。
伊利诺伊大学研究团队通过对比实验发现,经过强化学习训练的视觉语言模型虽然表现出"顿悟时刻"现象,但这些自我纠错行为并不能实际提升推理准确率。研究揭示了AI模型存在"生成-验证差距",即生成答案的能力强于验证答案质量的能力,且模型在自我验证时无法有效利用视觉信息,为AI多模态推理发展提供了重要启示。
MIT等顶尖机构联合提出SparseLoRA技术,通过动态稀疏性实现大语言模型训练加速1.6倍,计算成本降低2.2倍。该方法使用SVD稀疏性估计器智能选择重要计算部分,在保持模型性能的同时显著提升训练效率,已在多个任务上验证有效性。