今天,Meta公司人工智能研究部门Meta AI官宣,正在着手一个长期研究项目,研究人脑如何处理语言,目标是建立更好的语言模型。
该项目日前宣布,将与神经成像中心NeuroSpin、法国国家数字科学与技术研究所Inria合作完成。有了这两个基金会的参与,Meta AI将比较人工智能语言模型和人脑对相同的口语或书面句子的反应。
“了解人类智力的起源是21世纪科学界的一大挑战”,NeuroSpin主任Stanislas Dehaene说道,“语言人工神经网络越来越接近于模仿人脑的活动,从而为思考如何在神经组织中实现人脑思想提供了新思路。”
目前,最接近人类语言的人工智能模型是通过观察上下文来系统地分解句子,并试图基于一种机器学习类型来预测下一个单词。尽管这些系统或许会带来一种表面“人性化”的错觉,但相比人脑,还是差了一大截。
例如,人工智能模型的输入是“Once upon”(从),要预测下一个词,能够预测到“a time”(Once upon a time,英语里常用于童话故事的开头,相当于“从前”),是个孤立的过程。而另一方面,对于一个在童话故事中长大的人而言,其大脑听到 "Once upon"后,大脑不仅仅会预测“a time”是下一个词组,脑海中还会浮现出与童话相关的各种神奇概念,例如邪恶的女巫、龙、城堡、英雄和其他具有文化意义的东西。
当大脑做出这些预测时,它们会生成特定的“大脑状态”,可以在大脑成像中看到。Meta AI利用功能性磁共振成像和脑磁图扫描仪,在志愿者阅读或听故事时拍摄大脑活动的快照。
当研究人员开始用机器学习记录来自公共数据集的大脑扫描,并结合新的功能性磁共振成像和脑磁图扫描仪,他们发现了一些有趣的事情。该研究表明,人脑中的语言处理过程与人工智能语言模型的工作原理类似,往往类似于有组织的层次结构。
例如,当单词触发视觉刺激时,大脑中有一些区域与视觉处理算法类似,也有一些区域与表示单词理解的算法类似,而整个网络的行为似乎与人工智能语言转换器类似。
在大脑研究中,我们已经知道,大脑的特定区域是视觉化和语言处理的一部分,它们的相互作用形成了构建叙事和表达的网络。Meta AI的结果显示,大脑的某些区域,如前额叶和顶叶皮质——位于大脑的前部和中部——最能代表语言模型,并能对遥远的未来进行单词预测。
在Meta AI工作的博士生Charlotte Caucheteux表示,“我们发现,更好的算法是在预测下一个单词越多,就越类似大脑的活动,这一点相当重要,因为这表明,大脑和算法之间共享的内部表征对于处理语言的算法是有用的。”
Meta AI的研究人员和他们的合作者认为,他们很可能踏上了成功之路,因为他们在分析了200名志愿者的简单阅读测试的大脑活动后很快得到了验证。约一周后,麻省理工学院的一个团队独立完成了一项类似的研究,并得出了非常相似的结论。
通过这些研究,Meta AI希望在人脑和人工智能模型之间建立可量化的相似性,并利用这些相似性对大脑功能产生新见解。通过提供与人类语言使用更协调的行为和反应的人工智能,它将能够以自然的方式更好地与人互动。
好文章,需要你的鼓励
AIM Intelligence联合多所知名大学揭示了音频AI系统的重大安全漏洞,开发出名为WhisperInject的攻击方法。这种攻击能让看似无害的音频指令操控AI生成危险内容,成功率超过86%,完全绕过现有安全机制。研究暴露了多模态AI系统的系统性安全风险,对全球数十亿智能设备构成潜在威胁。
新加坡国立大学研究团队系统梳理了视觉强化学习领域的最新进展,涵盖超过200项代表性工作。研究将该领域归纳为四大方向:多模态大语言模型、视觉生成、统一模型框架和视觉-语言-动作模型,分析了从RLHF到可验证奖励范式的政策优化策略演进,并识别出样本效率、泛化能力和安全部署等关键挑战,为这一快速发展的交叉学科提供了完整的技术地图。
浙江大学研究团队通过OmniEAR基准测试揭示了当前AI模型在物理世界推理方面的严重缺陷。测试显示,即使最先进的AI在明确指令下能达到85-96%成功率,但面对需要从物理约束推断行动的任务时,成功率骤降至56-85%。研究发现信息过载反而降低AI协作能力,监督学习虽能改善单体任务但对多智能体协作效果甚微,表明当前架构存在根本局限性。
纽约大学和Aimpoint Digital Labs的研究团队首次揭示了Transformer模型训练中"大规模激活"的完整发展轨迹。这些影响力比普通激活大千倍的"超级激活"遵循可预测的数学规律,研究者开发出五参数公式能以98.4%准确率预测其变化。更重要的是,通过调整模型架构参数如注意力密度、宽深比等,可以在训练前就预测和控制这些关键激活的行为,为设计更高效、量化友好的AI模型提供了全新工具。