
在人工智能研究领域,Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio一直被公认为深度学习三巨头。
Yoshua Bengio是蒙特利尔大学(Université de Montréal)的终身教授,任教超过22年,是蒙特利尔大学机器学习研究所(MILA)的负责人,是CIFAR项目的负责人之一,负责神经计算和自适应感知器等方面,又是加拿大统计学习算法学会的主席,是ApSTAT技术的发起人与研发大牛。Bengio在蒙特利尔大学任教之前,是AT&T贝尔实验室 & MIT的机器学习博士后。
他的研究工作主要聚焦在高级机器学习方面,致力于用其解决人工智能问题,他是仅存的几个仍然全身心投入在学术界的深度学习教授之一。
Bengio 的主要贡献在于他对循环神经网络(RNN, Recurrent Neural Networks)的一系列推动,包括经典的neural language model,gradient vanishing 的细致讨论,word2vec的雏形,以及machine translation。Bengio是Deep Learning (《深度学习》)一书的合著者(另两位作者是Ian Goodfellow与Aaron Courville),这本书被Elon Musk评价为“深度学习领域的权威教科书”,且Bengio的”A neural probabilistic language model”论文开创了神经网络的语言模型 language model 先河,里面的思路影响了之后的很多基于神经网络做 NLP(自然语音处理) 的文章。
为了在蒙特利尔大学及其附近的麦吉尔大学发展出“AI 生态环境”,2016年年末,Bengio 启动了一个名为 Element AI 的创业孵化器,以帮助研究所催生出的初创公司找准发展方向。
好文章,需要你的鼓励
过去十年,终端厂商比拼的是“性能”和“参数”,如今,竞争的焦点正转向“智能程度”。
Fractal AI Research实验室开发了Fathom-DeepResearch智能搜索系统,该系统由两个4B参数模型组成,能够进行20多轮深度网络搜索并生成结构化报告。研究团队创新了DUETQA数据集、RAPO训练方法和认知行为奖励机制,解决了AI搜索中的浅层化、重复性和缺乏综合能力等问题,在多项基准测试中显著超越现有开源系统,为AI助手向专业研究工具转变奠定了基础。
快手科技与清华大学合作发现当前AI语言模型训练中存在严重的权重分配不平衡问题,提出了非对称重要性采样策略优化(ASPO)方法。该方法通过翻转正面样本的重要性权重,让模型把更多注意力放在需要改进的部分而非已经表现良好的部分,显著提升了数学推理和编程任务的性能,并改善了训练稳定性。