成立一年之际,阿里巴巴前沿技术研究机构达摩院又传来新进展。以色列理工学院著名计算机视觉科学家Lihi Zelnik-Manor教授,已入职达摩院以色列机器视觉实验室。
作为实验室负责人,她将带领团队推动达摩院计算机视觉领域的基础研究,以及新零售、智慧城市等广泛领域的应用结合。
以色列机器视觉研究实验室,是达摩院遍布全球的科研机构之一,也是达摩院首支完全由外籍科学家组成的研发团队,成员来自于Intel、三星、特拉维夫大学等世界级研究机构。
作为全球领先的创新之国与科技中心,以色列一直以从0到1的科技创新著称全球,而中国则在先进技术的大范围普及运用上积累了丰富经验。未来,达摩院设立在以色列的研发实验室将扮演创新枢纽的角色,结合中以两国各自的创新优势,促进技术普惠与新商业模式的孵化。
机器视觉实验室正在研发的计算机视觉技术,能有效提升计算机对外部物理世界的理解能力,在城市大脑、新零售等领域都有丰富的应用场景。
诸如,通过视频理解技术,能有效提升城市大脑对对车辆行驶动作、行人行为的识别判断能力,提升城市道路的管理效率。而在新零售场景,智能货架与AI收银机能更精确的识别消费者的购买动作,从而实现自动结账、智能防损等应用。
图说:达摩院以色列机器视觉实验室负责人 Lihi Zelnik-Manor 教授
加盟达摩院之前,Lihi Zelnik-Manor在以色列理工学院电气工程系担任副教授,领导该校的计算图像与多媒体实验室。以色列理工学院也被誉为以色列的麻省理工,是以色列重要的基础科学与计算机科技研究中心。
Lihi教授曾多次荣获IEEE与ICCV的杰出论文奖,并连续多年担任ECCV 与CVPR等计算机视觉大会的主席,此外她还是顶级学术期刊TPAMI的核心编辑。她还荣获了以色列理工学院的Gutwirth奖,以表彰她在计算机视觉领域取得的杰出成就。
除了以色列外,达摩院已在新加坡、美国等多个国家与地区设立研发中心与实验室,并与新加坡南洋理工大学、斯坦福大学、加州大学伯克利分校、清华大学、浙江大学、中国科学院成立多个联合研究基地。
好文章,需要你的鼓励
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。
这篇论文介绍了LegalSearchLM,一种创新的法律案例检索方法,将检索任务重新定义为法律要素生成。研究团队构建了LEGAR BENCH数据集,涵盖411种犯罪类型和120万案例,并开发了能直接生成关键法律要素的检索模型。实验表明,该模型在准确率上超越传统方法6-20%,且在未见犯罪类型上展现出强大泛化能力。这一突破为法律专业人士提供了更高效、精准的案例检索工具。