近日,快手与中国人民大学高瓴人工智能学院联合成立未来媒体智能联合实验室。此番合作,双方将打通产学研链路,开展联合研究、多应用场景探索和人才培养合作,在多模态大模型、AIGC、智能搜索与推荐、数字人等多个人工智能前沿领域持续推进技术创新。
出席签约仪式的中国人民大学副校长王轶表示,高瓴人工智能学院承担着重塑人大学科的重要角色,是人大学科体系调整创新的战略支撑,此次签约是双方合作伙伴关系向前推进的第一步,以此为契机将来能够进一步深化在科学研究、人才培养、社会服务、国际交流、文化传承方方面面的合作。
快手高级副总裁于冰表示,互联网产业的爆发式增长得益于规模与技术的乘积效应。快手作为国民级的短视频直播平台,有高密度技术人才、丰富的应用场景、巨大的用户与数据规模,以及大规模算力资源,积极向学界开放合作,能为科研提供真实可靠的验证环境,大幅提升相关科研成果的含金量。双方的强强联合,可对行业产生更大影响,发挥更大价值。
快手副总裁王仲远介绍,自2011年成立以来,快手不断地拓展自身业务形态,如今已发展成为集短视频、社交、直播、电商等多种功能于一体的数字化社区。2022 年日活和月活用户分别达到了 3.66 亿和6.4亿。庞大活跃的用户社区孕育了多元化的内容生态,如快手短剧、体育、二次元、三农以及面向人文教育的泛知识类视频等。快手和人大的本次合作,将契合国家重大战略的发展需求,面向未来进行技术布局和联合研发。
据悉,中国人民大学高瓴人工智能学院成立于2019年,旨在打造一所能够影响和塑造未来人工智能时代的世界一流学院,成立至今,学院已在AI尤其是大模型、多模态大模型等领域取得多项科研成果,成为双方合作、建立联合实验室的重要根基。在国际排行榜CSRankings中,中国人民大学在互联网与信息检索方向排名位居世界第一。
此外,双方在科技创新与人才培养方面也取得了丰硕成果,如联合发表顶会论文5篇、联合培养 11位硕博生。相关研究成果也切实提升了快手的业务效果,提升了观看时长、完播率、点赞率、生产作品数等核心指标。
在视频内容的分发上,背后是通过复杂多样的智能推荐算法来驱动的。快手副总裁宋洋介绍,快手目前投入上千名算法工程师在推荐算法的模型与策略研发之上。快手也会持续运用AI技术,在内容生产、内容理解和内容分发三大方面为用户创造更极致的产品体验。
22日下午,中国人民大学-快手未来媒体智能联合实验室举办了首届学术研讨会——WWW 2023论文分享会。快手的一众算法专家和高级算法工程师与高瓴人工智能学院的博(硕)士生共聚一堂,分别就基于多任务/偏好/表示的推荐、个性化搜索与推荐、可信搜索与推荐和基于强化学习的推荐等主题进行了精彩分享。
快手副总裁江鹏表示,“快手在推荐算法上技术创新投入很大,近年来在强化学习、因果推断、图学习、搜推联合、端智能等前沿方向上取得突破,大量成果发布在WWW、KDD、SIGIR等顶级学术会议上。随着GPT-4多模态大模型的发布,我们积极探索生成式大模型在推荐系统领域的创新。”
未来,中国人民大学 - 快手未来媒体智能联合实验室将围绕多模态大模型、AIGC、数字人和搜索推荐等主题展开全面探索。
好文章,需要你的鼓励
GeoVerse融合几何潜在扩散模型与Wan2.2视频生成先验,并引入全局空间记忆机制,实现了跨视角一致、生成质量高且推理速度快的新视角合成,在多个数据集上大幅超越现有方法GLD。
本文解读TT-VidT,一种通过分离外观锚点与动作令牌、结合Diff Compression训练目标的视频自监督方法。在24种架构目标组合的受控实验中,仅TT3D与Diff Compression搭配才能进入强动作敏感区,且计算量比同类方法降低近一半。
Q&A Q1:Imprint Reader是什么? A:Imprint Reader是上海人工智能实验室团队开发的模型,通过SMaRT训练方法学会读取另一个模型冻结的权重更新,把参数层面的变化翻译成自然语言描述,判断这次更新到底注入了什么知识或诱导了什么行为习惯。 Q2:MetaEdit能做什么? A:MetaEdit能把Reader对目标行为的梯度信号迁移到原始模型上,不需要任何目标任务的训练数据,只用一句行为描述就能定向调整模型参数,已经在安全性拒绝率调节、数学推理风格转变和工具调用能力提升上验证过效果。 Q3:Imprint Reader读权重更新的准确率高吗? A:目前还不高,知识类目标的Pass@100只有2%,行为类目标是16%,说明自由生成描述的可靠性有限,但相比原始模型完全答不出来的0%基线,已经证明了权重更新的自然语言读取是可行的。
统一多模态模型能看也能画,理论上该会自我修正。本论文提出UMM-Reflection,用整条轨迹的强化学习联合训练诊断和修图能力,GenEval提升12分,且迁移到多个未训练基准,揭示RL提升的是选择可靠性而非新能力。