5月21日,搜狗联合新华社推出的全球首个3D AI合成主播“新小微”正式亮相,为全国观众带来最新的两会新闻资讯报道。基于搜狗人工智能核心技术“搜狗分身”打造的“新小微”,将拉开中国传媒行业全面进入智慧时代的序幕。
作为AI合成主播的开创者和引领者,自2018年基于搜狗分身技术推出全球首个AI合成主播后,搜狗分身持续取得重大突破,此次的3D AI合成主播就是搜狗分身最新的突破性成果。
“新小微”以新华社记者赵琬微为原型,基于超写实3D数字人建模、多模态识别及生成、实时面部动作生成及驱动、迁移学习等多项人工智能前沿技术,使机器可以基于输入文本生成逼真度极高的3D数字人视频内容。
3D AI合成主播结合了原力科技提供的业界领先的扫描还原、面部肌肉驱动、表情肢体捕捉等技术,生产出了高度还原真人发肤、形象逼真的数字人模型;同时基于搜狗分身领先的端到端多模态建模技术,使用语音、图像、文本、3D肌肉运动数据等多模态信息完成联合建模训练。在AI算法的驱动下,只需输入文本内容,“新小微”就能根据语义实时播报新闻,其表情唇动、肢体动作和语音表达高度契合、自然逼真。
搜狗推出全球第一位AI合成主播后,通过不断迭代更新使AI合成主播具备了多语种播报、对话交互等诸多能力,用最前沿的技术能力和产品效果,不断推动传媒行业内容生产的效率变革。据统计,首位 AI 合成主播“新小浩”已在新华社客户端上持续为观众服务500 多天,先后产出13,000多条新闻报道,累计时长超过35,000分钟。
较之前的2D AI合成主播,3D“新小微”不仅立体、灵活,可控,还具有同时支持多机位多景深,360°任意角度呈现内容等能力,在应用空间上拥有更多的可能性,为新闻节目多样化制作和呈现带来了更多选择。
从最初的2D到今天的3D AI合成主播,其背后不仅仅是搜狗分身技术的一次次突破迭代,更体现出人工智能驱动传媒行业生产效率与生产流程的不断革新。不仅减轻了行业从业者的重复性工作,更让相关工作“拟人化”、“生动化”,让传媒新闻播报更加有趣,更具现场性。不久的将来,3D AI合成主播还会走出演播厅,支持外景播报和互动采访,为观众带来最前沿的新闻讯息。
在5G全面铺展的新技术时代,随着分身技术落地经验的不断积累以及产品技术的突破创新,搜狗分身也会从传媒领域出发,快速向影音娱乐、医疗健康、教育金融等众多领域蔓延辐射,持续推动大众智能生活的建设。
好文章,需要你的鼓励
AIM Intelligence联合多所知名大学揭示了音频AI系统的重大安全漏洞,开发出名为WhisperInject的攻击方法。这种攻击能让看似无害的音频指令操控AI生成危险内容,成功率超过86%,完全绕过现有安全机制。研究暴露了多模态AI系统的系统性安全风险,对全球数十亿智能设备构成潜在威胁。
新加坡国立大学研究团队系统梳理了视觉强化学习领域的最新进展,涵盖超过200项代表性工作。研究将该领域归纳为四大方向:多模态大语言模型、视觉生成、统一模型框架和视觉-语言-动作模型,分析了从RLHF到可验证奖励范式的政策优化策略演进,并识别出样本效率、泛化能力和安全部署等关键挑战,为这一快速发展的交叉学科提供了完整的技术地图。
浙江大学研究团队通过OmniEAR基准测试揭示了当前AI模型在物理世界推理方面的严重缺陷。测试显示,即使最先进的AI在明确指令下能达到85-96%成功率,但面对需要从物理约束推断行动的任务时,成功率骤降至56-85%。研究发现信息过载反而降低AI协作能力,监督学习虽能改善单体任务但对多智能体协作效果甚微,表明当前架构存在根本局限性。
纽约大学和Aimpoint Digital Labs的研究团队首次揭示了Transformer模型训练中"大规模激活"的完整发展轨迹。这些影响力比普通激活大千倍的"超级激活"遵循可预测的数学规律,研究者开发出五参数公式能以98.4%准确率预测其变化。更重要的是,通过调整模型架构参数如注意力密度、宽深比等,可以在训练前就预测和控制这些关键激活的行为,为设计更高效、量化友好的AI模型提供了全新工具。