
视频化已是各行业大势所趋,激发出多元化需求。面临机遇与挑战,快手StreamLake专注于成为视频化升级助推器,推出视频化升级全链路解决方案。近期,快手StreamLake亮相LiveVideoStackCon 2022北京站,展示了一站式音视频+AI解决方案。
快手高级副总裁、研发线负责人于冰在主论坛带来《汇聚音视频新能量,探索行业新蓝海》主题演讲,从视频行业趋势和痛点出发,结合快手自身的探索、演进历程,探讨AIGC、编解码和AI结合等方向,分享了技术变革和突破的新思路。演讲中,于冰表示,“在激发行业增长点方向上,快手StreamLake围绕音视频+AI方向打造新产品,聚焦视频质量评估、PCDN、媒体传输协议、芯片等方向,推动新一代视频标准核心候选算法平台ECM的发展,助力更多客户实现视频化业务转型与增长。”

图:快手高级副总裁、研发线负责人于冰
活动现场,快手StreamLake举办了品牌专场。来自快手音视频技术团队的专家们进行了主题演讲,结合行业发展最新动态,聚焦极致体验,分享了在媒体处理、媒体传输协议、播放器等方向上最新进展与落地应用。
快手智能处理与编码算法产品化之路
快手视频图像算法引擎负责人陈宇聪分享了在智能处理与编码算法方向上的探索和应用。基于在业务场景中的沉淀,他讲述了如何将算法从0到1、从1到100实现落地应用,通过内部业务的积累和打磨,团队将算法产品化,并结合外部客户业务需求,加速解决方案的迭代。此外,他还分享了StreamLake转码产品的技术亮点以及在客户合作中的应用案例,展示了质臻轻流、质臻影音对于视频化业务发展的重要性。
媒体传输协议的演进与未来
身处视频大时代,视频化需求飞速增长。快手传输算法负责人周超分享了在泛VoD、泛Live、泛RTC等场景中,媒体传输协议所面临的挑战。基于快手KTP、KLP、LAS等协议和标准,周超讲述了团队如何结合业务需求,在媒体传输上的优化与实践。他表示,“下一代媒体传输协议CMTP(Common Media Transport Protocol)具有四个特点:架构通用、全场景、高扩展性、特性丰富,后续将逐步在业务中落地,以持续探索更多可能”。
打造音视频极致消费体验
长期以来,视频方向都在追求清晰度,流畅度和互动性。快手播放技术中心负责人苍鹏在分享中从端侧播放的视角来讲述消费体验,介绍了规模庞大而设计精巧的快手点播链路。基于快手海量数据,建立了快手音视频大数据体系及播放数据体系与指标体系,实现量化度量,让用户体验可视化。同时,苍鹏还介绍了快手播放核心技术、自研内核与优化方案,展示了快手HDR播放、移动端超分、3D环绕音效、6DoF自由视角播放、VR全景视频和全景直播等特色功能。目前,相关技术及产品能力均已对外开放,为StreamLake业务中的众多客户提供服务。
在音视频硬件互动体验区,快手StreamLake专业级会议麦克风SoundMatrix A10也进行了展示,其集成了先进的AI多通道降噪算法、AI回声消除算法和AI混响抑制算法,为高质量的音频会议保驾护航。该设备由一台主设备、2个扩展麦克风组成,主设备配备四个高信噪比麦克风,能够实现360°全向拾音和10米超远拾音,可以支持大中小会议室的全方位覆盖。
作为此次快手StreamLake特邀合作伙伴,NVIDIA也在活动中分享了其在音视频技术探索和应用实践的思考。在《元宇宙入局之路——新风口,新挑战》圆桌上,NVIDIA深度学习解决方案架构师刘一鸣,以NVIDIA Omniverse为基础介绍了NVIDIA在构建元宇宙上的技术布局以及相关案例。在 “AI与多媒体” 分会场上,NVIDIA GPU计算专家团队高级工程师张毅带来了以《CV-CUDA:高性能图像处理加速库》为题的主题分享。CV-CUDA是NVIDIA携手合作伙伴推出的计算机视觉和图像处理管道开源库,能高效运行在GPU上,算子速度能达到OpenCV(运行在CPU)的百倍左右。目前,CV-CUDA在例如搜索多模态、图片分类等多个实际场景中已经得到了应用。
好文章,需要你的鼓励
GeoVerse融合几何潜在扩散模型与Wan2.2视频生成先验,并引入全局空间记忆机制,实现了跨视角一致、生成质量高且推理速度快的新视角合成,在多个数据集上大幅超越现有方法GLD。
本文解读TT-VidT,一种通过分离外观锚点与动作令牌、结合Diff Compression训练目标的视频自监督方法。在24种架构目标组合的受控实验中,仅TT3D与Diff Compression搭配才能进入强动作敏感区,且计算量比同类方法降低近一半。
Q&A Q1:Imprint Reader是什么? A:Imprint Reader是上海人工智能实验室团队开发的模型,通过SMaRT训练方法学会读取另一个模型冻结的权重更新,把参数层面的变化翻译成自然语言描述,判断这次更新到底注入了什么知识或诱导了什么行为习惯。 Q2:MetaEdit能做什么? A:MetaEdit能把Reader对目标行为的梯度信号迁移到原始模型上,不需要任何目标任务的训练数据,只用一句行为描述就能定向调整模型参数,已经在安全性拒绝率调节、数学推理风格转变和工具调用能力提升上验证过效果。 Q3:Imprint Reader读权重更新的准确率高吗? A:目前还不高,知识类目标的Pass@100只有2%,行为类目标是16%,说明自由生成描述的可靠性有限,但相比原始模型完全答不出来的0%基线,已经证明了权重更新的自然语言读取是可行的。
统一多模态模型能看也能画,理论上该会自我修正。本论文提出UMM-Reflection,用整条轨迹的强化学习联合训练诊断和修图能力,GenEval提升12分,且迁移到多个未训练基准,揭示RL提升的是选择可靠性而非新能力。