近日,第二十九届中国国际广播电视信息网络展览会(CCBN2023)在北京举行。快手StreamLake展示一站式音视频+AI能力,携StreamLake硬件编码器首次亮相本次大会。快手StreamLake专注于成为视频化升级助推器,致力于助力各行业客户实现视频化业务转型与升级,在视频化大趋势下,助推视听领域共同蓬勃发展。
作为业界知名的广播电视和网络视听技术设备行业盛会,本届CCBN以“大视听,向未来”为主题,展会聚焦高新技术在视听行业的广泛深度融合应用,促进科技自立自强和产业高质量发展,助力构建现代化大视听发展格局。
在快手StreamLake展台上,首次亮相的StreamLake硬件编码器引发行业人士和参展观众的高度关注。据悉,该产品集成了快手自研SL200编码卡及质臻影音算法,利用快手领先的视频编解码及增强和修复算法,提升多媒体处理环节的质量与效率,可应用于IPTV、OTT、互联网视频直播等多个领域的超高清直播平台建设及视频压缩编码。
StreamLake硬件编码器具有三大产品核心能力——极致的编码质量、领先的AI画质增强算法、超高清实时编码。展会现场,视频画面对比中可明显看到在StreamLake硬件编码器驱动下,视频画面中呈现出的每一处细节清晰细腻,色彩饱和丰富,动态影像高清流畅,带来极致的视频体验。
搭载快手StreamLake首款自研芯片,带来卓越编码质量与性能
作为产品的核心技术之一,StreamLake硬件编码器内置首款自研智能视频处理芯片StreamLake - 200(后文简称SL200芯片)。该芯片具有业界极佳的编码性能和广泛的适用范围,集成了快手领先的视频编解码、图像处理、AI推理、内容自适应编码等关键技术,具备高质量、高密度、智能化的特点。
在质量方面,SL200芯片可提供行业领先的压缩效率,相比x265 medium节省约30%码率;密度方面,单卡可支持8路4K@60fps转码,达到业界领先水平。其低功耗设计可在高密度视频处理的同时节省大量能耗,可应用于短视频、长视频、视频直播、视频会议、云游戏以及广电等多种场景下的智能转码需求。
业界领先的AI画质增强算法,打造极致视听体验
为了呈现超高清的极致视听体验,在视频处理方向上,StreamLake硬件编码器支持质臻影音算法以及丰富的转码参数配置,通过画质增强、AI超分等核心算法能力,支持对视频中的模糊、块效应、伪纹理等失真进行针对性修复,以及将低分辨率视频重建为高分辨率视频等方式,从而整体提升视频主观质量。
支持4K/8K 10bit HDR实时转码,助力超高清直播平台建设
在国家产业政策的大力支持以及超高清、5G、AI、VR、大数据等技术的融合应用推动下,超高清产业高速发展。面对用户对超高清视频和直播观看日益增长的需求,广播电视和网络视听领域的超高清技术全面升级。StreamLake硬件编码器可支持4K/8K 10bit HDR实时转码,为超高清直播平台的建设提供有力的技术支持和保障,推动超高清产业在编码技术方向上的发展。
在国家广播电视总局科技创新和传输覆盖成果展上,快手StreamLake六自由度在互动视听板块进行了相关内容展示。该技术通过多摄像头同步采集、3D重建、压缩传输和实时渲染技术,可以实现子弹时间、虚拟运镜、自由视角交互等效果并支持3D空间剪辑创作,为用户带来沉浸式体验。伴随视听内容呈现多样化形态,未来六自由度技术在体育赛事、影视娱乐、智慧场馆等场景的落地应用具有广阔空间。
基于开放的产品能力,快手StreamLake已携手知乎、中国联通、央视频、浙江广播电视集团、蒙牛、小米等众多合作伙伴,在视频化、智能化领域展开深入合作。未来,快手StreamLake也将继续以开放的心态,基于前沿的技术和产品优势,为电商、广电传媒、泛娱乐等各行业合作伙伴提供一站式音视频+AI解决方案,助推视听产业和数字经济的高质量发展。
好文章,需要你的鼓励
这项由Midjourney团队主导的研究解决了AI创意写作中的关键问题:如何让AI既能写出高质量内容,又能保持创作的多样性和趣味性。通过引入"偏差度"概念和开发DDPO、DORPO两种新训练方法,他们成功让AI学会从那些被传统方法忽视的优秀独特样本中汲取创意灵感,最终训练出的模型在保持顶级质量的同时,创作多样性接近人类水平,为AI创意写作开辟了新方向。
上海AI实验室联合多所高校开发出VisualPRM系统,这是首个专门用于多模态推理的过程奖励模型。该系统能像老师批改作业一样逐步检查AI的推理过程,显著提升了AI在视觉推理任务上的表现。研究团队构建了包含40万样本的训练数据集和专门的评估基准,实现了在七个推理基准上的全面性能提升,即使是最先进的大型模型也获得了5.9个百分点的改进。
上海AI实验室团队通过LEGO积木设计了创新评测基准LEGO-Puzzles,系统测试了20个先进多模态大语言模型的空间推理能力。研究发现即使最强AI模型准确率仅57.7%,远低于人类93.6%的表现,揭示了当前AI在三维空间理解和多步序列推理方面的重大不足,为机器人、自动驾驶等应用发展提供重要参考。
字节跳动团队突破了AI图像生成领域的三大难题:身份识别不准确、文字理解偏差和图片质量不佳。他们开发的InfiniteYou技术采用创新的InfuseNet架构和多阶段训练策略,能够根据用户照片和文字描述生成高质量个性化图像。实验显示该技术在身份相似度、文本匹配度和图像质量方面均超越现有最佳方案,并具备出色的兼容性,为个性化内容创作开辟了新道路。