杭州第19届亚运会不仅是国际顶级体育盛会,更是一场精彩绝伦的中国科技盛宴。本届亚运会中,快手StreamLake与杭州电信深度合作,联合打造智慧观赛新体验,在击剑赛事的转播中,全面应用了快手StreamLake六自由度技术,其中“子弹时间”也是首次应用于击剑项目国际顶级赛事。
中国电信杭州分公司智能亚运专班组长芮杰表示,依托快手StreamLake自研的4K 3D虚拟运镜视频技术和中国电信5G/全光网,通过赛场内部署的4K专业摄像机阵列实时采集的高清竞赛视频,在云端实现“子弹时间”的超高清渲染,3秒内输出比赛的精彩瞬间,在画质和时效性方面都达到了行业领先水平。
黑科技“子弹时间”首次应用于国际级击剑赛事
在击剑比赛中,运动员的反应速度和肢体动作极快,交锋得分就在一瞬间,加之转播镜头视角等问题,观众往往很难看清比赛细节,关键时刻的赛事回放必不可少。为了让观众能够看清、看懂击剑比赛,此次亚运会期间,击剑项目第一次在国际级赛事中使用了“子弹时间”技术。
“最终的落地效果超过了赛前的预期。”快手六自由度技术负责人盛骁杰表示,在赛前评估时,技术团队考虑到击剑的场地较小,曾担心不一定能把“子弹时间”的3D虚拟运镜的效果优势充分发挥出来。击剑被称为“格斗中的芭蕾”,比赛的胜负往往取决于电光火石的一瞬间,选手的格斗技巧、身体柔韧、拼搏精神都凝聚在这个瞬间释放出来,为了更好地呈现击剑赛事,技术团队经过努力,实际呈现效果远超预期。
“子弹时间”技术的运用,有助于帮助观众看清、看懂比赛细节,推动击剑运动的普及。以往,观众通常很难看清击中得分的一瞬间,所以特别需要借助慢放和回放来帮助还原比赛,尤其是一些争议剑,还有双方几乎是同时击中的情况。在 “子弹时间”技术加持下,能够更好地360度还原比赛关键瞬间,让观众能够看清楚是谁先击中了,以及具体击中了哪个部位。
例如,在亚运会女子个人花剑比赛直播中,快手“子弹时间”技术精彩还原了中国选手黄芊芊一路过关斩将并最终夺得冠军的每个拼搏瞬间,尤其是在半决赛和决赛中,更是360度定格了她赢下比赛的关键一剑,让观众全方位、沉浸式体验夺金一刻。
量身定制专属方案 全面提升亚运观赛体验
继2022冬奥会、“村BA”等体育赛事后,快手此次在将“子弹时间”技术应用于杭州亚运会击剑赛事转播的过程中,还基于比赛现场情况和直播效果需求等差异化特点,进行了定制策划,从机器部署、技术突破等多个维度,全面提升用户的亚运观赛体验。
针对本届亚运击剑项目转播的具体场景,六自由度技术实现了量身升级。据盛骁杰介绍,首先是服务器空间小,方案更轻量化。基于击剑场馆内TOC房间空间比较狭小,此次快手采用了轻量化方案,仅需一台现场服务器即可完成全链路的信号制作,大大地降低了对于制作场地的要求。
其次,机器部署规模小、位置灵活。以往普通技术需要在场内布置上百个相机,而六自由度技术仅需30余台相机即可。在亚运会击剑馆中,快手结合场地实际情况,将相机部署在观众席二层,通过3D虚拟运镜技术,可以同时把“子弹时间”覆盖至主赛道以及两个分赛道,在保障了任意方向的观众视线的同时,避免了对场馆内其他运行功能造成影响。
第三,清晰度大幅提升。相较于其他国际赛事,本届亚运会中,快手采用了全链路4K 3D虚拟运镜技术,提升整体制作的清晰度和丝滑性,最终在大屏上的呈现效果做到清晰流畅,达到了国际大赛转播的清晰度要求。
在此基础上,快手还重点突破了击剑赛事直播中的一大技术难点——快速运动的小物体的3D建模问题。以花剑为例,剑的直径仅仅为几毫米,且在击剑过程中会极快速地运动,导致拍摄画面的动态模糊。开赛前,快手技术团队特别购置了两把剑进行算法效果的测试和调优,最终很好地解决了建模问题,保障了最终输出高清渲染的画质,让细节呈现更清晰。
第四,效果更丝滑流畅。快手3D虚拟运镜技术,通过3D重建来构建空间中虚拟相机的丝滑运镜,相比行业内普遍采用的相机矫正拼接方案,一方面可以减少50%以上的相机数量,另一方面整体运镜效果也能够更丝滑流畅。
此外,本次快手还采用了云渲染的链路,将大量复杂的3D重建和渲染工作放到云端进行计算,在保障生产时效性和清晰度的同时,本地无需大量算力的辅助,显著提升了效率。
应用场景不断拓宽 技术助推小众体育项目普及
快手StreamLake六自由度技术正应用于越来越广泛的体育赛事直播场景。目前,六自由度技术一般在足球、篮球、体操等项目中应用较多,而在击剑类型的赛事中则应用较少。
“最初测试,我们也很惊喜,对于击剑这种场地空间相对较小的赛事,六自由度技术也有很大发挥空间,更多应用可能。”在盛骁杰看来,每项运动都有其独特的特点,六自由度技术作为“多面手”,覆盖面非常广泛,在攻防动作上捕捉清晰,能够呈现360度视角,同时在微观细节上,也能定格0.01秒精彩。
高超的技巧性、拼抢的激烈性是体育精神的永恒主题。目前,六自由度技术已实现子弹时间、虚拟运镜、自由视角交互等效果,并支持3D空间剪辑创作,快手StreamLake技术团队表示,希望能通过六自由度等技术的加持,更好地展现运动员的竞技水平和拼搏精神,提升转播精彩程度,助力击剑等相对小众的体育项目普及。
好文章,需要你的鼓励
GeoVerse融合几何潜在扩散模型与Wan2.2视频生成先验,并引入全局空间记忆机制,实现了跨视角一致、生成质量高且推理速度快的新视角合成,在多个数据集上大幅超越现有方法GLD。
本文解读TT-VidT,一种通过分离外观锚点与动作令牌、结合Diff Compression训练目标的视频自监督方法。在24种架构目标组合的受控实验中,仅TT3D与Diff Compression搭配才能进入强动作敏感区,且计算量比同类方法降低近一半。
Q&A Q1:Imprint Reader是什么? A:Imprint Reader是上海人工智能实验室团队开发的模型,通过SMaRT训练方法学会读取另一个模型冻结的权重更新,把参数层面的变化翻译成自然语言描述,判断这次更新到底注入了什么知识或诱导了什么行为习惯。 Q2:MetaEdit能做什么? A:MetaEdit能把Reader对目标行为的梯度信号迁移到原始模型上,不需要任何目标任务的训练数据,只用一句行为描述就能定向调整模型参数,已经在安全性拒绝率调节、数学推理风格转变和工具调用能力提升上验证过效果。 Q3:Imprint Reader读权重更新的准确率高吗? A:目前还不高,知识类目标的Pass@100只有2%,行为类目标是16%,说明自由生成描述的可靠性有限,但相比原始模型完全答不出来的0%基线,已经证明了权重更新的自然语言读取是可行的。
统一多模态模型能看也能画,理论上该会自我修正。本论文提出UMM-Reflection,用整条轨迹的强化学习联合训练诊断和修图能力,GenEval提升12分,且迁移到多个未训练基准,揭示RL提升的是选择可靠性而非新能力。