上海,中国 – 2021年1月19日- 在国际权威的多目标跟踪挑战(Multiple Object Tracking Challenge,MOT)MOT20榜单上,紫光展锐多媒体算法的mota指标超过70分,拿下全球冠军。这也是MOT20 Challenge榜单上唯一一家超过70分的企业,彰显了紫光展锐在多目标跟踪领域的业界领先水平。
MOT Challenge是多目标跟踪领域最权威的国际测评平台,由慕尼黑工业大学、阿德莱德大学、苏黎世联邦理工学院以及达姆施塔特工业大学联合创办。MOT Challenge 提供了非常准确的标注数据和全面的评估指标,用以评估跟踪算法、行人检测器的性能。

其中,MOT 20 benchmark包含8份新的视频序列、密集且极具挑战性的场景。这份数据集在4th BMTT MOT Challenge Workshop,CVPR 2019上首次发布,平均每帧高达246个行人,相比之前的挑战赛数据集增加了夜晚数据集,对现有SOTA的MOT算法在解决极端稠密场景、算法泛化性等方面提出了艰巨挑战。
紫光展锐在多媒体算法中针对网络结构设计、损失函数、训练数据处理等方面进行了大量的创新和探索。针对竞赛中训练集没有涉及到的场景,紫光展锐创新性的采用端到端同时检测、行人识别策略,保障了算法在实际落地时的实时性,同时针对不同的端侧算力灵活调整网络大小,可灵活配套多种芯片方案的部署。
同时参与本次竞赛的还包括牛津大学、卡耐基梅隆大学、清华大学、慕尼黑工业大学、中科院、微软等多家企业、大学和科研机构的相关团队。
多目标追踪技术作为承载监控、车载、无人机、赛事直播等应用的关键技术,可准确捕捉视频中的关键信息,为进一步的信息提取提供支持,将在智慧城市、物联网等领域得到越来越广泛的应用。
在智能监控场景中,算法可实现复杂场景下的目标自动提取、跟踪、识别,理解目标的活动状态,进而实现场景状态监测、识别等。多目标追踪技术的应用可大幅减少人工重复劳动、提高工作效率和监控系统的智能性、安全性;在赛事直播场景中,算法可自动提取运动员的运动状态,从而实现数据统计、自动导播等功能,挖掘更多的数据价值;在智能车载场景中,算法可获取道路中车辆、行人的运动信息,为自动驾驶、安全辅助等应用提供必要的决策数据支持。
图像算法正在深度融合到越来越多的垂直行业,形成乘法效应,衍生出创新的业务和应用,让人们的生活更加美好和便捷。
MOT challenge榜单官网:https://motchallenge.net/results/MOT20/?det=All
好文章,需要你的鼓励
GeoVerse融合几何潜在扩散模型与Wan2.2视频生成先验,并引入全局空间记忆机制,实现了跨视角一致、生成质量高且推理速度快的新视角合成,在多个数据集上大幅超越现有方法GLD。
本文解读TT-VidT,一种通过分离外观锚点与动作令牌、结合Diff Compression训练目标的视频自监督方法。在24种架构目标组合的受控实验中,仅TT3D与Diff Compression搭配才能进入强动作敏感区,且计算量比同类方法降低近一半。
Q&A Q1:Imprint Reader是什么? A:Imprint Reader是上海人工智能实验室团队开发的模型,通过SMaRT训练方法学会读取另一个模型冻结的权重更新,把参数层面的变化翻译成自然语言描述,判断这次更新到底注入了什么知识或诱导了什么行为习惯。 Q2:MetaEdit能做什么? A:MetaEdit能把Reader对目标行为的梯度信号迁移到原始模型上,不需要任何目标任务的训练数据,只用一句行为描述就能定向调整模型参数,已经在安全性拒绝率调节、数学推理风格转变和工具调用能力提升上验证过效果。 Q3:Imprint Reader读权重更新的准确率高吗? A:目前还不高,知识类目标的Pass@100只有2%,行为类目标是16%,说明自由生成描述的可靠性有限,但相比原始模型完全答不出来的0%基线,已经证明了权重更新的自然语言读取是可行的。
统一多模态模型能看也能画,理论上该会自我修正。本论文提出UMM-Reflection,用整条轨迹的强化学习联合训练诊断和修图能力,GenEval提升12分,且迁移到多个未训练基准,揭示RL提升的是选择可靠性而非新能力。