
借助司机助理系统,无人驾驶汽车依赖雷达、激光和摄像头看清道路,但所有信息还需要进行分析、领会。Nvidia在CES展上演示了其新款K1图形处理器如何识别街面信号、车道线与其他交通工具的全过程。
Nvidia在其展台进行了演示,安装有K1芯片的测试台记录了一段由一个摄像头拍摄到的路面行驶视频。借助图像识别资料库,K1图形芯片分析视频,将速度限制信号标为红色、其他交通工具标为蓝色,车道线标为绿色。
芯片不停地处理着视频,与现实世界并无两样。
Nvidia自动化主管丹尼·夏皮罗(Danny Shapiro)向CNET表示,早期的Tegra芯片无法达到演示中显示的K1处理水平,新款KI处理器能耗却与Tegra相似,仅为5-7瓦。
K1芯片是汽车的幕后“工作者”,分析大量传感器传来的实时数据,创建即时环境3D模型。汽车厂商负责适当的回应,通过刹车或方向盘进行控制或报警,对环境因素做出响应。
Nvidia演示时,K1芯片分析速度限制信号,并在显示屏上显示当前速度。
夏皮罗指出,Nvidia能够针对不同目标、街道标识和信号提供一个视觉识别模式基本资料库,但汽车厂商还需要通过广泛的现实世界测试细化识别模式。
奥迪、宝马和Tesla汽车目前均采用Nvidia芯片。奥迪在CES展上宣布未来一款汽车将使用Nvidia K1芯片。夏皮罗表示,Nvidia将在今年3月份举办的日内瓦车展上公布一个新客户——一家亚洲主流汽车厂商。
好文章,需要你的鼓励
GeoVerse融合几何潜在扩散模型与Wan2.2视频生成先验,并引入全局空间记忆机制,实现了跨视角一致、生成质量高且推理速度快的新视角合成,在多个数据集上大幅超越现有方法GLD。
本文解读TT-VidT,一种通过分离外观锚点与动作令牌、结合Diff Compression训练目标的视频自监督方法。在24种架构目标组合的受控实验中,仅TT3D与Diff Compression搭配才能进入强动作敏感区,且计算量比同类方法降低近一半。
Q&A Q1:Imprint Reader是什么? A:Imprint Reader是上海人工智能实验室团队开发的模型,通过SMaRT训练方法学会读取另一个模型冻结的权重更新,把参数层面的变化翻译成自然语言描述,判断这次更新到底注入了什么知识或诱导了什么行为习惯。 Q2:MetaEdit能做什么? A:MetaEdit能把Reader对目标行为的梯度信号迁移到原始模型上,不需要任何目标任务的训练数据,只用一句行为描述就能定向调整模型参数,已经在安全性拒绝率调节、数学推理风格转变和工具调用能力提升上验证过效果。 Q3:Imprint Reader读权重更新的准确率高吗? A:目前还不高,知识类目标的Pass@100只有2%,行为类目标是16%,说明自由生成描述的可靠性有限,但相比原始模型完全答不出来的0%基线,已经证明了权重更新的自然语言读取是可行的。
统一多模态模型能看也能画,理论上该会自我修正。本论文提出UMM-Reflection,用整条轨迹的强化学习联合训练诊断和修图能力,GenEval提升12分,且迁移到多个未训练基准,揭示RL提升的是选择可靠性而非新能力。