
2022骁龙峰会的第二天,高通把主旋律定在手机之外的体验上。让所有人惊喜的是,高通宣布推出第一代骁龙AR2平台——这是高通首个专为AR眼镜打造的专用处理器,也是移动终端芯片领域首次出现的AR设备专用处理器。
官方资料显示,骁龙AR2采用多芯片分布式处理架构并结合定制化IP模块,整体AI性能提升2.5倍,功耗降低50%,支持AR眼镜实现功耗低于1W,支持Wi-Fi 7。相较于第一代骁龙XR2平台,骁龙AR2可以将AR眼镜中的PCB面积缩小40%。
要知道,高通旗下已经有过骁龙XR平台,高通为什么突然独宠“AR眼镜”?又是怎么看待这个市场的?骁龙AR2有什么独特之处?科技行者在峰会现场找到了答案。
“实体屏幕将消失,空间计算是未来”
数十年来,主流计算系统的更替,往往伴随操作界面和显示界面的变化,比如键鼠和显示器,再到触控和屏幕。可是电视、电脑、平板、智能手机、可穿戴设备,这些常用载体的显示界面,无论是哪一块界面,都还只是停留在2D屏幕上。
高通技术公司产品市场高级总监Deb Marich现场提出,未来一定是个兼具「高度沉浸感」和「个性化体验」的新时代,将模糊现实世界和数字世界的边界。“高通借助XR打造更具沉浸感的空间计算体验,而空间计算是互联网的未来,实体屏幕将消失,用户能够与周围的各种数据进行交互。”
图:高通技术公司产品市场高级总监Deb Marich
高通的XR策略主要专注于四个方面:打造业界领先平台、基础感知技术、参考设计和开发者工具(基于Snapdragon Spaces XR开发者平台)。高通将这些全都融入骁龙XR平台,该平台已赋能超过60款全球领先的XR终端,联想、Meta和PICO最近都已经推出了相关的XR产品。
即便骁龙XR1和骁龙XR2平台已经助力XR生态初具规模,但是高通深知这不是终点。
VR和AR需求分化,需要不同的专用芯片
“我们看到了头戴式AR这一品类的巨大潜力。”Deb Marich表示,仅去年,AR用户数量就增加了一倍多。
Deb Marich进一步说道,随着VR和AR终端的需求分化,需要借助专用解决方案,应对两种不同的需求。例如,VR和MR终端需要配备更高分辨率的显示屏、更多摄像头和传感器。但AR眼镜需要更薄、更轻,以适应全天舒适佩戴。但纵观市面产品,还没有产品做到极致。
所以这就是骁龙AR2平台诞生的初衷——让每个人都拥有顶级的空间计算眼镜。“我们相信消费者能够在不久的将来,体验融入AR和MR元素的智能眼镜,在轻薄舒适的外观设计中,获得沉浸式体验。”Deb Marich畅想道。
作为骁龙XR产品组合的扩展之作,即便是骁龙AR2专为AR眼镜而生,但要想打造理想的AR处理器,显然不是一件易事。
且不说头戴式AR开发非常复杂,要实现功耗、散热、感知技术和性能等关键变量之间的精妙平衡,而这些还只是变量的一小部分;另外,高通还必须在一副用户愿意戴的、轻薄的、时尚的眼镜中做到这一切。这些关键难点,被高通称之为“高通级别的挑战”。
为AR市场带来更多可能
骁龙AR2平台究竟如何应对“高通级别的挑战”?高通技术公司副总裁兼XR业务总经理司宏国(Hugo Swart)总结它有三大亮点,覆盖处理、AI、连接方面。
首先,骁龙AR2利用分布式处理架构,可以将一些感知数据的处理直接分配给眼镜终端,而把更复杂的数据处理需求分流到搭载骁龙平台的智能手机、PC或其他兼容的主机终端上。凭借分布式处理架构,高通才能够将功耗降低到1瓦。司宏国说,“对于打造用户愿意戴的、轻薄的、时尚的AR眼镜来说,功耗低至1瓦是一个非常重要的里程碑。”
其次,骁龙AR2集成了一系列面向AR优化的性能,例如摄像头、AI、重投影、感知算法强化。在摄像头方面,骁龙AR2同时支持九路并行摄像头进行用户和环境理解。在AI方面,该平台增强的感知能力包括:能够改善用户运动追踪和定位的专用硬件加速引擎、用于降低手势追踪或六自由度(6DoF)等高精度输入交互时延的AI加速器,以及支持更流畅视觉体验的重投影引擎。
最后,骁龙AR2支持高通FastConnect 7800移动连接系统,成为全球首款Wi-Fi 7加持的AR解决方案,但它也支持Wi-Fi 6场景。
除了性能参数之外,打造涵盖硬件、全套感知技术和软件工具的端到端解决方案对创建沉浸式体验至关重要。为了让开发者创建出色的头戴式AR应用,骁龙AR2平台已经优化支持Snapdragon Spaces。
“智能手机是面向AR眼镜的关键主机设备,让丰富的沉浸式体验成为可能。随着更多OEM厂商打造搭载骁龙AR2的AR眼镜,我们还需要扩展兼容智能手机和主机设备的可用性。”司宏国说道,因此骁龙AR2平台支持和第二代骁龙8配对使用,搭载第二代骁龙8移动平台的手机与搭载第一代骁龙AR2平台的AR眼镜,将在连接等方面能够获得更好的体验。
目前,多家OEM厂商对采用骁龙AR2的产品开发已进入不同阶段,包括联想、LG、Nreal、OPPO、Pico、QONOQ、Rokid、夏普、TCL、Vuzix和Xiaomi。
好文章,需要你的鼓励
GeoVerse融合几何潜在扩散模型与Wan2.2视频生成先验,并引入全局空间记忆机制,实现了跨视角一致、生成质量高且推理速度快的新视角合成,在多个数据集上大幅超越现有方法GLD。
本文解读TT-VidT,一种通过分离外观锚点与动作令牌、结合Diff Compression训练目标的视频自监督方法。在24种架构目标组合的受控实验中,仅TT3D与Diff Compression搭配才能进入强动作敏感区,且计算量比同类方法降低近一半。
Q&A Q1:Imprint Reader是什么? A:Imprint Reader是上海人工智能实验室团队开发的模型,通过SMaRT训练方法学会读取另一个模型冻结的权重更新,把参数层面的变化翻译成自然语言描述,判断这次更新到底注入了什么知识或诱导了什么行为习惯。 Q2:MetaEdit能做什么? A:MetaEdit能把Reader对目标行为的梯度信号迁移到原始模型上,不需要任何目标任务的训练数据,只用一句行为描述就能定向调整模型参数,已经在安全性拒绝率调节、数学推理风格转变和工具调用能力提升上验证过效果。 Q3:Imprint Reader读权重更新的准确率高吗? A:目前还不高,知识类目标的Pass@100只有2%,行为类目标是16%,说明自由生成描述的可靠性有限,但相比原始模型完全答不出来的0%基线,已经证明了权重更新的自然语言读取是可行的。
统一多模态模型能看也能画,理论上该会自我修正。本论文提出UMM-Reflection,用整条轨迹的强化学习联合训练诊断和修图能力,GenEval提升12分,且迁移到多个未训练基准,揭示RL提升的是选择可靠性而非新能力。