2022骁龙峰会的第二天,高通把主旋律定在手机之外的体验上。让所有人惊喜的是,高通宣布推出第一代骁龙AR2平台——这是高通首个专为AR眼镜打造的专用处理器,也是移动终端芯片领域首次出现的AR设备专用处理器。
官方资料显示,骁龙AR2采用多芯片分布式处理架构并结合定制化IP模块,整体AI性能提升2.5倍,功耗降低50%,支持AR眼镜实现功耗低于1W,支持Wi-Fi 7。相较于第一代骁龙XR2平台,骁龙AR2可以将AR眼镜中的PCB面积缩小40%。
要知道,高通旗下已经有过骁龙XR平台,高通为什么突然独宠“AR眼镜”?又是怎么看待这个市场的?骁龙AR2有什么独特之处?科技行者在峰会现场找到了答案。
“实体屏幕将消失,空间计算是未来”
数十年来,主流计算系统的更替,往往伴随操作界面和显示界面的变化,比如键鼠和显示器,再到触控和屏幕。可是电视、电脑、平板、智能手机、可穿戴设备,这些常用载体的显示界面,无论是哪一块界面,都还只是停留在2D屏幕上。
高通技术公司产品市场高级总监Deb Marich现场提出,未来一定是个兼具「高度沉浸感」和「个性化体验」的新时代,将模糊现实世界和数字世界的边界。“高通借助XR打造更具沉浸感的空间计算体验,而空间计算是互联网的未来,实体屏幕将消失,用户能够与周围的各种数据进行交互。”
图:高通技术公司产品市场高级总监Deb Marich
高通的XR策略主要专注于四个方面:打造业界领先平台、基础感知技术、参考设计和开发者工具(基于Snapdragon Spaces XR开发者平台)。高通将这些全都融入骁龙XR平台,该平台已赋能超过60款全球领先的XR终端,联想、Meta和PICO最近都已经推出了相关的XR产品。
即便骁龙XR1和骁龙XR2平台已经助力XR生态初具规模,但是高通深知这不是终点。
VR和AR需求分化,需要不同的专用芯片
“我们看到了头戴式AR这一品类的巨大潜力。”Deb Marich表示,仅去年,AR用户数量就增加了一倍多。
Deb Marich进一步说道,随着VR和AR终端的需求分化,需要借助专用解决方案,应对两种不同的需求。例如,VR和MR终端需要配备更高分辨率的显示屏、更多摄像头和传感器。但AR眼镜需要更薄、更轻,以适应全天舒适佩戴。但纵观市面产品,还没有产品做到极致。
所以这就是骁龙AR2平台诞生的初衷——让每个人都拥有顶级的空间计算眼镜。“我们相信消费者能够在不久的将来,体验融入AR和MR元素的智能眼镜,在轻薄舒适的外观设计中,获得沉浸式体验。”Deb Marich畅想道。
作为骁龙XR产品组合的扩展之作,即便是骁龙AR2专为AR眼镜而生,但要想打造理想的AR处理器,显然不是一件易事。
且不说头戴式AR开发非常复杂,要实现功耗、散热、感知技术和性能等关键变量之间的精妙平衡,而这些还只是变量的一小部分;另外,高通还必须在一副用户愿意戴的、轻薄的、时尚的眼镜中做到这一切。这些关键难点,被高通称之为“高通级别的挑战”。
为AR市场带来更多可能
骁龙AR2平台究竟如何应对“高通级别的挑战”?高通技术公司副总裁兼XR业务总经理司宏国(Hugo Swart)总结它有三大亮点,覆盖处理、AI、连接方面。
首先,骁龙AR2利用分布式处理架构,可以将一些感知数据的处理直接分配给眼镜终端,而把更复杂的数据处理需求分流到搭载骁龙平台的智能手机、PC或其他兼容的主机终端上。凭借分布式处理架构,高通才能够将功耗降低到1瓦。司宏国说,“对于打造用户愿意戴的、轻薄的、时尚的AR眼镜来说,功耗低至1瓦是一个非常重要的里程碑。”
其次,骁龙AR2集成了一系列面向AR优化的性能,例如摄像头、AI、重投影、感知算法强化。在摄像头方面,骁龙AR2同时支持九路并行摄像头进行用户和环境理解。在AI方面,该平台增强的感知能力包括:能够改善用户运动追踪和定位的专用硬件加速引擎、用于降低手势追踪或六自由度(6DoF)等高精度输入交互时延的AI加速器,以及支持更流畅视觉体验的重投影引擎。
最后,骁龙AR2支持高通FastConnect 7800移动连接系统,成为全球首款Wi-Fi 7加持的AR解决方案,但它也支持Wi-Fi 6场景。
除了性能参数之外,打造涵盖硬件、全套感知技术和软件工具的端到端解决方案对创建沉浸式体验至关重要。为了让开发者创建出色的头戴式AR应用,骁龙AR2平台已经优化支持Snapdragon Spaces。
“智能手机是面向AR眼镜的关键主机设备,让丰富的沉浸式体验成为可能。随着更多OEM厂商打造搭载骁龙AR2的AR眼镜,我们还需要扩展兼容智能手机和主机设备的可用性。”司宏国说道,因此骁龙AR2平台支持和第二代骁龙8配对使用,搭载第二代骁龙8移动平台的手机与搭载第一代骁龙AR2平台的AR眼镜,将在连接等方面能够获得更好的体验。
目前,多家OEM厂商对采用骁龙AR2的产品开发已进入不同阶段,包括联想、LG、Nreal、OPPO、Pico、QONOQ、Rokid、夏普、TCL、Vuzix和Xiaomi。
好文章,需要你的鼓励
这项由Midjourney团队主导的研究解决了AI创意写作中的关键问题:如何让AI既能写出高质量内容,又能保持创作的多样性和趣味性。通过引入"偏差度"概念和开发DDPO、DORPO两种新训练方法,他们成功让AI学会从那些被传统方法忽视的优秀独特样本中汲取创意灵感,最终训练出的模型在保持顶级质量的同时,创作多样性接近人类水平,为AI创意写作开辟了新方向。
上海AI实验室联合多所高校开发出VisualPRM系统,这是首个专门用于多模态推理的过程奖励模型。该系统能像老师批改作业一样逐步检查AI的推理过程,显著提升了AI在视觉推理任务上的表现。研究团队构建了包含40万样本的训练数据集和专门的评估基准,实现了在七个推理基准上的全面性能提升,即使是最先进的大型模型也获得了5.9个百分点的改进。
上海AI实验室团队通过LEGO积木设计了创新评测基准LEGO-Puzzles,系统测试了20个先进多模态大语言模型的空间推理能力。研究发现即使最强AI模型准确率仅57.7%,远低于人类93.6%的表现,揭示了当前AI在三维空间理解和多步序列推理方面的重大不足,为机器人、自动驾驶等应用发展提供重要参考。
字节跳动团队突破了AI图像生成领域的三大难题:身份识别不准确、文字理解偏差和图片质量不佳。他们开发的InfiniteYou技术采用创新的InfuseNet架构和多阶段训练策略,能够根据用户照片和文字描述生成高质量个性化图像。实验显示该技术在身份相似度、文本匹配度和图像质量方面均超越现有最佳方案,并具备出色的兼容性,为个性化内容创作开辟了新道路。