2022骁龙峰会的第二天,高通把主旋律定在手机之外的体验上。让所有人惊喜的是,高通宣布推出第一代骁龙AR2平台——这是高通首个专为AR眼镜打造的专用处理器,也是移动终端芯片领域首次出现的AR设备专用处理器。
官方资料显示,骁龙AR2采用多芯片分布式处理架构并结合定制化IP模块,整体AI性能提升2.5倍,功耗降低50%,支持AR眼镜实现功耗低于1W,支持Wi-Fi 7。相较于第一代骁龙XR2平台,骁龙AR2可以将AR眼镜中的PCB面积缩小40%。
要知道,高通旗下已经有过骁龙XR平台,高通为什么突然独宠“AR眼镜”?又是怎么看待这个市场的?骁龙AR2有什么独特之处?科技行者在峰会现场找到了答案。
“实体屏幕将消失,空间计算是未来”
数十年来,主流计算系统的更替,往往伴随操作界面和显示界面的变化,比如键鼠和显示器,再到触控和屏幕。可是电视、电脑、平板、智能手机、可穿戴设备,这些常用载体的显示界面,无论是哪一块界面,都还只是停留在2D屏幕上。
高通技术公司产品市场高级总监Deb Marich现场提出,未来一定是个兼具「高度沉浸感」和「个性化体验」的新时代,将模糊现实世界和数字世界的边界。“高通借助XR打造更具沉浸感的空间计算体验,而空间计算是互联网的未来,实体屏幕将消失,用户能够与周围的各种数据进行交互。”
图:高通技术公司产品市场高级总监Deb Marich
高通的XR策略主要专注于四个方面:打造业界领先平台、基础感知技术、参考设计和开发者工具(基于Snapdragon Spaces XR开发者平台)。高通将这些全都融入骁龙XR平台,该平台已赋能超过60款全球领先的XR终端,联想、Meta和PICO最近都已经推出了相关的XR产品。
即便骁龙XR1和骁龙XR2平台已经助力XR生态初具规模,但是高通深知这不是终点。
VR和AR需求分化,需要不同的专用芯片
“我们看到了头戴式AR这一品类的巨大潜力。”Deb Marich表示,仅去年,AR用户数量就增加了一倍多。
Deb Marich进一步说道,随着VR和AR终端的需求分化,需要借助专用解决方案,应对两种不同的需求。例如,VR和MR终端需要配备更高分辨率的显示屏、更多摄像头和传感器。但AR眼镜需要更薄、更轻,以适应全天舒适佩戴。但纵观市面产品,还没有产品做到极致。
所以这就是骁龙AR2平台诞生的初衷——让每个人都拥有顶级的空间计算眼镜。“我们相信消费者能够在不久的将来,体验融入AR和MR元素的智能眼镜,在轻薄舒适的外观设计中,获得沉浸式体验。”Deb Marich畅想道。
作为骁龙XR产品组合的扩展之作,即便是骁龙AR2专为AR眼镜而生,但要想打造理想的AR处理器,显然不是一件易事。
且不说头戴式AR开发非常复杂,要实现功耗、散热、感知技术和性能等关键变量之间的精妙平衡,而这些还只是变量的一小部分;另外,高通还必须在一副用户愿意戴的、轻薄的、时尚的眼镜中做到这一切。这些关键难点,被高通称之为“高通级别的挑战”。
为AR市场带来更多可能
骁龙AR2平台究竟如何应对“高通级别的挑战”?高通技术公司副总裁兼XR业务总经理司宏国(Hugo Swart)总结它有三大亮点,覆盖处理、AI、连接方面。
首先,骁龙AR2利用分布式处理架构,可以将一些感知数据的处理直接分配给眼镜终端,而把更复杂的数据处理需求分流到搭载骁龙平台的智能手机、PC或其他兼容的主机终端上。凭借分布式处理架构,高通才能够将功耗降低到1瓦。司宏国说,“对于打造用户愿意戴的、轻薄的、时尚的AR眼镜来说,功耗低至1瓦是一个非常重要的里程碑。”
其次,骁龙AR2集成了一系列面向AR优化的性能,例如摄像头、AI、重投影、感知算法强化。在摄像头方面,骁龙AR2同时支持九路并行摄像头进行用户和环境理解。在AI方面,该平台增强的感知能力包括:能够改善用户运动追踪和定位的专用硬件加速引擎、用于降低手势追踪或六自由度(6DoF)等高精度输入交互时延的AI加速器,以及支持更流畅视觉体验的重投影引擎。
最后,骁龙AR2支持高通FastConnect 7800移动连接系统,成为全球首款Wi-Fi 7加持的AR解决方案,但它也支持Wi-Fi 6场景。
除了性能参数之外,打造涵盖硬件、全套感知技术和软件工具的端到端解决方案对创建沉浸式体验至关重要。为了让开发者创建出色的头戴式AR应用,骁龙AR2平台已经优化支持Snapdragon Spaces。
“智能手机是面向AR眼镜的关键主机设备,让丰富的沉浸式体验成为可能。随着更多OEM厂商打造搭载骁龙AR2的AR眼镜,我们还需要扩展兼容智能手机和主机设备的可用性。”司宏国说道,因此骁龙AR2平台支持和第二代骁龙8配对使用,搭载第二代骁龙8移动平台的手机与搭载第一代骁龙AR2平台的AR眼镜,将在连接等方面能够获得更好的体验。
目前,多家OEM厂商对采用骁龙AR2的产品开发已进入不同阶段,包括联想、LG、Nreal、OPPO、Pico、QONOQ、Rokid、夏普、TCL、Vuzix和Xiaomi。
好文章,需要你的鼓励
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。
这篇论文介绍了LegalSearchLM,一种创新的法律案例检索方法,将检索任务重新定义为法律要素生成。研究团队构建了LEGAR BENCH数据集,涵盖411种犯罪类型和120万案例,并开发了能直接生成关键法律要素的检索模型。实验表明,该模型在准确率上超越传统方法6-20%,且在未见犯罪类型上展现出强大泛化能力。这一突破为法律专业人士提供了更高效、精准的案例检索工具。