高通日前发布全新虚拟现实(VR)软件开发包(SDK)。
820处理器这样的先进异构处理器可支持沉浸式VR体验,但如果没有合适的开发者工具包,开发者们也难以充分利用其性能。
开始提供。
骁龙VR SDK将首次支持多项针对最佳VR用户体验的、至关重要的新技术。它们包括:
• DSP传感器融合:利用骁龙820中包含的全套技术,该SDK让开发者能够通过骁龙传感器内核,轻松获取来自高频陀螺仪和加速计的感应数据,并利用Qualcomm® Hexagon™ DSP进行预测性的头部位置处理,打造具备更佳响应性的沉浸式体验
• 快速光子移动:通过异步时间扭曲及单显示缓存,提供快速的3D画面渲染,与不使用该SDK相比,减少高达50%的延迟
• 支持镜头校正的立体渲染:支持3D双眼画面的色彩校正和桶形畸变,提高图形和视频的视觉质量,增强整体VR体验
• VR图层:生成菜单、文字和其他覆盖图层,在虚拟世界中实现正确渲染,减少失真可能造成的视觉不适感
• 功耗管理:集成Qualcomm® Symphony System Manager SDK,提供整体的CPU、GPU和DSP功率与性能管理,让VR能够在低功耗、低散热的严格要求下,以稳定的帧数率运行——与不使用该SDK相比,提高电源效率
Qualcomm Technologies, Inc. 工程高级总监Dave Durnil表示,“我们正提供先进的工具和技术帮助开发者显著改善诸多应用程序的虚拟现实体验,包括游戏、360度VR视频和各种交互式教育与娱乐应用等。VR是我们与世界互动的全新方式,我们很高兴能帮助移动VR开发者在即将面市的、可支持VR的骁龙820安卓智能手机和头盔上,更高效地提供引人瞩目的高品质体验。”
好文章,需要你的鼓励
GeoVerse融合几何潜在扩散模型与Wan2.2视频生成先验,并引入全局空间记忆机制,实现了跨视角一致、生成质量高且推理速度快的新视角合成,在多个数据集上大幅超越现有方法GLD。
本文解读TT-VidT,一种通过分离外观锚点与动作令牌、结合Diff Compression训练目标的视频自监督方法。在24种架构目标组合的受控实验中,仅TT3D与Diff Compression搭配才能进入强动作敏感区,且计算量比同类方法降低近一半。
Q&A Q1:Imprint Reader是什么? A:Imprint Reader是上海人工智能实验室团队开发的模型,通过SMaRT训练方法学会读取另一个模型冻结的权重更新,把参数层面的变化翻译成自然语言描述,判断这次更新到底注入了什么知识或诱导了什么行为习惯。 Q2:MetaEdit能做什么? A:MetaEdit能把Reader对目标行为的梯度信号迁移到原始模型上,不需要任何目标任务的训练数据,只用一句行为描述就能定向调整模型参数,已经在安全性拒绝率调节、数学推理风格转变和工具调用能力提升上验证过效果。 Q3:Imprint Reader读权重更新的准确率高吗? A:目前还不高,知识类目标的Pass@100只有2%,行为类目标是16%,说明自由生成描述的可靠性有限,但相比原始模型完全答不出来的0%基线,已经证明了权重更新的自然语言读取是可行的。
统一多模态模型能看也能画,理论上该会自我修正。本论文提出UMM-Reflection,用整条轨迹的强化学习联合训练诊断和修图能力,GenEval提升12分,且迁移到多个未训练基准,揭示RL提升的是选择可靠性而非新能力。