攀岩运动员Abbie Robinson虽然世界顶尖的比赛技巧与光芒四射的世界冠军头衔,但视觉障碍仍然一直困扰着她。目前,她正依靠一种使用机器学习与计算机视觉技术的设备帮助自己完成疫情隔离期间的日常活动。
Robinson在17岁时被诊断出患有斯塔加特黄斑变性,这是一种少年性黄斑变性疾病,会导致病人逐渐丧失视野中心区的视力。换句话说,她将越来越难以细致感知色彩,也让阅读与观察等日常行动变得格外困难。
但这并没有阻止她拿下攀岩世界冠军、保持个人独立性并继续在利兹大学攻读专业。
但与其他大部分学生一样,随着英国在COVID-19疫情下选择全面隔离,Robinson也不得不待在家中学习。为了完成学业,她开始使用OrCam推出的MyEye2设备。这款设备配备有人工智能(AI),能够直接安装在普通眼镜架上,并直接用语音读出印刷文本或者数字文本中的内容。
她表示,“我的主要需求就是阅读;现在,我终于能够顺畅地读完一本普通书籍了。有了这种正常阅读的能力,我能够顺利完成学业,同时也可以阅读很多额外的材料与论著。”
由于无法在校园内当面聆听讨论与辅导,大学讲师们被迫为学生们准备了更多阅读材料,这也使年轻人们近来的阅读需求显著提升。
Robinson还利用设备提供的人脸识别功能,帮助自己在拥护的区域内快速辨认出自己的好友。另外,她也用MyEye2设备读取演讲中的展示信息、培训时间表、训练计划以及食品标签等等——对芝麻过敏的她,尤其关注这最后一点。当然,MyEye 2唯一做得不够的,就是在攀岩过程中为她提供帮助。
“但我也非常理解,毕竟MyEye 2并不是为此而设计。它给我带来巨大帮助,支持我正常完成日常生活,这也间接协助我提高自己的攀岩成绩。因为它加快了我的工作速度,通过提高效率节省下更多训练时间,最终达成了理想的工作与训练平衡。”
她还提到,“在使用MyEye2之前,完成生活中任何一件琐事都需要双倍的时间,导致我真的很难保持一周20个小时的攀岩训练。我的生活可以说是连轴转,毫无喘息之机。”
另外,她也说起MyEye2的另一项重要功能——除了阅读训练教程,它还帮助这位年轻的冠军独自出行。现在,无需他人的指引,她就能直接读取指示牌上的信息。
OrCam MyEye2的工作原理
OrCam MyEye2设备使用计算机视觉来处理其识别到的每一幅图像中的数百万个数据点,并从中筛选出对用户最有用的信息。这台设备能够检测出用户的手指激活操作,大声读出文本,同时用语音向设备佩戴者提示人脸、产品、纸币面额以及颜色等信息。
虽然这款产品背后的底层技术(OCR,即光学字符识别)已经存在多年,但OrCam方面正努力将这项成果引入更多设备,帮助用户解答与文本内容相关的种种问题。例如,用户可以手持电费单,并要求设备读出其中的付款截止日期。
好文章,需要你的鼓励
AIM Intelligence联合多所知名大学揭示了音频AI系统的重大安全漏洞,开发出名为WhisperInject的攻击方法。这种攻击能让看似无害的音频指令操控AI生成危险内容,成功率超过86%,完全绕过现有安全机制。研究暴露了多模态AI系统的系统性安全风险,对全球数十亿智能设备构成潜在威胁。
新加坡国立大学研究团队系统梳理了视觉强化学习领域的最新进展,涵盖超过200项代表性工作。研究将该领域归纳为四大方向:多模态大语言模型、视觉生成、统一模型框架和视觉-语言-动作模型,分析了从RLHF到可验证奖励范式的政策优化策略演进,并识别出样本效率、泛化能力和安全部署等关键挑战,为这一快速发展的交叉学科提供了完整的技术地图。
浙江大学研究团队通过OmniEAR基准测试揭示了当前AI模型在物理世界推理方面的严重缺陷。测试显示,即使最先进的AI在明确指令下能达到85-96%成功率,但面对需要从物理约束推断行动的任务时,成功率骤降至56-85%。研究发现信息过载反而降低AI协作能力,监督学习虽能改善单体任务但对多智能体协作效果甚微,表明当前架构存在根本局限性。
纽约大学和Aimpoint Digital Labs的研究团队首次揭示了Transformer模型训练中"大规模激活"的完整发展轨迹。这些影响力比普通激活大千倍的"超级激活"遵循可预测的数学规律,研究者开发出五参数公式能以98.4%准确率预测其变化。更重要的是,通过调整模型架构参数如注意力密度、宽深比等,可以在训练前就预测和控制这些关键激活的行为,为设计更高效、量化友好的AI模型提供了全新工具。