随着边缘计算技术和工业互联网应用的快速发展,边缘智能设备需要支持的功能不断增加,并且,不同类型的功能依赖不同的硬件实现性能加速,比如:网络传输需要独立CPU的高级网卡支持或与新的安全协议快速对接,视频监控需要GPU资源来进行视频分析加速。此外,随着功能需求的不断增加,原有边缘智能设备方案也要升级不同的硬件,而对于在现场已经部署完成的边缘智能设备,单独升级其中的某部分硬件模块,从可行性和成本上均面临很大挑战。
上述问题的有效解决需要一种全新的方案。
近日,江行智能与香港理工大学计算学系王丹教授团队共同研发的智能网卡项目TAPU-NIC: A Smart Network Interface Card based on a novel Transmission-Analytics Processing Unit for EdgeBox(为边缘计算设计的基于传输分析集成处理的智能网卡)取得重要成果:全球首款可按需、灵活提供CPU和GPU资源的边缘智能网卡问世。该项目由香港特别行政区政府创新科技署创新科技基金支持,相关成果申请专利一项,发表高水平论文三篇。该款智能网卡的原型系统将应用于江行智能EdgeBox系列产品。
该项目的核心成果是一种新颖的传输分析处理单元(TAPU),并对不同模式使用的资源进行动态调节。TAPU提供的这种关键特性可以在不调整边缘智能设备已有硬件的前提下,为资源优化问题提供最佳的解决方案。依赖该特性,项目组进一步研发了智能网卡模块TAPU-NIC。
图1:TAPU-NIC模块架构
该模块包含机器视觉类算法模型和系统网络应用,可根据边缘侧实际业务需求,自适应动态调整GPU和CPU资源分配,优化边缘智能设备性能,灵活支持场景应用。原型系统由江行智能EdgeBox,TAPU-NIC,以及商用摄像头组成,并在香港理工大学进行现场测试。图2展示了系统演示画面,我们可以清晰的看到,系统可以按需设置视频分析参数和网络应用参数,动态提供CPU资源和GPU资源。实验结果显示,TAPU可以提高24%视频应用分析的准确度,以及减少22%的响应时间。
图2:系统演示画面
江行智能联合创始人兼CTO樊小毅博士表示:非常荣幸能与香港理工大学王丹教授团队合作研发项目,很感谢香港创新科技署对项目的大力支持。作为一家高科技创业公司,我们一直非常重视产学研的紧密合作,江行智能希望通过开放性的合作推动行业前沿问题的研究,加速一系列研发成果的有效转化,从而推动技术进步。目前,我们已经同清华大学、香港理工大学、中国科学技术大学、华北电力大学等众多高校建立了合作关系,相信这个名单会不断扩大下去,更多AI+边缘计算的科研成果会落地工业场景。
好文章,需要你的鼓励
AIM Intelligence联合多所知名大学揭示了音频AI系统的重大安全漏洞,开发出名为WhisperInject的攻击方法。这种攻击能让看似无害的音频指令操控AI生成危险内容,成功率超过86%,完全绕过现有安全机制。研究暴露了多模态AI系统的系统性安全风险,对全球数十亿智能设备构成潜在威胁。
新加坡国立大学研究团队系统梳理了视觉强化学习领域的最新进展,涵盖超过200项代表性工作。研究将该领域归纳为四大方向:多模态大语言模型、视觉生成、统一模型框架和视觉-语言-动作模型,分析了从RLHF到可验证奖励范式的政策优化策略演进,并识别出样本效率、泛化能力和安全部署等关键挑战,为这一快速发展的交叉学科提供了完整的技术地图。
浙江大学研究团队通过OmniEAR基准测试揭示了当前AI模型在物理世界推理方面的严重缺陷。测试显示,即使最先进的AI在明确指令下能达到85-96%成功率,但面对需要从物理约束推断行动的任务时,成功率骤降至56-85%。研究发现信息过载反而降低AI协作能力,监督学习虽能改善单体任务但对多智能体协作效果甚微,表明当前架构存在根本局限性。
纽约大学和Aimpoint Digital Labs的研究团队首次揭示了Transformer模型训练中"大规模激活"的完整发展轨迹。这些影响力比普通激活大千倍的"超级激活"遵循可预测的数学规律,研究者开发出五参数公式能以98.4%准确率预测其变化。更重要的是,通过调整模型架构参数如注意力密度、宽深比等,可以在训练前就预测和控制这些关键激活的行为,为设计更高效、量化友好的AI模型提供了全新工具。