随着边缘计算技术和工业互联网应用的快速发展,边缘智能设备需要支持的功能不断增加,并且,不同类型的功能依赖不同的硬件实现性能加速,比如:网络传输需要独立CPU的高级网卡支持或与新的安全协议快速对接,视频监控需要GPU资源来进行视频分析加速。此外,随着功能需求的不断增加,原有边缘智能设备方案也要升级不同的硬件,而对于在现场已经部署完成的边缘智能设备,单独升级其中的某部分硬件模块,从可行性和成本上均面临很大挑战。
上述问题的有效解决需要一种全新的方案。
近日,江行智能与香港理工大学计算学系王丹教授团队共同研发的智能网卡项目TAPU-NIC: A Smart Network Interface Card based on a novel Transmission-Analytics Processing Unit for EdgeBox(为边缘计算设计的基于传输分析集成处理的智能网卡)取得重要成果:全球首款可按需、灵活提供CPU和GPU资源的边缘智能网卡问世。该项目由香港特别行政区政府创新科技署创新科技基金支持,相关成果申请专利一项,发表高水平论文三篇。该款智能网卡的原型系统将应用于江行智能EdgeBox系列产品。
该项目的核心成果是一种新颖的传输分析处理单元(TAPU),并对不同模式使用的资源进行动态调节。TAPU提供的这种关键特性可以在不调整边缘智能设备已有硬件的前提下,为资源优化问题提供最佳的解决方案。依赖该特性,项目组进一步研发了智能网卡模块TAPU-NIC。
图1:TAPU-NIC模块架构
该模块包含机器视觉类算法模型和系统网络应用,可根据边缘侧实际业务需求,自适应动态调整GPU和CPU资源分配,优化边缘智能设备性能,灵活支持场景应用。原型系统由江行智能EdgeBox,TAPU-NIC,以及商用摄像头组成,并在香港理工大学进行现场测试。图2展示了系统演示画面,我们可以清晰的看到,系统可以按需设置视频分析参数和网络应用参数,动态提供CPU资源和GPU资源。实验结果显示,TAPU可以提高24%视频应用分析的准确度,以及减少22%的响应时间。
图2:系统演示画面
江行智能联合创始人兼CTO樊小毅博士表示:非常荣幸能与香港理工大学王丹教授团队合作研发项目,很感谢香港创新科技署对项目的大力支持。作为一家高科技创业公司,我们一直非常重视产学研的紧密合作,江行智能希望通过开放性的合作推动行业前沿问题的研究,加速一系列研发成果的有效转化,从而推动技术进步。目前,我们已经同清华大学、香港理工大学、中国科学技术大学、华北电力大学等众多高校建立了合作关系,相信这个名单会不断扩大下去,更多AI+边缘计算的科研成果会落地工业场景。
好文章,需要你的鼓励
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。
这篇论文介绍了LegalSearchLM,一种创新的法律案例检索方法,将检索任务重新定义为法律要素生成。研究团队构建了LEGAR BENCH数据集,涵盖411种犯罪类型和120万案例,并开发了能直接生成关键法律要素的检索模型。实验表明,该模型在准确率上超越传统方法6-20%,且在未见犯罪类型上展现出强大泛化能力。这一突破为法律专业人士提供了更高效、精准的案例检索工具。