随着边缘计算技术和工业互联网应用的快速发展,边缘智能设备需要支持的功能不断增加,并且,不同类型的功能依赖不同的硬件实现性能加速,比如:网络传输需要独立CPU的高级网卡支持或与新的安全协议快速对接,视频监控需要GPU资源来进行视频分析加速。此外,随着功能需求的不断增加,原有边缘智能设备方案也要升级不同的硬件,而对于在现场已经部署完成的边缘智能设备,单独升级其中的某部分硬件模块,从可行性和成本上均面临很大挑战。
上述问题的有效解决需要一种全新的方案。
近日,江行智能与香港理工大学计算学系王丹教授团队共同研发的智能网卡项目TAPU-NIC: A Smart Network Interface Card based on a novel Transmission-Analytics Processing Unit for EdgeBox(为边缘计算设计的基于传输分析集成处理的智能网卡)取得重要成果:全球首款可按需、灵活提供CPU和GPU资源的边缘智能网卡问世。该项目由香港特别行政区政府创新科技署创新科技基金支持,相关成果申请专利一项,发表高水平论文三篇。该款智能网卡的原型系统将应用于江行智能EdgeBox系列产品。
该项目的核心成果是一种新颖的传输分析处理单元(TAPU),并对不同模式使用的资源进行动态调节。TAPU提供的这种关键特性可以在不调整边缘智能设备已有硬件的前提下,为资源优化问题提供最佳的解决方案。依赖该特性,项目组进一步研发了智能网卡模块TAPU-NIC。
图1:TAPU-NIC模块架构
该模块包含机器视觉类算法模型和系统网络应用,可根据边缘侧实际业务需求,自适应动态调整GPU和CPU资源分配,优化边缘智能设备性能,灵活支持场景应用。原型系统由江行智能EdgeBox,TAPU-NIC,以及商用摄像头组成,并在香港理工大学进行现场测试。图2展示了系统演示画面,我们可以清晰的看到,系统可以按需设置视频分析参数和网络应用参数,动态提供CPU资源和GPU资源。实验结果显示,TAPU可以提高24%视频应用分析的准确度,以及减少22%的响应时间。
图2:系统演示画面
江行智能联合创始人兼CTO樊小毅博士表示:非常荣幸能与香港理工大学王丹教授团队合作研发项目,很感谢香港创新科技署对项目的大力支持。作为一家高科技创业公司,我们一直非常重视产学研的紧密合作,江行智能希望通过开放性的合作推动行业前沿问题的研究,加速一系列研发成果的有效转化,从而推动技术进步。目前,我们已经同清华大学、香港理工大学、中国科学技术大学、华北电力大学等众多高校建立了合作关系,相信这个名单会不断扩大下去,更多AI+边缘计算的科研成果会落地工业场景。
好文章,需要你的鼓励
Queen's大学研究团队提出结构化智能体软件工程框架SASE,重新定义人机协作模式。该框架将程序员角色从代码编写者转变为AI团队指挥者,建立双向咨询机制和标准化文档系统,解决AI编程中的质量控制难题,为软件工程向智能化协作时代转型提供系统性解决方案。
西北工业大学与中山大学合作开发了首个超声专用AI视觉语言模型EchoVLM,通过收集15家医院20万病例和147万超声图像,采用专家混合架构,实现了比通用AI模型准确率提升10分以上的突破。该系统能自动生成超声报告、进行诊断分析和回答专业问题,为医生提供智能辅助,推动医疗AI向专业化发展。
上海AI实验室团队发现自回归图像生成模型存在局部依赖、语义不一致和空间不变性缺失三大问题,提出ST-AR训练方法。该方法通过掩码注意力、跨步骤对比学习和跨视角对比学习,让AI"先理解再生成"。实验显示,ST-AR将LlamaGen模型的图像理解准确率提升一倍以上,图像生成质量提升42-49%,为构建更智能的多模态AI系统开辟新路径。