近期,AMD在纽约举办的分析师大会(Financial Analyst Day)上展示了很多新产品与新技术,其中,HBM晶片堆栈式高带宽内存吸引了很多人的目光,AMD总裁兼首席执行官苏姿丰博士表示,HBM是真正能够以更高的带宽、更低的功耗来提供很好的效能。
HBM有何优势?它会何时推出呢?带着这些问题,我们采访了AMD事业群首席技术官(Business Unit CTO) Joe Macri,他表示,HBM在整个功耗降低方面做的非常好,它把所有节省的功耗用于补偿GPU核心的功耗;另外,数据传输的带宽大约是每秒100GB。
图为AMD事业群首席技术官(Business Unit CTO) Joe Macri
AMD开发HBM已经有7年的历史了,是什么原因使得AMD对HBM产生了这么大的兴趣?Joe Macri表示,如今很多系统的问题是功耗较大,很多高端显卡的功耗在250w-300w之间。有时会碰到一种极限,当GPU性能已经很高时,功耗也非常高,内存的功耗也变得非常高,那是一个非常可怕的事情,会造成整个系统热量非常大,功耗很高,但是性能提升却有限。很多时候为了保持系统功耗的平衡,内存功耗很高的话,GPU的功耗就不可以很高,这样会直接影响到GPU的性能。而AMD就想要生产出高带宽、低功耗的内存,这样就可以平衡整个系统的性能和功耗。
如上图所示,垂直的“四条线”是比较有功能性的DRAM的堆栈,这也是HBM整个内存的晶片构造,出自SK Hynix。左边蓝色的是整套SK Hynix内存的HBM晶片,右边是AMD GPU的晶片。Joe Macri表示,通过1024位连线进行联系,有非常高速的硅晶片的铜联线来进行数据交互,数据非常大且速度非常快,这是不能通过主板来解决的,必须通过这种联线来做到,另外,HBM能够与CPU/GPU封装在一起。
HBM真正实现了低功耗和高带宽,它的外形很小,并且可以把更多的功耗转移到GPU,而且很多用途可以并到HBM,除了独立显卡和游戏以外,像HPC超级计算机、高性能计算、电信、服务器、还有所有类型的PC都会从中受益。
我们所熟悉的DDR5与HBM相比有很大的区别,就是带宽上很不一样,DDR5是32位,HBM则是1024位。Joe Macri解释道,最重要的是它的时钟频率,DDR5是1750兆赫兹,每秒7GB的数据传输量;HBM的整个速度降低得非常快,最高才到500兆赫兹,1GB数据传输量,速率的降低大量地节省了功耗,这是最重要的一点。而整个数据传输的带宽,DDR5是28GB每秒每个芯片,HBM大约是每秒100GB,它的功耗也大大降低了,但是由于整个位宽比较高,所以整个数据传输的带宽是非常高的,大概是过去的5倍。
Joe Macri表示,AMD在建立一个HBM的完整的生态系统,主要包括DRAM、组装和封装、芯片测试。AMD是第一家开始做HBM的公司,不过随后一定也会有其他公司陆续加入。
好文章,需要你的鼓励
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。
这篇论文介绍了LegalSearchLM,一种创新的法律案例检索方法,将检索任务重新定义为法律要素生成。研究团队构建了LEGAR BENCH数据集,涵盖411种犯罪类型和120万案例,并开发了能直接生成关键法律要素的检索模型。实验表明,该模型在准确率上超越传统方法6-20%,且在未见犯罪类型上展现出强大泛化能力。这一突破为法律专业人士提供了更高效、精准的案例检索工具。