上篇的《大话“东数西算”》里,说到了东数西算是一种数据和计算的资源调配,但这种资源调配,和“南水北调”、“西气东输”又是大不同的。
小美:资源平衡可以理解,但数据的动态平衡,是啥意思来?
悟空博士:大家不能简单的理解为东部的数据都要拿到西部去计算。如果这样简单看,没毛病,但并没用厘清“东数西算”的大规划。数据的动态平衡是要先分清楚数据的分类,以此为基础,来理解东数西算了。
小美:悟空博士,那你快来说一说,数据怎么分类?
悟空博士:数据也有很多分类,从应用角度来看,数据可分为热数据和冷数据。热数据就是需要频繁访问,对计算实效有较高要求的数据,比如我们点外卖,当然需要系统及时的响应,那么这个数据就是热数据。简单理解,就是我们经常用到的数据。
小美:有热,就有冷吧?
悟空博士:对,还有一部分就是冷数据,我们偶尔访问一下,对计算的时效性要求并不高,比如我们归档的电子邮件,偶尔想起来时候才会去看一眼。
小美:我知道了,冷数据和热数据既然是按照平常用的应用频率来区分的,那么,这样的区别,具体在“东数西算”中如何体现?
悟空博士:东数西算中的“数”,要看的是冷数据和热数据之间的平衡,热数据尽量留在距离用户近的东部,而冷数据则运到距离用户较远的西部,数据的动态平衡,放在这里,就是要随着数据的冷热进行动态的平衡。
小美:这种动态平衡延伸开来,也会引发一系列效应吧?
悟空博士: 是的,算力在寸土寸金的东部自然要更贵一些,而在自然资源丰富的西部则更具价格优势。但成本同样需要考虑到,数据往返运送所涉及到的网络成本,以及往返的时间成本等。
小美:东数西算是全国一盘大棋,考量的会更多吧?
悟空博士:对头,东数西算既要考虑算力成本,也要考虑往返的网络成本以及时间成本,是结合成本考量后的平衡布局,确保相关数据的计算能保持一个成本最优解。
当然,“东数西算”实现的是更大意义上的平衡。西部的数字经济也会随着算力中心的潜移,而最终受益。
小美:西部能够接收东部的数据,说明西部也有一些条件是适合来接收的,这其中有哪些契机。
悟空博士:电力成本、土地成本、人才成本放在西部,就降低了许多,因此,西部的算力就比东部的整体算力成本低,是弥补东部算力不足的划算选择。这些都是大家很容易想到的理由。
小美:那肯定还有很多大家不容易想到的理由了。
悟空博士:首先,技术是最不容忽视的,跟以往的资源调度所不同,“东数西算”之所以能提出,因为有了新的契机:网络能力逐步提升,互联网架构也在调整,这些让“东数西算”成为可能。
小美:过去的网络不能实现这样的传输吗?
悟空博士:过去的网络传输能力还是有点“心有余,力不足”。传输海量的数据,需要有强大的网络。
曾经有一个段子,亚马逊为了计算处理数据,公司用货车拉硬盘到数据中心来处理,而不是像想象中的那样用“云”。
小美:原来还有这么一回事啊,下次咱们继续说。
作者:
中国信通院云大所副总工程师 王蕴韬
科技行者执行总编辑 孙封蕾
大话“东数西算”
好文章,需要你的鼓励
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。
这篇论文介绍了LegalSearchLM,一种创新的法律案例检索方法,将检索任务重新定义为法律要素生成。研究团队构建了LEGAR BENCH数据集,涵盖411种犯罪类型和120万案例,并开发了能直接生成关键法律要素的检索模型。实验表明,该模型在准确率上超越传统方法6-20%,且在未见犯罪类型上展现出强大泛化能力。这一突破为法律专业人士提供了更高效、精准的案例检索工具。