4月23日,2014年ASC世界大学生超级计算机竞赛(以下简称ASC14)首轮HPL比赛即创出惊人佳绩,中山大学、华中科技大学和台湾清华大学三支高校代表队全部打破世界纪录。其中,东道主中山大学在3000W功耗约束下实现每秒9.272万亿次浮点运算性能,提前锁定本届大赛的最高计算性能奖。
ASC14由亚洲超算协会、中山大学和浪潮集团共同主办,是亚洲发起的世界最大规模的大学生超算竞赛,全球化、高水平、中国特色是本届大赛的三大特点。该项赛事旨在通过大赛平台推动各国及地区间超算青年人才交流和培养,提升超算应用水平和研发能力,发挥超算的科技驱动力,促进科技与产业创新。ASC14自2013年11月启动,共有来自全球五大洲的82所高校代表队报名参赛。经过激烈的预赛比拼,最终有16支高校队伍入围4月21日-25日在中山大学举行的总决赛。
据了解,ASC14的HPL测试有严格的比赛规定,要求各参赛队伍在总功耗3000W的限制下,采用组委会提供的浪潮超算节点、高速网络等设备,完成超算系统的搭建。中山大学最终完成的超算系统采用了混合异构加速技术,共使用216个处理器核心的浪潮超算服务器和8块异构加速卡。经过国际通行的HPL测试,最终该系统的持续浮点运算能力达到9.272万亿次/秒。此前,该项世界纪录为8.45万亿次/秒,由华中科技大学在2013年6月于德国举行的ISC13超算竞赛中创造。
对于提前锁定本届大赛的最高计算性能奖,中山大学代表队指导老师叶纬表示,中山大学之所以能取得这一成绩,一方面在于团队针对HPL应用进行了大量深入细致的策略性优化,充分发挥了混合异构加速技术优势,大幅提升了系统浮点运算能力;另一方面主办方为各参赛队伍提供了可视化的高性能计算服务平台Cluster Engine,可以实时监控系统运行状态,帮助团队分析优化运行功耗,在发挥运算性能同时又能有效控制功耗在3000W以内。他认为,HPL只代表了系统的理论计算性能,接下来的实际应用优化比试环节将是更大的挑战。
在稍晚召开的小型新闻发布会上,ASC竞赛组委会委员、浪潮集团高性能计算总经理刘军表示,三队同破世界纪录让人感到惊讶和欣喜,这说明ASC参赛大学生对超算新技术的理解、对超算架构的创新思维,都已经远超往届,很好的体现出大赛水平高的特点。同时,这也表明ASC大赛在推动超算人才培养方面,已经确确实实的发挥出巨大的作用。刘军介绍说,接下来各参赛队还将应对天河二号应用扩展极限挑战,更加值得期待。
据介绍,ASC超算竞赛已连续举办三届,从2012年的27所,到2013年的43所,再到2014年的全球82所高校参赛,完成了从中国到亚洲,从亚洲到世界的“三级跳”发展。大赛举办三年来,已经激发起社会各界对超算应用发展的关注,吸引更多人才投身于超算事业,对于超算产业的发展产生深远影响。
中山大学数学与计算科学学院许跃生教授表示,要发挥超级计算机在解决人类重大科学工程问题上的推动作用,不仅需要高性能的硬件系统,更需要能真正发挥出系统性能的应用软件,而要实现这一目标,核心在于超算复合型人才的培养。ASC大赛对超算应用创新的鼓励,将加速我国超算人才的培养进程。
好文章,需要你的鼓励
RGPO用"临时脚手架"破解大模型强化学习的奖励稀疏难题:先让模型独立解题,失败则分段放出标准解法引导重写,仅采纳经验证更优的答案。难题测试准确率从0跃至99.5%,语言模型平均分高出最强基线5.0分。
论文提出用MoE模型的路由器输出作为跨语言对齐目标,通过持续预训练对翻译句对施加路由KL散度损失,在不改变分词和架构的前提下让隐藏表示更接近,并在四个开源MoE模型、七种语言上验证了下游任务性能的一致提升。
DiffGate提出难度门控的教师指导机制,让验证器决定何时需要教师介入,仅对失败且困难的轨迹提供有界教师指导,结合GRPO强化学习,在数学与代码任务上显著提升解题覆盖率与跨领域迁移能力。
研究者用固定不变的16位二进制编码替代传统可训练词嵌入表,在17亿参数规模模型上训练1000亿token,证明模型仍可获得实质语言能力,揭示输入表并非必需,但性能略逊于可学习方案。