
科学家已经习惯于使用超级计算机处理宇宙学领域的海量数据,最近卡耐基梅隆大学的研究团队找到一种新方法,可以使用常规的机器学习技术(与AI绘画或作曲拥有同样的底层设计),在图形处理单元(GPU)上实现高级模拟能力。
这个名为“无人在此”(This Person Does Not Exist)的研究项目,尝试使用大家熟知的硬件与神经网络技术以高分辨率形式模拟我们的现实宇宙。这项极具前瞻性的研究,也许会彻底改变我们认识宇宙与理解物理定律的方式。
根据研究小组的说法,使用传统方法在单一处理核心上运行宇宙学模拟大约需要23天。因此,研究人员倾向于使用超级计算机完成此类仿真任务。之所以如此困难,是因为物理学中仍充斥着种种悬而未决的根本问题。我们找不到一套能够解释整个宇宙的统一规则,科学家们也不清楚如何将经典物理学定律同量子领域中观察到的现象联系起来。
为此,我们必须努力探索。在涉及到预测宇宙中暗物质数量等难题时,科学家必须尝试不同的预设数值。只有这样反复试错,才能最终得出更接近真实情况的结果。科学家们开始着手模拟,并将发现与太空望远镜及其他观测结果数据源进行核对,之后再模拟、再核对,如此反复。
问题所在
超级计算机的运行成功率极高,租用一个小时往往就要花掉数千美元。与单一GPU的低功耗水平相比,超级计算机简直就像是个熊熊燃烧的大火炉。
所以对于这类需要反复试验的问题,超级计算机显然不是最好的解决方案。
路在何方
研究人员将问题归结为:目前,我们可以先对宇宙中的小块图像进行高分辨率模拟,并在大型模拟区域内转为低分辨率图像模拟。至于大型区域的高分辨率图像处理必须慎而又慎,因为这会耗费掉大量时间、精力与能源。
但这样的现状,相当于在模拟整个宇宙时设下一道不可逾越的鸿沟。贯通天堑的桥梁,就是AI。
卡耐基梅隆大学团队选择的方案并非教导AI以程序化方式模拟整个宇宙(这仍然可能设定无穷多个变量),而是直接以高分辨率形式进行图像模拟。
这大大提升了模拟效率。具体提升了多少?卡耐基梅隆大学的Jocelyn Duffy表示:经过训练的代码能够获取完整的低分辨率模型并执行超高分辨率模拟,将其中包含的粒子数量扩展达512倍。对于宇宙当中直径约5亿光年、包含1.34亿个粒子的区域,原有方法需要560个小时才能在单一处理核心上完成高分辨率模拟;而使用新方法后,研究人员仅仅需要36分钟。在向模拟流程中添加更多粒子后,效果变得更为显著。对于包含1340亿个粒子的“千亿”(相较于上一用例)宇宙,研究人员的新方法在单一图形处理单元中只需要16个小时即可处理完成。如果使用原有方法,这种大小及分辨率的模拟必须配合专用的超级计算机,处理时长也将达到数月之久。
这不是说AI真能“理解”我们所无法企及的宇宙空间。相反,它只是在以令人信服的方式将低分辨率模拟图像扩充为高分辨率形式,帮助科学家以更少的时间、精力与能源投入获得可靠的模拟结果。
从本质上讲,这就像是为AI提供电影的分镜草稿,再由它输出实拍影片的具体样貌。虽然还不够完善,但已经可以在一定的保真水平下省去真实拍摄的麻烦。
实际过程当然要比本文的描述复杂得多。但好在模拟出的宇宙图像比较容易验证,我们可以直接把结果跟观测数据进行比较。唯一的谜团,是我们并不知道AI模型是如何完成填充的。
这项最新成果,让宇宙学模拟从超级计算机的专利变成了完全可以运行在游戏PC上的“小case”,研究人员也可以借此快速测试自己的灵感、推动模拟能力的大众化转型。
从乐观的角度来说,这项研究有望彻底改变我们对现实宇宙的观察方式。如果运气好,我们也许能更好地对暗物质、引力效应甚至是宇宙起源作出原理性解释。
好文章,需要你的鼓励
RGPO用"临时脚手架"破解大模型强化学习的奖励稀疏难题:先让模型独立解题,失败则分段放出标准解法引导重写,仅采纳经验证更优的答案。难题测试准确率从0跃至99.5%,语言模型平均分高出最强基线5.0分。
论文提出用MoE模型的路由器输出作为跨语言对齐目标,通过持续预训练对翻译句对施加路由KL散度损失,在不改变分词和架构的前提下让隐藏表示更接近,并在四个开源MoE模型、七种语言上验证了下游任务性能的一致提升。
DiffGate提出难度门控的教师指导机制,让验证器决定何时需要教师介入,仅对失败且困难的轨迹提供有界教师指导,结合GRPO强化学习,在数学与代码任务上显著提升解题覆盖率与跨领域迁移能力。
研究者用固定不变的16位二进制编码替代传统可训练词嵌入表,在17亿参数规模模型上训练1000亿token,证明模型仍可获得实质语言能力,揭示输入表并非必需,但性能略逊于可学习方案。