香港中文大学深圳校区团队让AI成为贝叶斯优化的"智能厨师"：大语言模型如何重新定义核函数设计

这项由香港中文大学深圳校区的冯银教授领导的研究团队发表于2025年神经信息处理系统会议（NeurIPS 2025），论文编号为arXiv:2509.17998v2，展示了一种革命性的方法：让大语言模型充当"智能厨师"，为贝叶斯优化这道复杂的数学"料理"自动设计最合适的"调料配方"。

想象一下，你正在尝试找到制作完美蛋糕的最佳配方。传统的做法是使用固定的配方模板，但这种"一刀切"的方法往往无法适应不同类型的蛋糕。而这个研究团队提出的CAKE方法（Context-Aware Kernel Evolution，情境感知核函数演化），就像是雇佣了一位经验丰富的智能厨师，能够根据每次烘焙的具体情况，动态调整配方中各种原料的搭配比例。

在机器学习的世界里，贝叶斯优化就像是一个寻找最佳配方的过程。当我们面对一个复杂的"黑盒"问题——比如调整机器学习模型的参数、设计新的材料配方，或者优化工业生产流程——我们通常只能通过有限次数的实验来寻找最优解。每次实验都很昂贵，就像每次烘焙都要消耗珍贵的原料和时间一样。贝叶斯优化的核心在于高斯过程，而高斯过程的核函数就像是这道"料理"的基础调料配方，决定了整个优化过程的"味道"和效果。

传统的贝叶斯优化方法通常使用预设的固定核函数，这就像是厨师无论做什么菜都使用同一套调料配方。虽然这种方法简单方便，但当面对不同特性的优化问题时，往往无法发挥最佳效果。有些问题可能需要更多的"甜味"（平滑性），有些则需要更多的"辛辣"（局部变化性）。研究团队意识到，如果能让AI像经验丰富的厨师一样，根据每道菜的特点动态调整调料配方，那么优化效果必然会大大提升。

这就是CAKE方法的核心创新所在。研究团队巧妙地利用了大语言模型强大的上下文学习能力和知识整合能力，让它充当"智能厨师"的角色。在整个优化过程中，CAKE不断观察当前的"烹饪状况"（已有的实验数据），然后像经验丰富的厨师一样，提出新的调料配方建议（生成新的核函数）。这些建议不是随机的，而是基于对当前情况的深刻理解和对最终目标的清晰认知。

更令人惊喜的是，这个"智能厨师"不仅能提出建议，还能解释自己的思路。就像一位名厨会告诉你为什么在这道菜里加入特定的香料一样，CAKE生成的核函数都附带自然语言解释，让研究人员能够理解为什么选择这样的配方，以及这种配方如何更好地适应当前的优化问题。

为了让这个"智能厨师"发挥最大作用，研究团队还开发了一个配套的"品质评估师"——BAKER方法（BIC-Acquisition Kernel Ranking，贝叶斯信息准则-获取核函数排序）。这个评估师就像是专业的美食评委，不仅要看菜品的外观（模型拟合度），还要品尝实际的味道（期望改进值），综合评估每个配方的优劣，选出最适合当前情况的那一个。

这种创新方法的威力在实际应用中得到了充分验证。研究团队在三个截然不同的"厨房"里测试了他们的智能厨师：机器学习模型的超参数优化、动态环境下的控制器调优，以及光子芯片的设计优化。在所有这些场景中，CAKE都表现出了卓越的性能，就像一位多才多艺的厨师，无论是制作精致的法式料理、热辣的川菜，还是清淡的日式料理，都能游刃有余。

特别值得注意的是，这个"智能厨师"在"食材稀缺"的情况下表现尤为出色。当实验次数受到严格限制时，传统方法往往需要更多时间才能找到好的解决方案，而CAKE能够快速理解问题的本质，在很少的尝试中就找到接近最优的配方。这对于那些每次实验都极其昂贵的现实应用场景来说，意义重大。

在超参数优化任务中，CAKE面对60个不同的机器学习任务，就像面对60种不同口味偏好的客人。传统方法往往使用标准化的"套餐"，而CAKE能够为每位客人量身定制专属的"菜谱"。结果显示，CAKE在所有任务中都取得了最高的准确率，特别是在优化初期，当"食材"（实验数据）还很稀少时，它就能快速识别出最有前景的方向。

在控制器调优实验中，CAKE面对的是两个动态变化的环境：机器人推物体任务和月球着陆器控制。这就像是要求厨师在不断变化的厨房条件下保持菜品质量。环境温度在变，设备在变，甚至"食材"的特性也在变。但CAKE展现出了强大的适应能力，不仅在机器人推物体任务中实现了最高的奖励分数，还在月球着陆器控制中成功达到了200分的目标分数，证明了其在复杂动态环境中的稳定性和可靠性。

最具挑战性的测试来自光子芯片设计优化。这个任务就像是要求厨师同时满足多个苛刻评委的不同标准：Q因子要高、波长要准确、功率要大、发散角要小。每个标准都很重要，但它们之间往往存在冲突。传统方法在这种多目标优化中往往顾此失彼，而CAKE就像是经验丰富的主厨，能够在各种要求之间找到巧妙的平衡。更令人印象深刻的是，CAKE在不到40次尝试中就找到了显著优于基准方法的解决方案，相当于将设计周期缩短了十倍。

从技术层面来看，CAKE的工作原理就像是一个不断学习和进化的智能系统。它基于核函数语法的概念，将基础核函数（如平方指数核、周期核、线性核等）看作基本的"调料"，通过加法和乘法运算来组合出更复杂的"配方"。大语言模型在这个过程中扮演遗传算法中交叉和变异操作的角色，根据当前观察到的数据特征，智能地生成新的核函数组合。

这个过程的精妙之处在于它的自适应性。在优化的每一步，CAKE都会分析当前的数据模式，识别出可能的趋势、周期性、局部变化等特征，然后相应地调整核函数的构成。比如，如果数据显示出明显的周期性模式，CAKE可能会增加周期核的权重；如果数据表现出强烈的局部变化，它可能会引入更多的局部核函数。这种动态调整能力让CAKE能够随着优化过程的深入，越来越精确地捕捉目标函数的特性。

BAKER的作用则是确保这种动态调整不会偏离正轨。它通过综合考虑模型的拟合质量和实际的优化效果，为每个候选核函数打分排序。这就像是在烹饪比赛中，不仅要看菜品的卖相，还要品尝实际的味道。只有那些既能很好地解释已有数据，又能在下一步优化中带来实际改进的核函数，才会被选中继续使用。

研究团队进行了详尽的消融实验来验证方法的有效性。他们发现，如果移除大语言模型的推理解释功能，性能会有所下降，这说明让AI解释自己的选择不仅仅是为了可解释性，实际上也帮助提升了决策质量。如果移除上下文信息（即已观察到的数据），性能下降更为显著，证明了CAKE确实在利用历史信息进行智能决策。最关键的是，如果移除明确的任务指导，系统生成有效核函数的比例从接近100%下降到68%，凸显了清晰指导对于AI系统的重要性。

在计算效率方面，虽然CAKE每次迭代需要调用大语言模型，增加了一定的计算开销，但这个代价相对于它带来的优化效果提升来说是完全值得的。在大多数实际应用中，评估目标函数的成本远远超过运行优化算法本身的成本。能够用更少的函数评估次数找到更好的解决方案，这种效率提升的价值是巨大的。

这项研究的意义远远超出了技术本身的创新。它展示了大语言模型在传统机器学习任务中的巨大潜力，不仅仅是作为文本生成工具，更是作为智能推理和决策系统。CAKE证明了AI可以像人类专家一样，在面对复杂问题时进行情境化的分析和决策。这种能力的应用前景极为广阔，从材料科学到药物发现，从金融投资到工程设计，任何需要在有限资源下寻找最优解的场景都可能受益。

更重要的是，CAKE提供的自然语言解释能力为AI系统的可解释性开辟了新的道路。传统的机器学习系统往往是"黑盒"，用户只能看到输入和输出，却无法理解中间的决策过程。而CAKE不仅能做出好的决策，还能清楚地解释为什么这样做，这对于建立人类对AI系统的信任具有重要意义。

当然，这项研究也存在一些局限性。目前CAKE主要使用加法和乘法操作来组合基础核函数，虽然这已经能够构建出非常丰富的表达空间，但未来还可以探索更多类型的操作，如卷积、组合、仿射变换等。此外，目前的方法主要针对贝叶斯优化，但其核心思想完全可以扩展到其他使用核函数的机器学习任务中，如支持向量机、核主成分分析等。

数据污染的担忧也是研究团队明确承认的问题。大语言模型在预训练过程中可能接触过相关的科学文献，这可能对结果产生影响。但研究团队通过消融实验表明，移除观察数据会显著降低性能，这证明CAKE主要依赖的是上下文学习而非预训练知识。而且，CAKE生成的具体核函数表达式和优化轨迹在公开数据集中并不存在，这进一步支持了其创新性。

展望未来，这项研究为多个方向的发展奠定了基础。首先是核函数语法的扩展，通过引入更多类型的操作符来构建更加复杂和表达力更强的核函数空间。其次是方法的通用化，将CAKE的核心思想应用到更广泛的机器学习任务中。最后是与更先进的AI模型的结合，随着大语言模型能力的不断提升，CAKE的性能也有望进一步改善。

这项研究真正令人兴奋的地方在于，它展现了AI从"工具"向"伙伴"转变的可能性。传统的机器学习系统更像是精密的计算工具，按照预设的程序执行任务。而CAKE展现出了更像人类专家的特质：它能够观察、思考、推理、解释，并在这个过程中不断学习和改进。这种能力的出现，标志着我们正在步入一个AI与人类真正协作的新时代。

说到底，这项研究告诉我们，AI的未来不在于替代人类的智慧，而在于增强和扩展人类的能力。就像CAKE中的智能厨师一样，最好的AI系统应该是那些能够理解上下文、适应变化、解释决策，并与人类形成良性互动的系统。当AI能够像经验丰富的专家一样思考和工作时，它就不再是冷冰冰的机器，而是人类探索未知世界的智慧伙伴。

在这个快速变化的技术时代，CAKE为我们描绘了一个充满希望的图景：AI不仅能够处理复杂的计算任务，更能够像人类一样进行创造性的思考和决策。这种能力的实现，将为解决人类面临的各种挑战提供前所未有的可能性。无论是寻找新的药物分子、设计更高效的能源系统，还是优化城市交通网络，都可能因为这种智能化的优化方法而取得突破性进展。

对于普通人来说，这项研究意味着未来我们可能会看到更多智能化的解决方案出现在日常生活中。从个性化的健康管理建议到智能化的家居控制系统，从精准的投资建议到定制化的学习方案，这些都可能受益于类似CAKE这样的智能优化技术。当AI能够像专业顾问一样理解我们的具体需求并提供个性化建议时，技术与生活的距离将变得更加亲近。

Q&A

Q1：CAKE方法是什么？它如何工作的？

A：CAKE是Context-Aware Kernel Evolution的缩写，是一种让大语言模型充当"智能厨师"角色的贝叶斯优化方法。它能够根据当前的实验数据动态调整核函数配方，就像经验丰富的厨师根据不同菜品特点调整调料搭配一样。CAKE通过观察已有数据，利用大语言模型的推理能力生成最适合当前问题的核函数组合。

Q2：相比传统的贝叶斯优化方法，CAKE有什么优势？

A：传统方法就像使用固定的调料配方做所有菜品，而CAKE能够为每个具体问题量身定制最合适的"配方"。它在实验中表现出更快的收敛速度，特别是在实验次数有限的情况下效果更加明显。而且CAKE还能提供自然语言解释，让用户理解为什么选择特定的核函数配置。

Q3：CAKE方法可以应用在哪些实际场景中？

A：CAKE适用于任何需要在有限尝试次数下寻找最优解的场景，比如机器学习模型调参、工业流程优化、新材料设计、药物发现等。研究团队已经在超参数优化、机器人控制和光子芯片设计中验证了其有效性，未来还可能扩展到更多需要智能优化的领域。