主动学习超参数全景调查：来自德累斯顿工业大学的大规模实验网格分析

想象一下，你正在给宝贵的照片添加标签。你有两个选择：要么标注所有照片（这会花费大量时间和金钱），要么只标注那些最有价值、最能帮助计算机理解你照片集的照片。主动学习就像是一个聪明的助手，它能帮你挑选出最值得标注的照片，从而节省大量时间和成本。

2025年6月，来自德累斯顿工业大学、德累斯顿应用科技大学以及以色列理工学院的研究团队发表了一篇题为《主动学习超参数调查：来自大规模实验网格的见解》的论文。这项由Julius Gonsior、Tim Riess、Anja Reusch、Claudio Hartmann、Maik Thiele和Wolfgang Lehner领导的研究发表在arXiv预印本平台上（arXiv:2506.03817v1）。

主动学习作为一种技术已经存在了几十年，它能够显著减少机器学习项目中所需的人工标注工作。然而，尽管它在研究领域越来越受欢迎，并且多项研究证明它可以显著节省成本，但令人惊讶的是，它在实际应用中仍然很少被使用。为什么会这样呢？

研究团队通过对自然语言处理社区的两次调查发现，从业者不使用主动学习的两个主要原因是：设置主动学习的复杂性以及对其有效性缺乏信任。研究人员认为，这两个原因都源于同一个问题：主动学习的超参数空间过于庞大，而且大多数情况下没有被充分探索，这常常导致主动学习实验结果具有误导性和不可重现性。

为了解决这个问题，研究团队进行了迄今为止规模最大的主动学习研究。他们首先编制了一个包含超过460万种超参数组合的大型超参数网格，然后记录了所有组合的性能，最后分析了每个超参数对实验结果的影响。这就像是对主动学习进行了一次全面的"体检"，检查了影响其性能的每一个因素。

现在，让我们一起深入了解这项研究的细节，看看研究团队是如何揭示主动学习的奥秘，以及他们的发现对普通用户有什么意义。

一、主动学习的基础知识：像教孩子认识世界

想象你正在教一个孩子认识动物。你有两种选择：要么给孩子看所有可能的动物图片（这需要大量时间），要么精心挑选一些最具代表性的动物图片（比如既有猫又有老虎，既有狗又有狼），让孩子更快地学会区分不同种类的动物。主动学习就像是第二种方法——它聪明地选择最有价值的样本进行标注，从而用更少的数据训练出更好的模型。

主动学习的核心是一个循环过程。想象一下，这个过程就像是你和一个好奇的学生之间的对话：

1. 你（老师）先给学生一小部分已标记的例子（比如，这是"猫"，这是"狗"）。 2. 学生尝试理解这些例子，形成初步的认知。 3. 学生指出他最不确定的一些新例子（"这个动物是猫还是狗？我分不清楚"）。 4. 你为这些例子提供正确的标签。 5. 学生用这些新标记的例子更新自己的认知。 6. 重复步骤3-5，直到学生的理解达到令人满意的水平。

在技术术语中，这个过程被称为"主动学习循环"。初始的标记数据集类似于我们给学生的第一批例子，机器学习模型就是那个试图学习的学生，查询策略则决定了学生应该问哪些问题（选择哪些样本请求标注），而人类标注者就像是那个提供答案的老师。这个循环会重复多次，直到模型性能达到满意水平或预算用尽。

主动学习的魅力在于，它可以显著减少需要标注的数据量，同时保持或甚至提高模型的性能。研究表明，在某些情况下，主动学习可以将所需的标注数据量减少到随机选择的1/10甚至更少，这就像是找到了一条通往机器学习成功的捷径。

二、研究方法：制作超参数的"全家福"

想象你想要找出制作完美巧克力蛋糕的秘诀。你会考虑烤箱温度、烘焙时间、面粉类型、糖的用量等多个因素。同样，主动学习的成功也依赖于多个"配方因素"，这些因素在学术上被称为超参数。

研究团队确定了影响主动学习实验的主要超参数：

首先是数据集，就像蛋糕的主要原料。研究团队从UCI机器学习存储库、Kaggle和OpenML等来源收集了92个不同的数据集，涵盖了从100到20,000个样本、从2到31个类别、从2到1,776个特征维度的各种情况。这就像是收集了从简单的海绵蛋糕到复杂的多层奶油蛋糕的各种"配方"。

其次是训练-测试分割方法，相当于决定如何分配面粉用于试验和最终制作。研究者对每个数据集使用了5种随机分割方法。

第三是初始标记数据，类似于启动烘焙过程的"种子"。他们为每个训练-测试分割创建了20个随机起始集，每个集合包含每个分类类别的一个示例。

第四是主动学习策略，这就像是决定如何添加配料的方法。研究团队使用了28种不同的策略实现，包括ALiPy、libact、Google Playground、scikit-activeml和Small-Text等框架中的策略。

第五是批量大小，相当于每次添加多少新配料。他们测试了1、5、10、20、50和100等不同的批量大小。

第六是学习模型，就像是选择使用哪种类型的烤箱。研究使用了神经网络、支持向量机和随机森林分类器三种模型。

最后是评估指标，相当于品尝蛋糕的方法。研究者使用了准确率、类加权F1分数、精确率和召回率等多种指标，并考虑了完整平均值、前5个值、后5个值等多种聚合方式。

将所有这些超参数组合在一起，研究团队创建了一个包含超过460万种可能组合的巨大"配方书"。这远远超过了之前研究中最多14万种组合的规模，堪称主动学习研究史上最全面的实验设计。

三、研究发现：揭开主动学习的神秘面纱

想象你终于完成了数百种巧克力蛋糕的烘焙实验，现在是时候分析结果，找出什么因素真正影响蛋糕的口感和味道。研究团队也做了类似的工作，他们分析了数百万次实验的结果，揭示了主动学习中每个超参数的重要性。以下是他们的主要发现：

首先，关于机器学习评估指标。研究发现，不同的指标（如准确率、F1分数等）对实验结果有显著影响。特别是，聚合指标的选择（比如是看前5个周期的平均值，还是看全部周期的平均值）会极大地改变实验结论。研究团队建议使用类加权F1分数作为基本指标，并使用所有主动学习周期的完整算术平均值作为聚合指标，这就像是推荐用一种统一的方法来品尝整个蛋糕，而不是只关注顶部或底部。

关于批量大小，研究显示当批量大小相近时，实验结果具有高度相关性，而当批量大小差异很大时（如比较1和100），结果则显著不同。这就像是发现每次添加一小勺和一大碗配料会导致非常不同的蛋糕。研究团队建议在评估中至少包含两种批量大小：一个非常小的值和一个较大的值。

关于数据集，研究确认了之前的发现：数据集特性对主动学习策略的性能有显著影响。不同的数据集就像不同种类的面粉，会导致完全不同的"烘焙结果"。研究团队建议使用多样化的数据集集合，如OpenML-CC18基准套件。

关于学习模型，研究发现三种测试的模型（神经网络、随机森林和支持向量机）在选择的样本和达到的指标值方面表现相似，但在最终排名中存在差异。神经网络模型与完整参数网格的相关性最高，表明它可能是主动学习实验中的首选模型。

关于主动学习查询策略，研究发现了一些令人惊讶的结果。相同策略的不同实现之间可能存在显著差异，有时框架的影响甚至超过了策略本身的影响。这就像是发现相同的蛋糕配方在不同的厨房或由不同的厨师制作会产生完全不同的结果。研究还发现，不确定性为基础的策略（特别是基于边缘的变体）总体表现最好。

关于训练-测试分割和初始标记集，研究发现这些参数对实验结果的影响相对较小，尤其是当整体超参数网格足够大时。这就像是发现无论你如何划分面粉，只要整体配方正确，最终的蛋糕质量不会有太大差异。

最后，研究团队进行了一项关键分析：他们想知道需要多少超参数组合才能得到可靠的结果。通过从完整网格中随机抽样，他们发现大约4,000个随机选择的超参数组合就足以产生与完整网格（460万组合）高度相关的结果。这一发现极大地简化了未来的主动学习研究，就像是发现你不需要尝试所有可能的蛋糕配方，只需要尝试一小部分就能理解整体规律。

四、实际建议：为主动学习搭建可靠的舞台

基于这项大规模研究，研究团队提出了一系列实用建议，帮助研究人员和从业者设计更可靠、更可重现的主动学习实验。

对于评估指标，他们建议使用类加权F1分数作为基本指标，并使用所有主动学习周期的完整算术平均值作为聚合指标。这就像是建议用一种公认的标准来评判所有蛋糕，确保比较的公平性。

关于批量大小，他们建议至少包含两种大小：一个很小的值（如5或10）和一个较大的值（如50）。使用两个相近的大批量大小是不必要的，因为它们往往产生相似的结果。

对于学习模型，研究表明多层感知器（MLP，一种神经网络）是最佳选择，因为它在各种数据集上表现一致，并且与其他模型相比具有最高的相关性。

关于主动学习策略，研究发现基于边缘的不确定性策略（如Max-Margin和Smallest-Margin）整体表现最佳，能够胜过随机基线。不过，研究也强调没有一种策略在所有数据集上都表现最佳，选择策略时应考虑具体任务的特性。

对于数据集，研究建议使用多样化的数据集集合，如OpenML-CC18基准套件，以确保结果的普遍性。不同的数据集有不同的特性，这会极大地影响主动学习策略的性能。

关于实验设计，研究表明，从一个足够大的超参数空间中随机选择约4,000个组合就足以获得可靠的结果。这一发现大大降低了进行主动学习研究的计算成本。

最后，研究强调了运行时间的重要性，这在主动学习的人机交互性质中尤为关键。一些策略（如基于不确定性的变体）运行速度快，而其他策略（如Coreset、QBC或QUIRE）则计算成本更高。在选择策略时，应该考虑到这一权衡。

五、结论：主动学习的未来之路

归根结底，这项研究为我们提供了前所未有的洞察，揭示了主动学习的内部工作机制和影响其性能的关键因素。就像是终于揭开了一种古老烹饪艺术的秘密，让每个人都能更容易地掌握它。

研究的主要贡献在于：它全面概述了进行主动学习实验的复杂性；进行了迄今为止规模最大的主动学习超参数网格搜索；详细分析了每个超参数对实验结果的影响；揭示了实现主动学习策略的挑战和多样性；并给出了具体建议，指导如何在主动学习实验中选择超参数，以确保结果的可信度和可重现性。

对于普通用户来说，这项研究的意义在于：它降低了主动学习的入门门槛，提供了清晰的指导，帮助人们设计有效的主动学习系统；它增强了人们对主动学习有效性的信任，通过科学地验证了哪些策略在何种情况下表现最佳；它还通过揭示不同超参数的影响，帮助用户做出更明智的选择，避免常见的陷阱。

这项研究也为未来的主动学习研究提供了坚实的基础。通过揭示只需要约4,000个随机超参数组合就能获得可靠结果的事实，它大大降低了进行全面主动学习研究的计算成本。这就像是发现了一条捷径，让更多研究者能够探索这个领域。

最后，研究团队强调，他们的源代码和完整实验结果都已在GitHub和OPARA数据存档库上公开，供其他研究人员重用和构建。这种开放的科学态度将加速主动学习领域的进步，最终使这项强大的技术更容易被广泛采用，帮助更多人节省标注成本，实现更高效的机器学习项目。

如果你对主动学习感兴趣，想要深入了解这项研究，可以访问GitHub（https://github.com/jgonsior/olympic-games-of-active-learning）查看完整的源代码和数据集列表，或通过OPARA（https://doi.org/10.25532/OPARA-862）获取完整的实验结果。