浙江大学团队打造会玩浏览器的AI助手：真正像人类一样上网搜索信息

这项由中科院自动化所、中科院大学、滑铁卢大学、北京大学和清华大学联合完成的研究发表于2025年10月，论文编号为arXiv:2510.10666v2。研究团队包括于涛、张正博、吕志恒等多位研究者，主要通讯作者来自滑铁卢大学的陈文虎教授。感兴趣的读者可以通过GitHub项目TIGER-AI-Lab/BrowserAgent获取完整代码和详细信息。

你有没有过这样的体验：当你需要查找某个复杂问题的答案时，往往需要在搜索引擎里输入关键词，然后打开好几个网页，在不同页面之间跳转，滚动浏览，点击链接，甚至需要搜索好几轮才能找到完整的答案。这个过程就像是在一个巨大的图书馆里寻宝，需要从一个书架走到另一个书架，翻阅不同的书籍，才能拼凑出完整的信息拼图。

现在，研究团队开发出了一个名为BrowserAgent的AI助手，它能够像真正的人类一样操作网页浏览器。与以往那些只能处理静态文本的AI不同，BrowserAgent真正学会了"上网冲浪"——它会点击链接、滚动页面、在搜索框里输入关键词、打开新标签页，甚至还会在多个网页之间灵活切换，就像一个经验丰富的网民一样自如地在互联网世界里穿梭。

这项研究的突破性在于，它摒弃了传统方法中需要额外工具来"翻译"网页内容的做法。过去的AI助手就像是一个需要翻译员的外国游客，每次遇到网页都需要先找人把内容转换成它能理解的格式。而BrowserAgent则像是一个完全融入当地文化的居民，直接与网页环境交互，无需任何中介。

更令人惊喜的是，研究团队仅用了5300个训练样本就让这个AI达到了相当高的水平。在多个测试中，BrowserAgent在处理需要跨多个网页搜索信息的复杂问题时，比目前最先进的Search-R1模型提升了约20%的准确率。这就好比一个刚学会使用图书馆的新手，很快就超越了那些经验丰富的研究员的信息搜集能力。

一、AI上网的挑战：从纸质图书馆到数字迷宫

要理解这项研究的意义，我们首先需要了解AI在处理网络信息时面临的挑战。想象一下，如果你突然失去了视觉能力，只能通过听觉来浏览网页，你会发现这变得多么困难。你无法看到按钮在哪里，不知道哪些文字是可以点击的链接，也无法快速扫视页面找到你需要的信息。

传统的AI助手就面临着类似的困境。它们虽然能够处理文字信息，但对于网页的互动元素——那些按钮、链接、搜索框、下拉菜单等等——几乎是"盲人摸象"。为了解决这个问题，以往的研究通常会采用一种"转换"策略：先用其他工具把动态的网页转换成静态的文本，然后再让AI来处理这些文本。

这种方法就像是让一个不会开车的人坐在副驾驶座上指挥司机："向左转，向右转，停车，加速。"虽然最终能到达目的地，但整个过程既低效又昂贵，因为你需要支付额外的"司机"费用（也就是那些转换工具的成本）。

而且，这种间接的方式还有一个致命的缺陷：信息的损失。当网页被转换成纯文本时，很多重要的交互信息就丢失了。这就像是把一座立体的城市压缩成平面地图，虽然主要的街道和建筑物还在，但是那些小巷、楼梯、天桥等重要的导航信息却消失了。

研究团队意识到，要让AI真正掌握网络信息搜索，就必须让它学会像人类一样直接与网页交互，而不是依赖中介工具。这就像是要培养一个能够独立开车的司机，而不是永远需要指路人的乘客。

二、BrowserAgent的工作原理：数字世界的灵巧双手

BrowserAgent的核心创新在于它拥有了一套完整的"数字操作技能"。如果把网页浏览比作在现实世界中的各种操作，那么BrowserAgent就像是一个拥有灵巧双手和敏锐眼睛的机器人，能够完成各种精细的动作。

在页面操作方面，BrowserAgent掌握了最基本但也是最重要的技能。它能够精准地点击页面上的任何元素，就像用手指点击按钮一样自然。当遇到需要输入信息的搜索框时，它会准确地定位输入框并输入相关的搜索词汇，甚至还知道什么时候需要按下回车键来提交搜索。更重要的是，它学会了滚动页面——这个看似简单但实际上非常关键的操作。很多网页的信息并不是一次性全部显示的，需要向下滚动才能看到完整内容，BrowserAgent完全掌握了这个技巧。

在标签页管理方面，BrowserAgent表现得就像一个经验丰富的多任务处理专家。它可以打开新的标签页来并行搜索不同的信息，在多个标签页之间自由切换来对比和整合信息，当某个标签页不再需要时还会主动关闭以保持工作环境的整洁。这种能力让它能够处理那些需要同时参考多个信息源的复杂问题。

在导航操作方面，BrowserAgent掌握了网页浏览的高级技巧。它不仅能够通过输入网址直接访问特定网站，还能够使用浏览器的后退和前进功能，就像一个熟练的网络冲浪者一样在不同页面间穿梭自如。当搜索路径走入死胡同时，它知道如何回到之前的页面重新开始。

最特别的是，BrowserAgent还拥有一个"数字记忆系统"。当它在浏览过程中发现重要信息时，会主动记录关键结论，就像一个研究者在笔记本上记录重要发现一样。这个记忆系统让它能够在长时间的信息搜集过程中保持思路清晰，不会因为浏览了太多页面而忘记最初的目标或者之前已经找到的重要信息。

研究团队采用了一种类似于"师傅带徒弟"的训练方式。他们首先让GPT-4这样的高级AI模型担任"师傅"，在真实的网络环境中演示如何搜索信息，每一步操作都被详细记录下来，包括思考过程、采取的行动以及得到的结果。然后，BrowserAgent作为"徒弟"学习这些操作模式，逐渐掌握了在复杂网络环境中寻找信息的技巧。

为了让这个学习过程更高效，研究团队还开发了一套并行处理系统。传统的浏览器自动化工具通常只能一次处理一个任务，就像是只有一个工人的工厂，效率很低。而他们的系统可以同时运行数十个浏览器实例，就像是开办了一个大型训练学校，可以同时培训很多个AI学员，大大提高了训练效率。

三、训练过程：从新手到专家的进阶之路

BrowserAgent的训练过程就像是培养一个从零开始学习上网的新手，最终成长为信息搜索专家的完整历程。这个过程分为两个主要阶段，每个阶段都有其独特的目标和方法。

第一个阶段被称为监督微调阶段，这就像是给新手提供详细的操作手册和标准示例。研究团队精心准备了5300个高质量的训练样本，每个样本都包含了一个完整的信息搜索任务，从最初的问题到最终的答案，中间的每一步操作都被详细记录下来。这些训练数据来自两个主要来源：一部分是相对简单的问答任务，另一部分是需要跨多个网页进行推理的复杂问题。

在这个阶段，BrowserAgent像一个勤奋的学生一样，仔细观察和模仿这些标准操作。它学会了如何分析问题、制定搜索策略、执行具体的浏览器操作，以及如何从搜索结果中提取有用信息。更重要的是，它学会了如何在搜索过程中保持逻辑思维的连贯性，不会在复杂的网页迷宫中迷失方向。

第二个阶段被称为拒绝采样微调，这就像是让学生进行模拟考试，然后只保留最优秀的答案作为进一步学习的素材。在这个阶段，研究团队让已经完成第一阶段训练的BrowserAgent面对同样的问题，但这次让它独立生成四个不同的答案。然后，研究团队会仔细评估这四个答案的质量，只选择那些既正确又包含丰富推理过程的答案作为进一步训练的材料。

这种选择标准特别有趣：不仅要求答案正确，还要求推理过程详细。这就像是在考试中不仅要求学生给出正确答案，还要求他们展示完整的解题步骤。这样做的好处是让BrowserAgent不仅学会了得到正确答案，更重要的是学会了深度思考的方法。

为了防止AI在学习新技能时忘记已经掌握的基本能力，研究团队还采用了一种"复习"策略。他们将第一阶段80%的训练数据与第二阶段筛选出的优质数据混合在一起，确保BrowserAgent在提升推理能力的同时不会丢失基本的操作技能。

整个训练过程中，研究团队还特别关注BrowserAgent的"注意力管理"能力。由于网页浏览往往涉及长时间的操作序列，如何在30个操作步骤的搜索过程中保持专注和方向感是一个重大挑战。他们设计的记忆机制就像是给BrowserAgent配备了一个智能笔记本，让它能够在长时间的信息搜集过程中始终记得自己在寻找什么，已经找到了什么。

训练环境的搭建也颇具匠心。研究团队使用了2022年的维基百科数据库作为主要的信息源，这就像是为BrowserAgent提供了一个包含丰富知识的虚拟图书馆。为了确保训练的真实性，他们还部署了本地化的维基百科服务器，让BrowserAgent能够在接近真实上网体验的环境中学习和练习。

四、测试结果：超越前辈的新星表现

当BrowserAgent完成训练后，研究团队对它进行了全方位的能力测试，结果令人印象深刻。这些测试就像是为一个刚毕业的学生安排各种类型的考试，从基础知识到综合应用，全面检验其能力水平。

测试涵盖了两大类问题。第一类是一般性问答，包括自然问题（Natural Questions）和流行问答（PopQA）。这类问题相对直接，通常只需要在一个或少数几个网页中就能找到答案，就像是在图书馆里查找某本书中特定章节的内容。第二类是多跳推理问答，包括HotpotQA、2WikiMultiHopQA、Musique和Bamboogle等数据集。这类问题需要在多个不相关的网页中搜集信息，然后进行逻辑推理才能得出答案，就像是需要查阅多本不同的参考书才能完成的综合性研究项目。

在一般性问答测试中，BrowserAgent展现出了扎实的基础能力。以自然问题数据集为例，它的准确率达到了38.8%，而对应的LLM评判得分更是高达49.3%。这里需要解释一下两种评分方式的差异：准确率采用的是严格的字符串匹配，要求答案与标准答案完全一致；而LLM评判则更加灵活，关注答案在语义上是否正确。这种差异反映了一个有趣的现象：BrowserAgent虽然在表达方式上可能与标准答案略有不同，但在内容的准确性上表现优异。

更令人瞩目的是BrowserAgent在多跳推理任务中的表现。这类任务需要AI在多个网页间跳转，收集分散的信息片段，然后像拼图一样将它们组合成完整的答案。在HotpotQA测试中，BrowserAgent的准确率达到了45.8%，LLM评判得分更是高达56.1%。与目前最先进的Search-R1模型相比，BrowserAgent在多跳推理任务上实现了约20%的性能提升，这个进步幅度相当显著。

特别值得注意的是在Bamboogle数据集上的表现。这个数据集专门设计来测试AI处理需要复杂推理的问题的能力，BrowserAgent在这里取得了50.4%的准确率和55.2%的LLM评判得分，明显超越了其他竞争对手。这就像是在最困难的综合考试中取得了最好的成绩，充分证明了其在复杂信息处理方面的优越性能。

研究团队还进行了一系列精心设计的对比实验。他们将BrowserAgent与多种不同的方法进行对比，包括直接推理、链式思维推理、检索增强生成等传统方法，以及最新的强化学习方法。结果显示，BrowserAgent在几乎所有测试项目中都取得了最好或接近最好的成绩，这证明了其设计理念的正确性和实现方法的有效性。

更令人惊讶的是训练效率的对比。Search-R1等竞争对手通常需要大量的训练数据和复杂的强化学习过程，而BrowserAgent仅用5300个训练样本和相对简单的两阶段训练就达到了更好的性能。这就像是用更少的学习资料和更短的学习时间却取得了更好的考试成绩，充分体现了其学习方法的高效性。

五、深度分析：记忆机制的关键作用

在对BrowserAgent进行深入分析时，研究团队发现了一个至关重要的设计特征：记忆机制。这个机制就像是给AI配备了一个智能记事本，让它在长时间的信息搜索过程中能够保持思路清晰和目标明确。

传统的AI助手在处理长期任务时面临着一个类似于"老年痴呆"的问题：随着处理的信息越来越多，它们往往会忘记最初的目标，或者无法记起之前已经找到的重要信息。这就像是一个人在大型图书馆里寻找资料，走着走着就忘记了自己原本要找什么书，或者找到了一本有用的书却又把它放在哪里给忘了。

BrowserAgent的记忆机制巧妙地解决了这个问题。每当它在浏览过程中发现重要信息时，会自动将关键结论记录在记忆系统中。这些记录不是简单的信息堆砌，而是经过精心结构化的知识片段。比如，当搜索"谁是塔中王子的父亲"这个问题时，BrowserAgent会先记录下"塔中王子是指爱德华五世和约克公爵理查德"，然后在后续搜索中记录"他们是国王爱德华四世的儿子"，最后整合这些信息得出最终答案。

这种记忆机制的优势在多跳推理任务中表现得尤为明显。研究团队的测试显示，有记忆机制的BrowserAgent比没有记忆机制的版本在复杂问题处理上平均提升了约10%的准确率。更重要的是，记忆机制让BrowserAgent能够处理那些需要30个操作步骤的复杂搜索任务，而传统方法通常在6-8个步骤后就会因为"注意力涣散"而失败。

研究团队还发现了一个有趣的现象：BrowserAgent的记忆使用策略相当智能。它不会记录所有遇到的信息，而是选择性地保留那些与当前问题直接相关的关键结论。这就像是一个经验丰富的研究者，知道什么信息值得记录，什么信息可以忽略。这种选择性记忆不仅提高了效率，还避免了信息过载的问题。

在不同步数限制的测试中，研究团队观察到了BrowserAgent的另一个优秀特质：适应性。当给它更多的操作步骤时，它的表现会相应提升，但提升是渐进的而不是跳跃式的。这表明BrowserAgent真正学会了如何有效利用额外的搜索机会，而不是简单地进行无目标的随机浏览。

多轮观察与单轮观察的对比实验也很有启发性。传统的方法通常会将整个搜索历史都保存在输入中，这就像是把所有看过的书页都复印一遍随身携带。而BrowserAgent采用的多轮观察策略只保留当前状态和记忆中的关键结论，这种"轻装上阵"的方式不仅提高了处理效率，还避免了因信息过多而导致的"消化不良"问题。

模型规模的对比测试揭示了另一个重要发现：即使是较小规模的模型（3B参数），在采用了BrowserAgent的设计理念后也能取得不错的表现，但7B参数的模型确实在复杂推理任务中表现更优。这个发现对于实际应用很有意义，因为它表明用户可以根据自己的计算资源和精度要求选择合适的模型规模。

六、实际应用案例：从理论到实践

为了更直观地展示BrowserAgent的能力，研究团队提供了两个详细的应用案例，这些案例就像是观察一个真实的搜索专家在工作时的完整过程。

第一个案例涉及一个相对简单但很实用的问题："塔中王子的父亲是谁？"这个问题需要BrowserAgent首先理解"塔中王子"指的是什么，然后找到相关的历史信息。

整个搜索过程展现了BrowserAgent的专业素养。它首先在维基百科的搜索框中输入"Princes in the Tower"，这显示了它对问题关键词的准确把握。搜索结果出现后，它选择点击最相关的条目链接，而不是被其他不相关的搜索结果分散注意力。在文章页面中，它快速定位到关键信息："这两个兄弟是国王爱德华四世和伊丽莎白·伍德维尔的独子。"基于这个信息，它得出了准确的答案："爱德华四世国王"。

整个过程只用了三个步骤，但每个步骤都体现了高度的效率和准确性。更重要的是，BrowserAgent在每个步骤中都会记录关键结论，确保不会在信息搜集过程中迷失方向。

第二个案例更加复杂："Skin Yard和Ostava这两个乐队都来自美国吗？"这个问题需要分别查找两个不同乐队的信息，然后进行比较分析。

BrowserAgent展现了出色的任务分解能力。它首先搜索"Skin Yard"，从搜索结果中快速识别出关键信息："Skin Yard是一支来自美国西雅图华盛顿州的美式车库摇滚乐队。"然后它将这个重要结论记录在记忆系统中，接着搜索"Ostava"。

在第二次搜索中，它发现了截然不同的信息："Ostava是一支来自保加利亚的另类摇滚乐队，成立于1991年，起源于保加利亚的加布罗沃。"基于这两个关键信息，BrowserAgent得出了完整而准确的答案："Skin Yard来自美国（西雅图，华盛顿州）。Ostava来自保加利亚（不是美国）。"

这个案例特别有趣的地方在于，标准答案只是简单的"否"，但BrowserAgent提供的答案包含了详细的推理过程和证据支撑。这种详细的回答方式在实际应用中往往比简单的是非判断更有价值，因为它让用户能够理解答案的来源和依据。

这两个案例充分展现了BrowserAgent在不同类型问题上的适应能力。对于简单直接的事实查询，它能够快速定位并提取准确信息；对于需要比较分析的复杂问题，它能够系统地分解任务，分别收集信息，然后进行综合分析。

更令人印象深刻的是BrowserAgent的"学习转移"能力。虽然它主要在英文维基百科环境中训练，但其掌握的搜索策略和推理方法可以很容易地应用到其他类型的网站和信息源中。这就像是学会了骑自行车的人很容易学会骑摩托车，基本的平衡和控制技能是可以转移的。

七、技术突破：重新定义AI与网络的交互

BrowserAgent的成功不仅仅是性能数字上的提升，更重要的是它代表了AI与网络环境交互方式的根本性变革。这种变革就像是从"遥控操作"转向"亲身体验"，从根本上改变了AI获取和处理网络信息的方式。

传统的AI网络信息处理方式可以比作"隔墙听音"。AI无法直接"看到"网页，只能依靠各种转换工具将动态的网页内容转化为静态的文本描述。这个过程不仅需要额外的工具和成本，更关键的是会丢失大量的结构化信息和交互线索。就像是通过别人的转述来了解一场电影，虽然能知道大致的剧情，但会错过很多细节和情感表达。

BrowserAgent开创的直接交互模式则完全不同。它就像是拥有了真正的"数字感官"，能够直接感知网页的结构、识别可交互元素的位置、理解页面的层次关系。这种直接感知能力让它能够像人类用户一样灵活地应对各种网页设计和布局变化。

这种技术突破还体现在处理复杂信息任务的策略上。传统方法通常采用"一次性处理"的方式，试图在单次操作中获取所有需要的信息。这就像是试图一口气读完一本厚书的所有内容，既不现实也不高效。而BrowserAgent采用的是"渐进式探索"策略，通过多次交互逐步深入了解复杂问题，每次交互都基于前一次的发现来调整后续的搜索方向。

记忆机制的创新也值得特别关注。与传统的"记录一切"方式不同，BrowserAgent的记忆系统是选择性和结构化的。它不是简单地保存所有遇到的信息，而是智能地提取和保存那些对当前任务有价值的关键结论。这种智能记忆系统让BrowserAgent能够在长期任务中保持高效的认知负载，避免了信息过载导致的性能下降。

训练方法的创新同样重要。研究团队采用的两阶段训练策略——先进行基础技能训练，再进行高级推理能力训练——就像是一个完整的教育体系。第一阶段确保AI掌握了基本的操作技能，第二阶段则专注于提升深度思考和复杂问题解决能力。这种分层训练方式不仅提高了训练效率，还确保了最终模型的能力平衡。

并行化训练系统的开发也是一个重要的工程突破。传统的浏览器自动化工具很难实现大规模并行运行，这极大地限制了训练效率。研究团队开发的基于Ray框架的并行系统能够在单台32核服务器上同时运行64个浏览器实例，将训练速度提升了一个数量级。这种技术突破使得大规模的真实网络环境训练成为可能。

评估方法的改进也反映了研究团队的深入思考。他们不仅使用传统的精确匹配评估，还引入了基于多个大语言模型共同判断的评估方法。这种多元化评估方式更能反映AI在实际应用中的真实表现，避免了单一评估标准可能带来的偏差。

八、未来展望：数字助手的新时代

BrowserAgent的成功标志着我们正在进入一个全新的数字助手时代，在这个时代里，AI不再是被动的信息处理工具，而是主动的信息探索伙伴。这种转变的意义远远超出了技术本身，它预示着人机交互方式的根本性变革。

从技术发展的角度来看，BrowserAgent展示了一种可扩展的AI能力提升路径。目前的版本主要在维基百科环境中进行训练和测试，但其核心的设计理念和技术方法具有很强的通用性。未来的版本可以很容易地扩展到其他类型的网站，包括电商平台、社交媒体、专业数据库等各种网络环境。这就像是学会了基本驾驶技能的司机可以适应不同类型的道路和交通环境一样。

记忆机制的进一步发展也充满可能性。当前的记忆系统已经能够在单次任务中保持信息的连贯性，未来可能发展出跨任务、跨会话的长期记忆能力。这样的AI助手不仅能记住当前搜索中找到的信息，还能记住用户的偏好、历史搜索模式，甚至能够主动发现和推荐相关信息。

多智能体协作也是一个令人兴奋的发展方向。可以设想这样的场景：多个BrowserAgent可以并行工作，每个专注于不同的信息源或问题角度，然后将各自的发现整合成更全面、更准确的答案。这种协作模式就像是一个专业的研究团队，每个成员都有自己的专长领域，但能够有效地协同工作。

对于普通用户来说，BrowserAgent技术的成熟将带来更加智能和便捷的网络体验。未来的搜索引擎可能不再只是返回链接列表，而是能够主动浏览相关网页，提取和整合信息，直接提供准确完整的答案。这就像是有了一个永不疲倦的研究助理，能够替你完成繁琐的信息收集工作。

在教育领域，这种技术可能催生新的学习方式。学生可以提出复杂的问题，AI助手能够引导他们逐步探索答案，展示完整的信息搜集和分析过程。这不仅能够提供答案，更重要的是能够教授研究方法和批判性思维技能。

商业应用的前景同样广阔。企业可以利用这种技术进行市场研究、竞争分析、客户反馈收集等工作。AI助手能够系统地浏览各种信息源，收集相关数据，生成深入的分析报告。这将大大提高商业决策的效率和质量。

当然，这种技术的发展也需要考虑相关的伦理和社会影响。如何确保AI在网络中的行为符合各网站的使用条款，如何保护用户隐私，如何防止技术被滥用等问题都需要认真对待。研究团队已经在论文中表达了对这些问题的关注，强调所有实验都是基于公开可用的数据集进行的，没有涉及任何敏感信息或高风险应用场景。

从更宏观的角度来看，BrowserAgent代表了AI从"工具"向"伙伴"转变的重要一步。它不再是被动等待指令的程序，而是能够主动理解问题、制定策略、执行行动的智能伙伴。这种转变可能会重新定义人类与信息、与知识、与整个数字世界的关系。

说到底，BrowserAgent的意义不仅在于它能够更好地搜索网络信息，更在于它展示了一种全新的AI设计理念：让AI真正融入我们的数字环境，成为我们在信息海洋中的得力助手。在这个信息爆炸的时代，拥有这样一个能够帮助我们高效获取和整合信息的智能伙伴，无疑会让我们的工作和学习变得更加高效和有趣。

随着技术的不断成熟和普及，我们有理由相信，在不久的将来，每个人都将拥有这样一个专属的数字助手，它不仅能够回答我们的问题，更能够帮助我们更好地理解这个复杂而精彩的世界。这种技术进步最终的受益者是每一个普通用户，它将让复杂的信息搜索变得简单，让知识的获取变得更加民主化和普及化。

Q&A

Q1：BrowserAgent与传统AI搜索工具有什么区别？

A：BrowserAgent最大的不同是能够像人类一样直接操作浏览器，包括点击链接、滚动页面、输入搜索词等操作。传统AI搜索工具需要其他工具先把网页转换成文本，然后再处理这些静态信息。BrowserAgent则跳过了这个转换过程，直接与网页环境交互，效率更高也更准确。

Q2：BrowserAgent在复杂问题搜索上的表现如何？

A：在需要跨多个网页搜索信息的复杂问题上，BrowserAgent比目前最先进的Search-R1模型提升了约20%的准确率。它特别擅长处理那些需要多步推理的问题，比如需要从不同网页收集信息片段然后综合分析的任务。这得益于它的智能记忆机制和多轮交互能力。

Q3：普通用户什么时候能使用到BrowserAgent技术？

A：目前BrowserAgent还是一个研究项目，代码已经在GitHub上开源供研究者使用。虽然论文没有明确的商业化时间表，但这种技术很可能会被集成到未来的搜索引擎、AI助手或浏览器中。考虑到技术的成熟度和实用性，预计在未来几年内可能会看到相关的商业化应用。