当AI"悄悄做主"时，你真的知道吗？——KAIST与卡内基梅隆大学研究揭示人机协作中被忽视的"隐形决策者"

这项由韩国科学技术院（KAIST）、卡内基梅隆大学与首尔国立大学联合开展的研究，以预印本形式于2026年5月20日发布在arXiv平台，编号为arXiv:2605.21363v1，目前尚处于同行评审阶段。

假设你请一位助理帮你规划一场重要的商务旅行。你告诉他"要去纽约出差"，他回来时已经帮你订好了航班、酒店、餐厅，还安排了下午的观光行程。表面上看，这份行程是"你的"——毕竟你是那个说出"去纽约"的人。但那家餐厅是他挑的，那个参观景点是他加的，连每段行程之间要不要留休息时间也是他决定的。你只是点了个头。那么，这份行程到底是谁的？

现在把这个场景替换成你和一个AI大语言模型（就是那些能聊天、写作、编程的AI）的对话。类似的事情每天都在发生，只不过大多数人完全没有意识到。这正是这支研究团队所关注的核心问题：在人和AI的协作过程中，当AI不只是"执行指令"，而是悄悄地在塑造你的目标、添加你没提出的要求时，我们该如何看清这一切？

一、那个"做了决定却没人注意到"的问题

当一位学生用AI写完一篇论文，他可能觉得"我是作者，AI只是帮我打字"。但如果论文的核心论点是AI提出来的，文章结构是AI建议重排的，甚至某些关键论据是AI主动补充进来的呢？对于评卷老师来说，这篇文章和另一位从头到尾自己思考、只让AI润色了几个词的同学，应该受到同等对待吗？

另一个角度：假设另一位学生非常强硬，把每一个细节都自己决定好，只让AI负责把文字打出来，连一个逗号的位置都要自己定。这两种情况，AI的"贡献"显然大相径庭，但今天的任何工具都无法区分它们。

这个问题在教育、法律、创作、职场等越来越多的领域变得紧迫。人们需要知道自己在多大程度上依赖了AI，评审者需要有依据评估AI参与的深度，而整个社会也需要建立公平合理的"人机协作署名规则"。

现有的"检测AI"工具几乎都只看最终产品——通过文字风格、水印或语言模式判断"这段话是不是AI写的"。但这类方法完全忽视了一个更隐蔽也更重要的层面：目标本身是怎么形成的？是谁决定了"要做什么"？这个决策过程，才是人机协作的核心地带，却从未被系统地丈量过。

为了填补这个空白，研究团队开发了一个名为COTRACE的框架，专门用来追踪和量化在整个对话过程中，人和AI各自对"目标塑造"贡献了多少。

二、给目标装上"追踪器"——COTRACE框架是怎么工作的

要理解COTRACE，先要理解它的基本思路：把一次人机协作对话，拆解成一张清晰的"谁提出了什么要求、谁执行了什么任务、谁的行为影响了谁"的地图。

研究团队把协作中涉及的内容分成两个层级。最顶层是"目标"，指的是一次对话中明确想要达成的事情，比如"制作一份完整的纽约一日行程"。这个大目标下面，还有更具体的子目标，比如"规划下午的活动"或"推荐晚餐地点"。再往下，每个子目标又被进一步分解成最小的可验证单元，研究团队称之为"要求"（requirements）——就像一张检查清单上的每一条，比如"午餐后安排一段休息时间"、"晚餐地点要在布莱恩特公园附近"。每条要求都可以用是或否来判断是否达成。

通过这种层层分解，研究团队把一次对话变成了一份有层级、有时间轴的"目标演化树"。接下来，他们还把每轮对话中人和AI说的每句话，拆成更小的"行动单元"——比如"询问偏好"、"提出建议"、"添加限制"、"执行任务"等等。

最有意思的部分来了：COTRACE不只追踪谁直接提出了某条要求，还追踪谁的行为间接导致了某条要求的诞生。研究团队把这称为"间接影响"。

打个比方：你和AI讨论行程时，AI说"纽约下午有非常多活动可以选择"，结果你因为这句话意识到"哦对，我应该让父母在午餐后休息一下，不然下午撑不住"，于是你主动加了"午餐后休息"这条要求。表面上，这条要求是你提出的，但如果AI没有先提到"活动很多"，你可能根本没想到这一点。这就是AI的间接影响——它播下了一粒种子，你最终开花了。

COTRACE用一套相当精细的计算方法，把每个行动单元与每条要求之间的关联性打分，区分直接贡献（你直接提出了这条要求）和间接影响（你的某句话让对方产生了这条要求）。最终，对于每一条要求，都能得到一张"人的贡献多少、AI的贡献多少、谁在塑造目标、谁在执行任务"的详细账单，并且可以汇总到目标层级，得出整体贡献比例。

整个框架是自动化运行的——它自己就是用AI来做这套分析，具体用了GPT-4o作为主要判断引擎，再加上文本嵌入技术来筛选候选的"影响关系"。研究团队在37段真实对话上进行了人工验证，目标提取的准确率达到96.6%，要求提取为92.2%，影响关系标注为95.1%。参与用户研究的参与者对框架分析结果的认可度也平均超过4分（满分5分）。

三、人类主导方向，AI悄悄雕刻细节——638段真实对话说明了什么

有了这个追踪工具，研究团队把它应用到了638段来自真实世界的人机对话记录上，数据来源于一个名为ShareChat的公开数据集，涵盖了五大主流AI平台（包括OpenAI、Anthropic、Google、Grok和Perplexity）的真实用户对话。研究聚焦于四类任务：编程、数据分析、写作和规划。

整体数据揭示了一个既在意料之中、又比想象中更微妙的图景。

从大方向上看，人类毫无疑问是主导者。在"塑造目标"这个角色上，人类贡献了75%到89%的份额，而AI贡献了11%到26%。在"执行任务"这个角色上，AI则占据了96%到99%——这完全符合我们对当前AI的认知：它主要是执行者，遵循人类指令去完成任务。

然而，当研究团队把分析粒度缩小，从"大目标"降到"子目标"再降到"具体要求"时，一个非常有意思的趋势浮现了：层级越低、越具体，AI的贡献占比就越高。换句话说，人类设定大方向，但在把大方向细化成一条条具体约束的过程中，AI参与得越来越多。

这就像一栋房子的建造过程。房主（人类）说"我要一栋三层楼的现代风格住宅，带大窗户"。但承包商（AI）在执行时，会自己决定窗户的具体规格、承重墙的位置、电路布局的方案，以及要不要在走廊加一个储物间。房主对这些"实现细节"往往没有清晰的要求，甚至不会意识到这些决定已经被做出了。

这种规律在技术类任务中更为突出。在编程和数据分析任务里，随着对话轮次的推进，AI生成新要求的速度会逐渐超过用户。到了数据分析任务的后期，AI产生的要求甚至比用户还多。而在写作和规划这类更开放、更主观的任务中，情况完全反转——人类始终保持较高的主导性，AI的目标塑造贡献明显更低。

研究团队还进一步分析了AI和人类各自倾向于提出哪类要求。结果显示，用户更常提出宏观的、方向性的要求，而AI更常引入具体的、实现层面的约束，比如技术规格、环境假设、边界条件或正确性检验。在技术任务中，有些要求的类型几乎只出现在AI生成的要求里，而用户自己几乎不会主动想到这些。这说明AI在技术领域确实在填补用户的"盲区"，但这种填补是用户主动请求的，还是AI自行决定的，二者之间有着本质的不同。

四、目标是怎么被悄悄改变的——十一种"隐形影响"模式

研究团队不只关注"谁最终提出了要求"，还专门研究了"影响"是如何发生的——特别是那些间接的、不太容易被察觉的影响。

通过分析大量对话中"影响行动"和"被影响的要求"之间的关联，团队归纳出了11种反复出现的模式，并将它们归入四个大类。

第一类叫做"意图模糊或偏好隐含"。这种情况下，一方说出了一个宽泛的目标或者隐隐透露了某种偏好，另一方则从中推断出更具体的要求。比如用户说"我想要一个能跑起来的项目"，AI就据此自动加入了"必须有详细的安装说明"这条要求，因为"能跑起来"隐含着"用户能顺利运行"的需求。

第二类叫做"产出物触发细化"。一方提供了一个初稿、代码片段或者中间结果，另一方看了之后发现了新的细节需求。这是最常见的模式——当AI给出一版方案后，用户才意识到"哦，我还需要加一个这样的功能"。在用户生成的被AI间接影响的要求中，这类模式占了60%。

第三类叫做"问题暴露驱动修正"。一方揭示了当前方案中的某个缺陷、复杂性或者不一致之处，另一方随即添加了一条修正性的要求。比如AI发现代码在某个边界情况下会崩溃，用户就加上了"必须处理空输入"这条要求。

第四类叫做"互动引导式扩展"。一方通过提出选项、邀请延续、寻求建议或请求具体实现，为另一方打开了添加新要求的空间。比如AI列出了几个可选的旅行目的地，用户选了其中一个并因此具体化了行程要求；或者用户说"你觉得怎么安排好？"，AI于是自行制定了一套策略并把其中的约束变成了要求。

这些模式的发现意义在于：它们说明，目标塑造并不只发生在人类"明确说出要求"的那些时刻，而是弥散在整个对话的每一个来回之中。AI的每一句话都可能在用户心里播下一颗种子，用户的每一句模糊表达都可能让AI自行填入一片森林。

五、对话设计能改变AI的"主动程度"——受控实验的发现

既然知道了AI在现实中的贡献模式，研究团队进一步追问：这种贡献可以被人为调控吗？通过改变对话的设计方式，能不能让AI更主动地塑造目标，或者反过来，让它保持安静？

为了回答这个问题，团队使用了一个叫做CoGym的模拟协作框架，在完全受控的条件下进行了大量实验，使用了Claude 4.5 Sonnet和Gemini 3.1 Pro两个模型来同时扮演用户和助手。实验聚焦于写作、旅行规划和数据分析三类任务。

第一个关键实验比较了两种交互模式：一种是"代理模式"，AI可以自己决定什么时候发消息、什么时候直接执行操作；另一种是"对话模式"，要求AI在每次执行操作之前必须先给用户发一条消息。

结果相当戏剧性。在对话模式下，AI直接贡献的要求占比达到了42.9%，而在代理模式下只有24.5%。强制AI"先说话再做事"这一个简单的设计改动，几乎让AI的目标塑造贡献翻了近一倍。原因其实很直观：当AI被要求在行动前表达意图，它就必须把自己接下来要做什么说出来，而这个过程本身就会产生新的要求和约束。相反，在代理模式下，AI更多是"沉默地行动"，动作做完了才汇报，自然也就少了塑造目标的机会。

第二个实验测试了两种提示策略对目标塑造的影响。一种是"欠规格"策略，让用户模拟器故意表达得模糊，只给出大致方向而不说具体细节；另一种是"互动引导"策略，让用户模拟器习惯性地提问、邀请AI延伸、委托AI做决定。

在欠规格条件下，AI生成要求的比例从基准的30.65%大幅跳升到69.64%，足足增加了39个百分点。在互动引导条件下，这一比例也上升到了51.47%，增加了超过20个百分点。这意味着，当用户越模糊、越依赖AI来填充细节，AI就会越主动地去定义"要做什么"。

然而，这里有一个很重要的补充发现：更多的AI目标塑造，并不自动意味着更好的最终结果。研究团队用两个指标衡量了输出质量——"要求满足率"（最终成果满足了多少条预先设定的要求）和"整体输出质量"。分析显示，AI生成的要求确实在当轮对话中被立刻执行的比例更高（35.3%的AI生成要求在提出的同一轮就被立刻满足），但扣除这种"自产自销"的情况后，AI生成要求的满足率和用户生成要求的满足率基本持平。更关键的是，一次对话中产生的要求总数，和最终输出质量之间几乎没有任何相关性（相关系数约为零）。换句话说，AI越主动塑造目标，不等于协作的结果越好。让AI更"多话"只是改变了协作的形态，并不自动提升协作的价值。

六、当用户看见自己不知道的事——一场关于认知校正的实验

这项研究最有人情味的部分，是一个和真实用户一起完成的小型实验。研究团队招募了10名参与者（组成5对），每对搭档分别完成了一次和AI聊天规划旅行、一次和真人搭档规划旅行的任务。之后，他们使用了研究团队开发的可视化工具COTRACE-viewer，亲眼看了自己与AI协作的那次对话的分析结果——哪些要求是自己提出的，哪些是AI提出的，哪些地方发生了间接影响，整个目标演化的轨迹是什么样的。

工具展示前，研究者请参与者对几个问题打分（1到5分）：你认为你自己对目标塑造贡献了多少？你认为AI对目标执行贡献了多少？看完分析之后，同样的问题再打一次。

结果令人印象深刻。参与者对自己"执行贡献"的评分平均下降了1.8分，这是所有变化中幅度最大的一个。同时，他们对AI"执行贡献"的评分上升了0.5分。这说明在看完分析之前，大多数人明显高估了自己在执行层面的参与程度，而低估了AI实际承担的工作量。对目标塑造的感知也有所变化，幅度约在1到1.6分之间，但方向不那么一致——有人意识到自己其实比想象中更多地主导了方向，也有人意识到AI悄悄介入了目标的形成。

定性访谈中，参与者们说出了一些发人深省的话。其中一位说："没想到AI在我根本没有明确说的情况下做了那么多决定。"另一位说："虽然最终结果我是认可的，但我没有亲自做那些微观决策。"还有人在看完分析后反思："我以后应该在提示词里更具体地说清楚自己想要什么。"

十人中有九人表示，工具帮他们注意到了之前完全没有意识到的协作细节，尤其是AI那些"间接影响"——那些没有被明说、却切实改变了结果的时刻。

这个发现说明，大多数人对人机协作的感知是"失准的"，而且往往是系统性地高估了自己的控制感。一旦看到了分析结果，这种感知会发生显著的校正。

研究团队还顺带比较了人机协作和人人协作的差异。在人与人合作时，目标塑造的角色分配非常多变——有些对话里甲方主导一切，有些则双方势均力敌，方差极大。而在人与AI合作时，模式更加稳定：人类几乎总是主导方向，AI几乎总是主要执行者，变异性更小。另外，间接影响在人机对话中出现的比例（25.3%）明显高于人人对话（14.8%）。研究团队分析认为，人类之间的协作更多是直接的建议和反馈，而AI的影响更多是通过"提供信息"或"展示方案"来间接触发用户产生新想法——这种影响更难被察觉，也更容易被忽视。

归根结底，COTRACE这套框架打开了一扇窗，让我们第一次有办法清晰地看到：在那些看起来"完全是我自己做的"成果背后，到底有多少是AI悄悄雕刻进去的。这不是在指责AI"越权"，也不是说人类"被操控了"——大多数时候，AI的这些介入是有益的，帮助用户完善了他们自己没想清楚的地方。但当一个学生把AI辅助写成的论文上交时，当一个员工把AI协作完成的报告呈给老板时，当一个设计师把AI参与设计的方案拿去申请专利时，知道"谁做了多少"就不只是一个学术问题，而是关于诚信、责任和公平的现实问题。

研究团队指出，这项工作带来了几个具有实践意义的启示。首先，仅仅让AI多塑造目标，并不会自动提升协作质量，未来需要开发能将协作行为与实际成果质量挂钩的训练方法和干预手段。其次，系统设计本身——比如是否要求AI在行动前先沟通——会显著影响AI在协作中的主动程度，这是一个可以被有意识地调节的设计变量。第三，也是最实际的一点：让用户看见目标塑造的全貌，能够帮助他们更准确地理解自己的协作角色，进而更有意识地使用AI——而不是在浑然不觉中把越来越多的决策权交了出去。

有兴趣深入了解这项研究的全部细节，包括完整的框架设计、实验数据和提示词设计，可以通过arXiv编号2605.21363查阅完整论文。

Q&A

Q1：COTRACE框架是如何判断AI对目标的"间接影响"的？

A：COTRACE首先把对话中每条要求的产生时间点记录下来，然后用文本相似度算法从此前的所有对话轮次中筛选出可能相关的行动，再用GPT-4o对每对"行动—要求"关系进行细粒度评估，判断它是直接创建了该要求、间接触发了该要求的产生，还是与其无关。每种关系还会配有解释说明，便于人工核查。最终把这些评分汇总，得出每位参与者对每条要求的贡献数值。

Q2：为什么同样是AI参与协作，数据分析任务中AI的目标塑造贡献比写作任务高很多？

A：核心原因在于任务的"开放程度"不同。数据分析任务有相对明确的技术边界，存在大量用户不熟悉的实现细节，比如环境配置、边界处理、算法选择，AI在这些"用户盲区"里填充细节的空间非常大。而写作和规划类任务更主观、更开放，用户对"我想要什么风格、什么结构"有自己的偏好和判断，AI更难也更不合适替代用户做这些主观决策，所以自然退居执行位置。

Q3：COTRACE用户研究中参与者看完分析后对AI满意度的变化说明了什么？

A：参与者在看完COTRACE分析后，对AI满意度的评分平均下降了约0.2分（绝对变化幅度约0.6分）。这个变化幅度不大，但方向值得关注——部分参与者在意识到AI做了很多自己没有明确授权的决定之后，对合作体验的评价有所降低。这提示我们，透明度的提升并不总是让用户感觉更满意，有时它会引发对自主性和控制感的重新审视，这对AI产品的设计有一定参考意义。