西安交通大学等联合研究团队打造的"数据裁缝"：让AI自己学会从海量视频中提炼有用训练数据

这项由西安交通大学、中国科学院大学、深圳先进技术研究院与清华大学联合开展的研究，以预印本形式于2026年6月19日发布，论文编号为arXiv:2606.21337，标题为《DataClaw?: Agentic Tailoring Multimodal Data from Raw Streams》，有兴趣深入了解的读者可以通过该编号查询完整论文。

如果你曾经试图从一段冗长的教学视频中快速提取出有价值的信息，你大概能感受到那种费时费力的无奈——视频里夹杂着大量废话、重复画面和无关内容，真正有用的知识点零散地分布在几十分钟的录像里。现在，人工智能领域正面临同样的困境，只不过规模要大得多。研究团队把这个困境正式命名为"数据熵"问题，并提出了一套全新的解决思路。

一、乱糟糟的原料：为什么AI训练数据这么难搞

要理解这项研究解决的是什么问题，不妨把训练一个AI模型比作开一家高档餐厅。厨师（AI模型）需要食谱和食材（训练数据）来学习怎么做菜。问题在于，互联网上那些"食材"——比如机器人操作的监控录像、用户在电脑上完成各种任务的操作截图序列、教人做饭或修东西的长视频——都是非常原始、杂乱的状态。就好像你订购了一批食材，结果收到的是一整头猪、一块带泥的农田和一捆还没去壳的谷物，要直接用这些做出米其林三星的菜肴几乎不可能。

现有的数据处理方式大多是"被动式"的，相当于派一个实习厨师看着那头猪，让他简单描述一下"这是什么动物、它在干什么"，然后把这段描述当作训练素材。这种做法有两个明显的缺陷：其一，描述往往流于表面，没能提炼出深层的操作逻辑或因果关系；其二，面对几十分钟甚至几小时的连续视频流，这种方式很容易产生内容幻觉——说了一些视频里根本没有的东西，或者漏掉了最关键的片段。

研究团队把这套新思路叫做"主动式数据裁缝"。不同于之前被动描述的方式，这个系统更像一位经验丰富的主厨助理，他不只是看着食材发呆，而是根据今天要做什么菜（也就是下游任务的目标），主动地筛选、切割、搭配食材，最终端出符合要求的半成品。这套系统的核心产品就是DataClaw?，一个基于90亿参数语言模型构建的多模态数据裁剪框架。

二、数据悖论：想训练"数据裁缝"，先要有"裁缝的样本"

研究工作最棘手的部分在于一个先有鸡还是先有蛋的难题：要训练一个擅长精炼数据的模型，首先需要大量"精炼数据的高质量示例"，但这类示例本身就极度稀缺——如果它们已经存在，还要你的新系统干什么？

研究团队设计了一条两阶段的自动化数据构建流水线来打破这个僵局。

流水线的第一阶段叫做"事实锚点提取"。所谓事实锚点，可以理解成从原始视频或操作日志中提取出来的确定性的、可验证的硬信息——比如机器人的手臂在第12帧时抓住了蓝色碗，或者用户在某个截图里点击了浏览器的某个按钮。这些信息是轻量级的专门工具（OCR识别文字、目标检测识别物体、元数据解析提取时间戳等）提取出来的，不依赖任何大模型，因此结果非常可靠，基本不会出现幻觉。这就像是在一部混乱的纪录片里，先让一位负责时间线的助理用荧光笔标注出所有的关键时刻。

流水线的第二阶段叫做"生成式语义合成"。有了这些可靠的硬信息锚点之后，再让一个能力强大的视觉语言模型（类似于GPT-4o或Gemini这类系统）在这些锚点的约束下，进行高层次的逻辑推理和语义整合。模型会根据锚点信息判断：在这段视频里，机器人的动作序列说明它正在完成什么子任务？下一步应该做什么？整个任务逻辑是什么？这个阶段做的事情更像是在事实材料的基础上写一篇有逻辑的分析报告，而不是凭空编造。

通过这套"先确认事实、再进行推理"的两阶段策略，研究团队构建出了一个覆盖五大领域的大规模训练数据集：日常生活（如做饭、家庭修缮类视频）、教育（如在线讲座和教程）、具身智能（机器人操作轨迹）、世界模型与生成式内容（游戏画面等），以及GUI智能体（用户在电脑或手机上完成各种任务的操作截图序列）。整个数据集包含约34,717条样本，其中日常生活类数据占比最高（约46%），其次是具身智能（约21%）和GUI类（约17%）。

三、"裁缝"是怎么工作的：问题建模与训练设计

理解DataClaw?的工作机制，可以把它的输入输出关系想象成一个定制化的信息提炼任务。给系统一段原始的多模态流（比如一段长视频的帧序列），同时告诉它一个"意图"（比如"我要用这段视频训练一个能判断机器人是否卡住的模型"），系统就需要产出一份结构化的输出——包含具体的问题、答案、推理步骤、以及对应的视频帧范围，而且输出必须严格符合预定义的JSON格式。

这个过程需要两种核心能力同时在线。一方面是"信息过滤与聚焦"——原始输入可能有几十帧甚至几百帧，但真正有用的往往只有几帧，系统必须根据意图识别出哪些才是关键画面。另一方面是"结构化重组"——不只是写一段自由文本描述，而是把信息按照严格的模板重新组织，确保最终产出的数据可以直接被下游任务使用，不需要再经过额外的人工清洗。

在这个框架下，训练DataClaw?分两步走。第一步是监督微调，用前面两阶段流水线构建出的34,000余条样本对基座模型Qwen3.5-9B进行一轮精调，相当于先让这位实习助理把大量案例过一遍，建立基本的任务理解能力。第二步是强化学习优化，采用一种叫做GRPO（组相对策略优化）的方法，让模型在已有能力的基础上进一步提升。

GRPO的工作方式可以这样理解：给模型同一道题，让它同时给出一组答案（比如8个），然后根据一套打分规则评估这组答案的好坏，让模型从"比自己更好"和"比自己更差"的答案对比中学习。打分规则完全是基于规则的，不需要额外训练一个评判模型，由三个部分组成。第一个叫格式合规奖励，检查输出的JSON格式是否完整、字段是否正确，这是硬指标，不合格的直接扣分。第二个叫时空锚点奖励，专为机器人操作和视频类任务设计，计算预测的帧序列与标准答案的"轨迹形状相似度"——两段轨迹的时间分布差距越小，分数越高。第三个叫推理效率惩罚，防止模型产生过于冗长的废话推理，也防止推理过于简单粗糙，通过组内相对比较来确定什么样的推理长度是"刚好合适"的。

这套训练策略的实验配置是：在8张A100 GPU上进行训练，格式奖励权重设为0.7，锚点奖励权重设为1.0，效率惩罚权重设为0.3，学习率为4×10??。

四、两种部署形态：通用选手还是领域专家

DataClaw?在实际使用中有两种部署方式，各有侧重。

第一种叫做DataClaw?-O，即"全能型"版本。它是在所有领域数据混合训练出来的单一模型，接到任何领域的任务都由这一个模型处理。这种方式部署简单，使用方便，但对于高度专业化的任务，效果可能打折扣，因为混合训练时不同领域之间会存在干扰。

第二种叫做DataClaw?-E，即"专家型"版本。每个领域分别训练一个专门的小模型，实际使用时根据任务类型自动路由到对应的专家模型处理。这种方式部署稍复杂，但每个领域专家都可以在自己擅长的数据分布上做到最好。

研究团队通过实验发现，全能型版本在混合数据训练时呈现出不稳定的扩展曲线——随着数据量增加，性能并不是稳步提升，而是出现明显的震荡。这是因为来自不同领域的优化目标之间存在梯度冲突，用专业说法叫做"负迁移"或"任务干扰"。以实验数据为例，全能型模型在用1/15的数据训练时整体得分为53.60，到7/15时骤降至47.23，12/15时回升至57.84，随后又下跌——这条折线图看起来就像股市行情一样动荡。专家型版本则完全绕开了这个问题，各领域模型各司其职，最终综合得分达到68.86，稳定且更优。

五、考试成绩：跟顶尖AI同台竞技

为了系统评估DataClaw?的能力，研究团队专门构建了一个新基准，叫做DataClaw?-val，包含200道经过精心设计的多模态数据裁剪题目，覆盖前述五大领域。另外还有一个难度更高的子集叫DataClaw?-Intent，专门考察模型在用户意图模糊不清时的应对能力——比如用户只说"帮我设计一个数据构建的例子"，模型必须自己判断该视频最适合做什么类型的训练数据。

评价体系分三个维度。字段分（Field）考察JSON输出格式是否完整，缺少必要字段就扣分。语义分（Semantic）用嵌入向量的余弦相似度衡量输出文本与标准答案在含义上的贴合程度，其中问题文本和答案文本各占40%权重，推理过程占20%。序列分（Sequence）针对涉及时间顺序的任务，衡量预测帧序列的时间分布形状与标准答案的相似程度，通过归一化后计算平均绝对误差，再经过指数变换转为0到1之间的相似度分数。

拿DataClaw?-E与一系列知名AI系统比较的结果相当有说服力。在格式合规性方面，DataClaw?-E的字段分达到97.53，与Gemini-3.1-Pro-Preview的98.12和GPT-4o的97.27相当，显著超过Claude-Sonnet-4-6的88.98和Qwen3.5-9B基座模型的89.64。在语义质量方面，DataClaw?-E得到74.94分，略低于GPT-4o的75.15分，但超过Gemini的73.85分。序列分方面，DataClaw?-E在具身智能领域（机器人操作）拿到了71.60的最高分，在GUI领域达到96.33，在模糊意图子集上也以50.31居首——这三项成绩都超过了所有被比较的系统。

把专家型和全能型版本对比来看，专家型在字段分、语义分、序列分上全面领先（97.53 vs 87.65；74.94 vs 62.46；48.86 vs 44.82），且在模糊意图这个最难的子集上同样如此。

六、终极考验：裁剪出来的数据，到底有没有用

光在DataClaw?-val上得高分还不够，研究团队更想知道的是：用DataClaw?处理出来的数据去训练下游模型，最终任务表现会不会真的更好？这才是最直接的有效性证明。

研究团队选了三个有代表性的下游任务做验证实验。第一个是长时程GUI导航，用Qwen3.5-4B为基座，在AgentNet数据集上测试，评估模型能不能跟着指令在电脑上完成复杂的多步操作任务。第二个是动作视频生成，用Wan2.2-I2V-5B为基座，在Ego4D数据集上测试，看模型能不能根据起始图像和文字提示生成物理上合理的动作视频。第三个是时空视觉问答，同样用Qwen3.5-4B为基座，在ReMoT数据集上测试，考察模型能不能回答关于视频中摄像机运动和空间关系的精细问题。

实验设计的关键是控制变量。完全相同的原始视频素材，分别用三种方式处理：让基座模型自己处理（自精炼基线）、让Gemini-3.1-Pro-Preview处理（强商业模型基线）、让DataClaw?处理。三种方式处理后都经过同样的质量过滤，并抽取等量的有效样本，用完全相同的超参数微调基座模型，然后在统一的测试集上评分。

结果表明，自精炼数据只带来了有限的提升：GUI导航的步骤成功率从12.4%提升到16.8%，任务成功率从1.2%提升到3.5%；视频生成的FVD分数（越低越好）从385.2降到362.1；时空问答的整体准确率从9.8%升至14.2%。这说明让模型用自己当前的能力处理数据，得到的训练素材并不足以支撑显著的能力提升。

Gemini处理的数据效果要好得多：GUI步骤成功率达到39.5%，任务成功率14.2%；视频FVD降至295.4，时序一致性达76.2%；时空问答部分准确率53.4%，整体准确率31.5%。

DataClaw?的表现与Gemini非常接近，并且在几个关键指标上实现了反超。GUI任务成功率达到15.6%（超过Gemini的14.2%），视频生成FVD降至288.6（优于Gemini的295.4），接触点平均精度（Contact mAP，衡量模型是否正确理解了物体互动关系）达到51.2（超过Gemini的48.5），时空问答整体准确率33.2%（超过Gemini的31.5%）。两者的主要差异在于：Gemini在步骤级别的指标（GUI步骤成功率39.5% vs DataClaw?的38.2%；VQA部分准确率53.4% vs DataClaw?的52.1%）上稍有优势，而DataClaw?在端到端的任务完成指标上更强。研究团队对此的解读是，DataClaw?生成的数据更加精炼紧凑，专注于任务完成所需的关键信息，而Gemini可能提供了更丰富的中间步骤描述，对局部预测有帮助，但不一定对最终完成任务帮助更大。

七、消融实验：每个设计决策是否都有必要

研究团队还做了一系列对照实验，验证每个设计选择的必要性。

关于强化学习奖励设计的消融：仅使用最基本初始化（未经足够SFT）时，字段分82.50，语义分36.79，序列分45.40，整体较弱。完成SFT后，字段分跃升至100.00，语义分82.54，序列分70.83，效果显著。在SFT基础上加入GRPO但不包含时空锚点奖励，语义分略升至83.32，但序列分反而轻微下滑到70.11，说明单纯的格式和文本奖励有时会以牺牲时序准确性为代价换取文字表达的流畅。加入时空锚点奖励后，序列分提升到71.96，证明这个专为时序任务设计的奖励信号确实在发挥作用。

关于专家路由的消融：把具身智能任务路由到GUI专家处理，字段分和语义分双双归零（0.00），序列分也只有50.00；反过来把GUI任务路由到具身智能专家处理，同样一塌糊涂（字段分0.00，语义分52.55，序列分0.00）。而正确路由时，具身智能任务用具身专家处理得到96.50/74.21/63.48，GUI任务用GUI专家处理得到100.00/84.93/76.41。这组结果非常直白地说明：错误的专家路由会导致灾难性的输出，正确的路由是整个专家系统能正常工作的前提。

八、典型案例：裁缝到底是怎么裁的

论文中展示了多个具体的数据构建案例，帮助理解系统的实际工作方式。

在机器人操作数据构建方面，给定一段机器人抓取物体的操作视频（样例编号120_embodied_30），用户的意图是"从这段机器人操作视频中构建一个'预测下一个主要子任务'的训练样本"。系统首先通过底层提取识别出锚点信息：黄色珠子袋已经被放进蓝色碗里（帧0至16），绿色积木仍在桌上（帧0至16），机器人手臂在完成上一步操作后正在收回（帧0至16）。基于这些锚点，系统生成的结构化输出为：问题是"机器人接下来的主要子任务是什么"，答案是"捡起绿色积木"，推理过程解释了为什么——已完成子任务的证据，以及桌上剩余物体的状态，共同指向下一步的操作目标。输入视频范围被精确锁定在第0到16帧。

在长时程GUI任务合成方面（样例编号145_GUI_15），给定六段短视频片段，每段对应不同应用和操作，用户意图是"从这些短时程GUI轨迹片段中合成一个长时程GUI任务"。六段片段分别涉及Excel电子表格操作（片段A：创建列标题和输入数据，片段B：调整列宽行高，片段C：修正单元格中的拼写错误），以及Twitter/X分享功能（片段D）、Trello到期日设置（片段E）、屏幕时间设置（片段F）。系统识别出片段B、A、C都作用于同一个Excel表格，时序上先格式调整再数据录入再拼写修正，逻辑连贯，而片段D/E/F来自完全不同的应用，应当丢弃。最终输出的排列顺序为["B","A","C"]，并重建出了原始长时程任务描述。

在日常生活场景理解方面（样例编号17_daily_7），给定一段室内日常生活视频，用户意图是"从视频中构建一个上下文推理与环境理解问答对"。系统识别出的锚点包括：室内木质桌面环境，桌上有书和家居用品，有玻璃容器，整体符合客厅或书房特征。最终产出了问题"视频开始时我在什么类型的房间里"，配以详细答案和推理过程，并明确标注了所有参考帧（第0到24帧）。

此外，论文还展示了一个失败案例，以帮助理解系统的局限性。在一段从书桌区域到床边的室内漫游视频中，系统正确识别了起止位置，也生成了正确的导航描述（从工作区走向背景中的床），但推理文本中描述的时序与实际帧顺序相反——视频其实是从床边走向书桌的，而系统的叙述却把它描述成从书桌走向床的过程。这类错误源于大语言模型固有的"时间幻觉"倾向：模型倾向于根据空间语义推断一个它认为合理的时间顺序，而不是严格遵循帧号的先后关系。

九、语义多样性：裁出来的数据更丰富了

研究团队还做了一项有趣的分析，通过t-SNE降维可视化技术比较了三种数据在语义特征空间里的分布：原始数据、基座模型自精炼后的数据，以及DataClaw?精炼后的数据。

原始数据的特征点聚集在若干密集的簇里，分布集中。基座模型自精炼后的数据分布稍微扩散了一点，但变化不大，仍然围绕原始数据的区域打转。DataClaw?精炼后的数据分布则明显更宽广，覆盖了更大的语义空间，出现了许多基座模型从未触及的区域，对应着更多样化的任务类型、问答模式和推理路径。这说明DataClaw?不只是在"翻译"原始数据，而是在主动重组和扩展数据的语义覆盖范围，产出的训练素材在多样性上超过了仅靠自精炼能达到的上限。

归根结底，DataClaw?做的事情，就是把"从混乱原料中提炼有价值训练数据"这件原本需要大量人工的工作，变成了一件可以自动化、可以扩展、并且有理论支撑的系统性工作。它不是万能的——时序幻觉等问题依然存在，数据规模相比大型预训练语料库也还较小，而且目前还不能完全脱离人类提供的原始视频素材独立生成训练数据——但在"从有限预算的原始流中精炼出高质量下游任务数据"这个定义明确的问题上，它展示出了与最强商业模型竞争的实力，同时保持着开源、可控、可本地部署的优势。

对于关注AI落地成本的研究者和工程师来说，这个方向有直接的实际意义：如果同样数量的数据，经过更精准的裁剪就能让下游模型学到更多，那么无论是训练成本还是数据标注成本都有机会大幅压缩。对于未来AI系统的演进而言，一个能主动改善自身训练数据质量的系统，本身就是迈向更自主学习能力的一步。有兴趣深入了解技术细节的读者，可以通过arXiv:2606.21337查阅完整论文，项目主页地址在论文摘要中也有提供。

Q&A

Q1：DataClaw?和普通大模型直接标注数据有什么区别？

A：普通大模型直接标注属于"被动描述"，容易对长视频产生内容幻觉、漏掉关键帧。DataClaw?先用轻量级工具从原始视频中提取出可靠的事实锚点（比如具体帧号、物体状态），再在这些锚点约束下进行高层推理合成，减少幻觉的同时输出严格的JSON结构化数据，可以直接用于下游模型训练。

Q2：DataClaw?的"专家型"和"全能型"版本应该怎么选择？

A：全能型DataClaw?-O部署简单，适合需要跨多个领域灵活处理的场景，但在高度专业化任务上效果会打折扣。专家型DataClaw?-E对每个领域单独训练一个模型，效果更强，但需要根据任务类型做路由选择。实验证明，错误路由会导致灾难性失败，正确路由的专家型版本在所有主要指标上全面优于全能型。

Q3：DataClaw?处理出来的数据用来训练下游模型，比Gemini处理的数据效果更好吗？

A：两者整体接近，各有侧重。Gemini在步骤级局部指标上略有优势，DataClaw?在端到端的任务完成指标（如GUI任务成功率、视频生成质量、时空问答整体准确率）上反而更强。研究团队认为DataClaw?产出的数据更精炼紧凑、更聚焦于任务完成的关键信息，在同等数据量下对下游模型最终性能的提升更有效。