芬兰阿尔托大学与佐治亚理工学院联手：不需要专用"翻译器"，让AI直接读懂人体动作

这项由芬兰阿尔托大学与美国佐治亚理工学院联合开展的研究，以预印本形式于2026年4月发布在arXiv平台，论文编号为arXiv:2604.21668。研究团队来自阿尔托大学的计算机科学领域，以及佐治亚理工学院的人机交互研究方向，有兴趣深入了解的读者可以通过上述论文编号在arXiv上查阅完整内容。

当你在手机里拍下一段跑步的视频，或是用传感器记录下一次打拳击的动作，背后的骨架数据是一串密密麻麻的数字——每一帧记录着几十个关节点在三维空间里的坐标。对人来说，这就是一堆令人头疼的数据表格。对大语言模型（也就是像ChatGPT这样的AI）来说，这更是外星语言，因为它们天生只懂文字，不懂数字坐标流。

现有的解决方案是给AI配一个"翻译器"：先用一套复杂的编码器把骨架数据压缩成AI能理解的特殊符号，再花大量时间训练AI学会这套暗语。这就像你想和一个只懂汉语的朋友分享一篇英文文章，不得不先雇一个翻译，然后训练这个朋友学会理解那个翻译的特定说话方式——麻烦不说，换一个翻译还得重来一遍。

研究团队提出了一个截然不同的思路：既然AI本来就精通人类语言，何不直接用人话来描述动作？他们开发了一套叫做"结构化动作描述"（Structured Motion Description，简称SMD）的方法，把骨架数据翻译成医生和运动科学家一直在用的那种语言——关节角度描述。于是，"左腿踢腿"这个动作就变成了一段文字："左髋屈曲从3度增加到81度，持续0.9秒；左膝角从15度增加到141度，持续0.8秒……"这种语言不需要特殊训练，任何大语言模型天生就能理解"屈曲"、"抬腿"、"向前"这些词的意思。

一、原来的"翻译器"有什么问题

在解释新方法之前，有必要先搞清楚旧路子走到了哪些死胡同。

现有主流方法的核心思路，是模仿计算机视觉领域"看图说话"AI的做法：先把图像（或者动作）压缩成一堆特殊的"令牌"，再把这些令牌喂给大语言模型处理。这个过程中有两个关键组件：第一个是动作编码器，它负责把原始的关节坐标序列压缩成紧凑的表示；第二个是对齐模块，它负责把这些紧凑表示翻译成语言模型能理解的格式。

以具体的技术方案为例，有的方法用VQ-VAE（一种量化压缩技术）把动作离散化成一个个离散符号，有的用VAE（变分自编码器）产生连续的压缩向量，有的则用一个简单的线性投影层直接映射。这些方法各有侧重，但都绕不开一个根本问题：整个系统必须绑定在特定的大语言模型上。今天你基于GPT-2训练好了一套系统，明天想换成更先进的LLaMA，就得把整个流程从头来过，编码器和对齐模块都要重新训练。

更麻烦的是，这些编码器学到的"暗语"只在它接触过的数据上好用。研究团队发现，当他们用在运动捕捉数据集（HumanML3D）上预训练的VAE去处理另一个用RGB-D相机采集的数据集（HuMMan-QA）时，性能会崩溃性地下降——同样的骨架数据，经过这个编码器处理后变成了乱码。这就好比一个精通北京话的翻译，突然遇到了四川话，虽然同是中文，但腔调完全不同，翻译出来的东西让人摸不着头脑。

除此之外，压缩后的动作令牌对人完全不透明。你没有办法看着一串数字令牌说"哦，这个令牌代表的是右膝弯曲"。这让排查错误和理解模型行为都变得极为困难。

二、运动科学家早就有了一套"动作语言"

运动科学家和临床医生在分析人体运动时，有一套沿用了几十年的精确语言体系：生物力学关节角度描述。当医生分析一个病人的走路姿势时，会这样描述："站立期髋关节屈曲从3度增加到81度，之后在摆动期减小到7度。"这句话精确、无歧义，任何受过相关训练的人都能听懂。

研究团队的核心洞察是：这套语言不仅对人类精确，对大语言模型来说也是天生熟悉的。这些模型在海量文本上训练时，早就见过无数关于"髋关节"、"屈曲"、"向前移动"的句子，对这些词汇背后的身体结构和运动含义有着相当深刻的理解。与其给AI发明一套新的专用符号系统，不如直接用AI已经内化了几十年人类知识的语言来交流。

SMD方法的设计灵感正是来源于此。它不学任何东西，没有任何参数需要训练，完全依靠确定性的规则来计算关节角度并生成文字描述。换句话说，它就是一台精密的"动作转文字"机器，每次输入同样的骨架数据，就会输出同样的文字描述，稳定可靠，不受数据来源的影响。

三、SMD是怎么把骨架数据变成文字的

这台"机器"的工作流程分四步，可以用做菜的比喻来理解：采购食材（建立坐标系）、备菜（计算关节角度）、调味（描述全局轨迹）、装盘（组装成完整文字）。

第一步是建立身体局部坐标系。骨架数据里有22个关节点，但这些关节点的坐标是世界坐标系里的绝对位置，受拍摄角度和人站在哪里的影响很大。SMD首先以骨盆、左髋、右髋三个关节为参考，构建一个跟随人体朝向移动的局部坐标系。这就像在船上安装一个罗盘：不管船开到哪里、朝哪个方向，罗盘的"前方"始终是船头方向。

第二步是沿着运动学链计算关节角度。运动学链就是人体骨骼的层级关系：骨盆是根，往下是髋关节，再往下是膝关节、踝关节；往上是腰椎、颈椎；两侧是肩关节、肘关节。每个关节的角度都在其父关节的局部坐标系中计算。以髋关节屈曲为例，计算的是大腿骨（股骨向量）与骨盆局部坐标系的竖直轴之间的夹角，投影到矢状面上。这样算出来的角度只反映膝盖相对于大腿弯了多少，而不受大腿本身朝哪个方向摆动的影响。总共计算26个关节角度，涵盖骨盆、腰椎、颈椎，以及左右髋、膝、踝、肩、肘，分为13个身体部位组。

第三步是描述全局轨迹。关节角度告诉我们身体各部分如何相对运动，但走路、跳跃、转身这类动作还涉及人在空间中的整体位移。SMD追踪骨盆的世界坐标，分别描述前后、左右、高低三个平移方向，以及身体偏转（左转右转）一个旋转方向。为了过滤掉数据中的噪声抖动，先用7帧（0.35秒）的滑动平均做平滑处理，然后用峰谷检测把每条曲线切分成若干段，每段标注方向（"向前移动"、"向后移动"、"保持不动"）和数值范围。平移方向的切分阈值是0.03米，旋转方向是15度——这样设置可以忽略站立时的微小晃动，只保留有意义的位移。

第四步是对关节角度时间序列做同样的分割和描述。对每个关节角度曲线用同样的平滑加峰谷检测方法处理，角度变化阈值是5度。每个片段根据起止值被标记为四种类型之一：增加（角度上升至少5度）、减小（角度下降至少5度）、保持（变化小于5度）、重复N个周期（通过自相关检测到周期性规律，相关系数阈值0.6）。这种压缩方式非常高效：一条原本有200帧数据的时间序列，通常只需要3到8个描述片段就能准确概括。

最后，把轨迹描述和关节角度描述拼装成一段层级化的结构文字：最上方是元信息（持续时长、帧数、帧率），然后是全局轨迹块（总位移摘要加各轴轨迹片段），最后是关节角度块（26个关节按13个身体部位分组，每组有方括号标题）。全部26个关节角度的完整描述平均约4000个词语单元（token），只选前3个活动最活跃的关节时约1000个词语单元。

以"左腿踢腿"动作为例，完整描述里会出现这样的片段："[左髋] 左髋屈曲（抬腿）：从3度增加到81度 [0.0s-0.9s]，从81度减小到7度 [0.9s-2.0s]，保持在3度 [2.0s-5.8s]；[左膝] 左膝角度（弯曲）：从15度增加到141度 [0.0s-0.8s]，从141度减小到17度 [0.8s-2.0s]，保持在17度 [2.0s-5.8s]……"

四、如何训练AI读懂这段文字

生成了SMD文字之后，这段文字会被格式化成提示词（prompt）输入给大语言模型。对于动作问答任务，提示词包含一段系统角色说明、SMD文字、问题内容，以及多个候选答案选项，模型只需要输出正确选项的文字。对于动作描述（字幕生成）任务，提示词包含系统说明和SMD文字，模型输出一句自然语言描述。

训练时采用LoRA（低秩适配）技术，这是一种参数高效的微调方法：在冻结原始模型全部参数的基础上，为每一层线性计算注入一对小矩阵（维度分解为r=16的低秩矩阵），只训练这约4000万个额外参数，而基础模型的76亿个参数完全不动。训练目标是让模型在看到SMD文字和问题之后，能生成正确答案。

这种设计带来的好处是，换一个基础模型只需要重新训练这4000万个参数，不需要重新训练任何动作编码器。一个问答任务的LoRA训练在单块H200显卡上只需要约7小时，字幕生成约20小时，而基于VAE编码器的方法光是多阶段训练就需要估算60小时以上。

五、实验结果：在三个基准上全面超越所有竞争对手

研究团队在三个权威基准数据集上做了系统评测。BABEL-QA包含1109段动作和2577个问答对，问题类型涵盖动作识别、身体部位识别、运动方向判断，测试集393对；HuMMan-QA包含925段动作和3123个问答对（533对测试），数据来源是RGB-D重建而非运动捕捉；HumanML3D是动作字幕生成的主流基准，包含14616段动作和44970个自然语言描述。

一个值得特别说明的细节是：两个问答数据集的原始格式里，选项数量从4个到155个不等，这让不同方法之间的对比失去意义（随机猜对概率从25%到0.6%不等）。研究团队将所有问题统一标准化为10选1格式，对于超过10个选项的问题随机保留9个干扰项加上正确答案，对于少于10个的保留原始选项集。这个标准化的题目文件在所有方法之间共享，确保公平对比。

在BABEL-QA上，SMD方法取得66.7%的准确率，而此前最强专用方法IMoRe是60.1%，提升6.6个百分点；使用相同Qwen2.5-7B基础模型但换用VAE编码器的对照基线（MotionGPT3-Qwen）只有50.1%，比SMD低了16.6个百分点。

HuMMan-QA上的对比更加戏剧性。SMD方法达到90.1%，而MotionGPT3-Qwen只有22.0%——差距高达68个百分点。这个悬殊差距的根源在于：MotionGPT3的VAE是在HumanML3D（运动捕捉数据）上预训练的，而HuMMan的动作是用RGB-D摄像头重建出来的，两者的数据特性差异让VAE的内部压缩空间失效，变成了乱码。研究团队验证了原始关节坐标在归一化后统计特性相近，说明问题真的出在VAE的学习表示上，而不是数据质量本身。SMD作为完全基于规则的方法，不存在这种跨域脆弱性。

在HumanML3D字幕生成任务上，评测指标分两类：一类是文本-动作语义对齐指标（R精度@1/2/3和多模态距离），一类是文字质量语言指标（BLEU@1/4、ROUGE-L、CIDEr、BERTScore）。SMD在几乎所有指标上都取得最佳结果：R@1从此前最强的0.573提升到0.584，R@2从0.773到0.794，R@3从0.864到0.883，多模态距离从2.43降低到2.35；BLEU@1从59.08到63.45，BLEU@4从19.41到22.67（相对提升17%），ROUGE-L从46.17到47.80，CIDEr从40.65到53.16（相对提升31%），BERTScore从35.23到45.58。

使用同一Qwen2.5-7B骨干的对照基线MotionGPT3-Qwen（4个投影令牌）取得R@1为0.555、CIDEr为46.13，在全部指标上都低于SMD。研究团队还尝试了32、64、128个投影令牌的配置，结果发现更多令牌并不能缩小差距——更大的投影矩阵在有限训练数据上出现了过拟合。

六、精细拆解：哪些要素真正重要

研究团队做了系统的消融实验，把SMD方法拆解开来，逐一检验每个设计选择的贡献。

关于包含多少关节的实验揭示了一个有趣的权衡。完全不包含关节角度（只有全局轨迹）时，问答准确率分别是56.2%和67.4%，说明很多涉及运动方向和整体动作类型的问题可以从轨迹信息推断，但字幕生成性能大幅下滑（R@1仅0.452，CIDEr仅21.69）。只选最活跃的3个关节时，问答性能反而最好（BABEL-QA 73.3%，HuMMan-QA 91.0%），这可能是因为只保留最活跃的关节去掉了静止关节的干扰，让模型更容易聚焦于关键信息。但字幕生成随着包含关节数增加而持续改善，All-26时R@1达到0.584。这说明问答任务偏好"精华提炼"，而字幕生成任务偏好"全面覆盖"，最优粒度取决于具体任务。

关于全局轨迹表示方式，研究团队比较了三种方案：不包含轨迹、自我中心坐标系（以身体朝向为参考的相对方向）、世界坐标系（绝对方向）。世界坐标系表现最好，尤其在字幕生成的R@1（0.584）上。值得注意的是，完全去掉轨迹信息时BABEL-QA准确率只下降了1.8个百分点，字幕生成的CIDEr也基本相当（53.34 vs 53.16），这提示模型可以从关节角度的周期性规律（比如循环的髋膝屈伸暗示"在原地走路"）在一定程度上推断全局运动，但明确的轨迹信息仍然是有价值的补充。

关于规则参数的稳定性，研究团队系统测试了三个关键参数在较大范围内的变动：角度变化最小阈值δ从3度到15度、平滑窗口w从3帧到11帧、轨迹位移阈值τ_p从0.01米到0.10米。结果显示性能都保持在稳定范围内：BABEL-QA准确率在66.7%到71.0%之间，字幕生成R@1在0.527到0.608之间。有意思的是，默认参数并不是所有指标上的最优值——比如δ=3度和w=11时R@1和CIDEr都更高——说明针对特定任务调整参数还有提升空间，但收益有限。这种参数不敏感性表明SMD不是一个需要精心调参才能工作的脆弱系统，而是一个对参数扰动有良好鲁棒性的稳固框架。

七、换一个AI大脑，只需几小时

SMD方法的一个实用优势是骨干模型可以随意更换。研究团队用完全相同的SMD输入（Top-3最活跃关节，约1000词语单元）和完全相同的LoRA配置，在8个不同的大语言模型上分别训练和评测，这8个模型来自6个不同的模型家族，参数规模从30亿到140亿不等，包括Qwen2.5（3B/7B/14B三个规格）、Qwen3-8B、Qwen3.5-9B、Gemma3-4B、LLaMA-3.1-8B、GLM-4-9B。

结果显示，所有模型在BABEL-QA上都超过63%，在HuMMan-QA上都超过82%，字幕生成R@1从0.517到0.563，CIDEr从49.23到54.33。在Qwen2.5家族内部，性能随参数规模增大而提升（3B→7B→14B）。更新一代的模型（Qwen3-8B和Qwen3.5-9B）在字幕生成某些指标上超过了更大的Qwen2.5-14B，与当前大语言模型领域"新模型比旧的大模型更能干"的普遍趋势一致。即使是最小的Gemma3-4B（40亿参数），在各项指标上也表现得相当有竞争力。

从工程成本角度来看，在新骨干上重新训练问答LoRA需要2到8 GPU小时，字幕生成需要6到12 GPU小时，只训练约4000万个参数。对比之下，MotionGPT3这类方法在换骨干时需要重新执行包括编码器预训练在内的多阶段完整流程，总时长估算超过60小时，可训练参数超过1亿。代价是推理时SMD的输入序列较长：Top-3配置平均915毫秒每样本，All-26配置平均1154毫秒每样本，GPU显存占用约15.5 GB；而VAE方法的输入序列约256个词语单元，处理更快但使用的是参数更小的模型。

八、AI在读SMD时，眼睛盯着哪里

由于SMD是人能读懂的文字，研究团队得以做一件在VAE编码器方法上几乎不可能做的事：可解释性分析。

他们从微调后的Qwen2.5-7B的全部28个Transformer层里提取注意力权重，在所有层和注意力头上做平均，然后对每个生成的输出词语单元，计算它对输入SMD各个部分的注意力分布，并在所有生成步骤上累积求和。这样得到的热力图直接反映了模型"看重"SMD的哪些部分来生成对应的字幕。

对于"原地走路"这个动作，热力图显示模型主要关注描述前进位置静止不动的轨迹片段，以及左右髋和膝关节的周期性重复片段（"重复7/8个周期"）——这两个信息合在一起确实足以判断"原地走路"。生成的字幕"a person walks in place slowly"（一个人慢慢地原地走）与这些关注点高度吻合。

对于"用右手挥手"这个动作，注意力集中在右肩关节的内收（上下摆动）和右肘屈伸两个部分，全局轨迹（完全静止）几乎没有受到关注。模型正确识别了真正活跃的身体部位，并据此生成了"a person waves with his right hand"（一个人用右手挥手）。

这种可解释性不仅仅是学术上的好奇心满足，对实际应用有切实价值：当模型给出错误答案时，开发者可以直接检查它在关注什么，判断是SMD的描述出了问题、还是模型对某类描述理解有误，从而快速定位问题根源。这是不透明的潜变量表示方法所无法提供的能力。

九、不经过训练，AI能有多少"天生"理解能力

研究团队还测试了完全零样本的情况：不做任何LoRA微调，直接把SMD文字和问题一起发给Qwen2.5-7B，让它凭着预训练时学到的知识作答或生成字幕。

在问答任务上，零样本模型在BABEL-QA上取得35.6%的准确率，在HuMMan-QA上取得31.7%。考虑到题目有10个选项，随机猜测的期望准确率约11.6%，35.6%显著高于随机水平，说明大语言模型确实从SMD的生物力学描述中提取到了有意义的信息，即使没有见过任何训练示例。

在字幕生成任务上，零样本模型生成的描述在内容上是有根据的，但行文冗长，缺乏动作层面的语义理解。对于一段"原地走路"的动作，零样本模型输出的是："这个人正在做一个复杂的动作，涉及轻微的侧向摇摆和躯干旋转，同时点头转头，以节律性方式摆动手臂和腿。"它准确识别了侧向摇摆、躯干旋转、手臂摆动这些运动分量，但没能把这些分量综合成"原地走路"这个高层语义，也没有学会用一句简洁的话概括动作。

对于一段华尔兹舞蹈，零样本模型输出："这个人正在做一系列手臂和腿部动作，同时轻微移动位置和姿态，可能在模拟一套复杂的舞蹈或健身动作。"它识别到了肢体运动，但用"复杂的舞蹈或健身动作"这种泛指代替了具体的"华尔兹"。

这两个例子清晰地说明了LoRA微调的作用所在：它不是让模型从零开始理解SMD，而是帮助模型学会两件事——从生物力学描述模式到高层动作语义的映射，以及适合这类任务的简洁输出风格。SMD消除的是对动作编码器和多阶段对齐训练的需求，LoRA微调这一步则是任何任务适配都需要的正常流程。

说到底，这项研究最核心的贡献是用一种几乎"零成本翻译"的方式打通了骨架数据与大语言模型之间的隔阂。归根结底，解决方案来自于一个朴素的问题：AI已经懂人体语言了，为什么还要专门造一门只有机器才懂的"暗语"呢？当你把动作翻译成"左髋关节在0.9秒内从3度弯曲到81度"这样的人话，不管是GPT、LLaMA还是Qwen，都能直接理解——因为它们在训练时早就把关于人体运动的知识融入了自己的"记忆"。

这对普通人意味着什么？以后开发动作识别、运动分析、健身指导、运动康复类应用的工程师，不再需要为每种AI模型分别训练一套昂贵的动作编码系统。改用更先进的AI大脑只需要几小时的重新微调，而不是数周的重新建模。对研究者来说，当模型犯错时，你可以直接检查它"看了"哪些关节描述才得出那个结论，而不是对着一堆数字令牌抓耳挠腮。

当然，这套方案也有代价。完整描述一段动作需要约4000个词语单元，是VAE方法的约15倍，这让每次推理的时间更长。而且目前SMD只覆盖SMPL骨架的22个关节，手指和脚趾等更细粒度的动作还没有纳入。研究团队在论文中也承认，现有评测集中在"理解"任务（问答和字幕生成），如何把SMD扩展到动作生成和编辑还是开放问题。

如果你对人体动作理解、大语言模型应用、或者运动科学与AI的交叉领域感兴趣，可以通过arXiv:2604.21668查阅完整论文，代码、数据集和预训练的LoRA适配器也在项目主页上公开，随时可以自行复现实验。

Q&A

Q1：结构化动作描述（SMD）和传统的动作编码器方法有什么本质区别？

A：传统动作编码器方法需要先用神经网络把骨架数据压缩成特殊符号，再训练AI学会理解这些符号，整个流程绑定在特定AI模型上，换模型就要重来。SMD完全不同，它用确定性的数学规则直接把关节角度变化转写成人类可读的文字（如"左髋屈曲从3度增加到81度"），任何大语言模型天生就能理解这种文字，无需学习特殊暗语，换模型只需几小时的轻量微调。

Q2：SMD方法在跨数据集泛化上为什么比VAE编码器稳定得多？

A：VAE编码器在特定数据集（如运动捕捉数据）上预训练后，学到的是那个数据集特有的统计规律，换到用RGB-D摄像头采集的数据时，数据特性差异让编码器输出失效。SMD完全基于规则，对任意来源的骨架数据都执行同样的角度计算和文字转换，不存在"学习偏好"，因此在来源不同的两个数据集上性能都很稳定——这正是HuMMan-QA上SMD达到90.1%而VAE方法只有22%的根本原因。

Q3：SMD的生成文字太长，推理速度会不会是实际部署的瓶颈？

A：这确实是SMD方法目前最主要的代价。完整26关节配置平均约4000个词语单元，推理速度约0.9样本/秒；选最活跃的3个关节可压缩到约1000个词语单元，约1.1样本/秒。相比之下，VAE方法只用约256个词语单元，速度更快。对于实时性要求极高的应用，这是需要权衡的问题，但对于离线分析、运动评估、健身报告生成等非实时场景，当前速度是完全可接受的。