首尔大学团队的新思路：用拍照片的AI来"读懂"大脑扫描视频，内存省了七倍还更准

这项由首尔国立大学电气工程系、人工智能研究所（IPAI）、大脑认知科学系及心理学系联合开展的研究，以arXiv预印本形式于2026年4月4日公开发布，论文编号为arXiv:2604.03619v1。有兴趣深入了解的读者可通过该编号在arXiv平台查询完整论文。

一台核磁共振扫描仪开机以后，每隔一两秒钟就会拍下一张人类大脑的"立体照片"。一次普通的静息态扫描大约持续十到二十分钟，最终产生几百张这样的立体图像，摞在一起就构成了一段关于大脑活动的"慢动作视频"。医生和神经科学家想从这段视频里读出很多东西：这个人有没有注意力缺陷症？他大概多少岁？他的智力水平如何？男性女性？这些问题听起来简单，但想让计算机自动回答，却是一件极其烧钱又烧脑的事。

核心困难在于数据量太过庞大。每一张"立体照片"都是一个三维的数据块，里面包含几十万个细小的体素点（可以理解成三维版本的像素）。当计算机需要同时盯着几百张这样的三维图像来分析动态规律时，它的内存往往会当场撑爆。于是科学家们一直在做一件权宜之计：把这段几百帧的视频硬是剪成只有二十帧的片段喂给模型，就好比你要分析一部两小时的电影，却只被允许看其中两分钟。这样做虽然能省内存，但很多藏在长时程波动里的信息就白白丢掉了。

研究团队想解决的，正是这个"只能看两分钟"的窘境。他们提出了一个名叫 TABLeT 的方法，全称是"二维自编码脑部潜在变换器"（Two-dimensionally Autoencoded Brain Latent Transformer）。这个方法的核心思路出人意料：既然训练一个专门读懂大脑扫描的压缩工具太贵、太难，何不直接借用一个已经在海量普通照片上训练好的图像压缩AI？事实证明，这个听起来有点"投机取巧"的想法，效果比专门为大脑数据训练的工具还要好。

一、大脑扫描数据到底难在哪里？

把大脑扫描想成一栋立方体形状的乐高积木城堡。这栋城堡有96层，每层是96×96格的网格，整栋城堡共有将近九十万块小积木。每一块积木记录了一个小小脑区在某一瞬间的活跃程度。一次完整的扫描会给出几百个这样的城堡，一个接一个排成时间轴。

要分析这些数据，研究人员历史上走过两条路。第一条路叫"感兴趣区域法"（ROI-based），就是预先划定脑子里的几百块"功能分区"，只盯着每个分区的平均活跃度，把这些平均数整理成一张相关系数表，再喂给模型学习。这种做法省事省钱，但代价很明显：划分方式一旦选错，结果就会跑偏；更关键的是，大量精细的空间细节被平均掉了，就像把整栋城堡的积木数量平均成一个数字，你根本看不出哪层哪块有异常。

第二条路叫"体素法"（Voxel-based），就是直接把每一块小积木都塞进模型，不做任何预先归纳。这条路保留了全部信息，理论上能学到更丰富的模式，也让模型可解释性更强——毕竟你能直接指出"模型在关注脑子的哪个部位"。然而代价同样明显：九十万块积木乘以几百帧，数据量大到普通显卡根本装不下。目前最先进的体素法模型，比如SwiFT和TFF，每次最多只能同时处理二十帧，相当于把那部两小时的大脑活动电影剪到只有两分钟来学。

这就引出了一个根本性的悖论：保留细节就爆内存，省内存就丢细节。TABLeT的团队想找到第三条路，既保留细节，又能看更长的时间段。

二、借用"拍照片的AI"来压缩大脑数据

解决方案的灵感来自一个看似不相关的领域：图像生成。近年来，AI绘画和图像压缩领域诞生了一类叫做"深度压缩自编码器"（DCAE，Deep Compression Autoencoder）的工具，其中有一款叫 dc-ae-f32c32-in-1.0 的模型，能把一张256×256像素的普通照片压缩成只有64个"摘要数字"（token），压缩比高达32倍，同时还能把照片重建得很清晰。它原本是用来加速AI绘图的，跟大脑扫描毫不相干。

研究团队决定做一个大胆的实验：把大脑扫描图直接塞给这个"拍照片的AI压缩工具"，看看它能不能压缩出有意义的东西。

具体操作是这样的。每一帧三维大脑扫描（那栋96层的乐高城堡）被沿三个方向各切成一叠薄薄的二维切片，就像把城堡横着切、纵着切、侧着切，得到三组切片图。每张切片被复制成三个通道（模仿普通照片的RGB结构），然后一张一张地喂给那个图像压缩工具，得到一小块压缩后的"摘要数字块"。三个方向切出来的摘要按空间位置对齐、拼接在一起，最终整栋三维城堡就被浓缩成了区区27个"摘要单元"（token），每个单元携带3072维的信息。

从将近九十万个数据点压缩到27个——压缩比超过三万倍。更重要的是，这些27个摘要单元携带的信息足够丰富，后续的分析模型可以从中读出足够多的有用信号。

由于压缩过程只需要做一次，压缩结果可以提前存储起来，后续训练过程完全不需要再动这个压缩工具，计算成本几乎可以忽略不计。这就像提前把几百部电影剪成每部27帧的精华片段存进硬盘，之后每次学习都直接读精华片段就行。

三、"借来的工具"竟然比"专门订制的"更好用

这里有一个很自然的疑问：为什么不自己训练一个专门处理三维大脑扫描的压缩工具？研究团队确实这样做了，作为对比。他们用首尔大学能获取的8178个英国生物银行（UK Biobank）受试者的大脑扫描数据，训练了一个三维版本的深度压缩自编码器，花了100个训练轮次，调好了所有参数，确保充分收敛。

然后他们做了两方面比较：一是重建质量，也就是把压缩后的摘要还原成图像，看还原结果跟原图有多像；二是实际任务表现，也就是用压缩出来的摘要来做性别分类、年龄预测等任务，看哪个工具的摘要更有用。

结果让人出乎意料。在重建质量上，无论是细节保真度（PSNR峰值信噪比）、结构相似性（SSIM），还是功能连接模式的保留程度，那个从来没见过大脑扫描图的"拍照片工具"都略胜一筹。在下游任务表现上，基于"拍照片工具"摘要训练出来的模型，多数指标也优于基于专门训练工具的模型。

这个结果背后的道理其实并不神秘。那个图像压缩工具是在数以亿计的各种各样的照片上训练出来的，学到了极为通用的底层视觉规律——如何提取边缘、纹理、形状、明暗变化。这些底层规律在大脑扫描图里同样适用：大脑切片也有清晰的灰质/白质边界，也有纹理变化，也有明暗分布。而那个专门训练的三维工具数据量相对有限，而且大脑扫描图的多样性远不如自然照片，学到的特征反而不够泛化。

研究团队还尝试过把那个图像压缩工具在大脑扫描数据上再微调一下，结果每次微调都让重建质量变差。他们的解释是：微调会破坏那些在海量照片上积累的通用特征，而本地的大脑数据集太小、太同质，撑不起一次有效的领域适配。

由此，研究团队得出一个明确立场：直接用现成的二维图像压缩工具，不做任何修改，这是处理大脑扫描数据的更优选择，既省钱又省事，效果还更好。

四、压缩之后，用什么来分析？

把每一帧三维大脑扫描压缩成27个摘要单元之后，研究团队构建了一个相对简洁的分析骨架：Transformer编码器。Transformer是一种在自然语言处理（比如ChatGPT）和视觉AI领域都大放异彩的结构，它最擅长的事情就是在一段序列里找出不同位置之间的关联关系。

在TABLeT的设计里，每一帧大脑图像对应27个摘要单元，整个扫描序列（默认取256帧）就是256×27=6912个单元排成的一条长链。这条长链被送进Transformer，Transformer用自注意力机制让每个单元都能"看到"序列中所有其他单元，从而捕捉跨时间、跨空间的长程依赖关系。最后，模型在序列开头附加了一个特殊的[CLS]标记，把整条序列的信息汇聚到这个标记上，用它来做最终预测。

为了让这个Transformer在处理几千个单元的长序列时不至于太慢，研究团队借鉴了大语言模型领域的若干技巧：使用"分组查询注意力"（grouped query attention）来减少注意力计算时的内存占用；使用"旋转位置编码"（rotary positional encoding）来帮助模型感知序列位置；使用PyTorch内置的高效注意力算子来加速计算。整个模型共12层Transformer，14个注意力头，其中只有2个键值头（这是分组查询注意力的设计要求）。

训练时，每次从每位受试者的完整扫描序列里随机抽取256帧喂进模型。评估时，把完整序列切成若干个256帧的片段分别跑一遍，再把所有片段的输出取平均，得到最终预测结果。

五、实际跑下来效果怎么样？

研究团队在三个大型数据集上做了系统测评。英国生物银行（UK Biobank）包含8178名中老年人，用来预测性别和年龄；人类连接组计划（HCP）包含1061名健康年轻人，用来预测性别、年龄和认知智力得分；ADHD-200数据集包含533名儿童和青少年，用来诊断注意力缺陷多动障碍（ADHD）。

对比对象涵盖了五种感兴趣区域法模型（XGBoost、BrainNetCNN、脑网络Transformer、meanMLP、Brain-JEPA）和两种体素法模型（TFF和SwiFT）。对于SwiFT，还额外测试了延长到50帧输入的版本。

TABLeT在大多数任务上超过了所有对比方法。以几个代表性数字为例：在HCP数据集的认知智力预测上，TABLeT的均方误差（MSE）为0.835，而SwiFT在50帧下是0.865，在20帧下是0.940，差距相当可观；皮尔逊相关系数（ρ，衡量预测值与真实值的线性关联程度，越接近1越好）TABLeT达到0.392，SwiFT（50帧）是0.354，SwiFT（20帧）只有0.297。在ADHD诊断的AUC指标（ROC曲线下面积，衡量分类器综合性能）上，TABLeT是0.729，SwiFT（50帧）是0.701，SwiFT（20帧）是0.693。

性别分类这种本身就很依赖静态结构特征、对时间长度不敏感的任务，TABLeT与SwiFT的差距就小一些，属于势均力敌；但在需要捕捉更长时程动态模式的任务上，TABLeT的优势就比较突出了。研究团队还做了一个控制实验：当TABLeT也只用20帧或50帧时，它和SwiFT的性能非常接近，说明性能提升确实主要来自更长的时间窗口，而不是压缩方式本身的魔法。

六、节省了多少资源？数字说话

在同一块NVIDIA RTX A6000显卡上、相同批次大小（4）的条件下，研究团队做了精确的资源对比。当输入50帧时，SwiFT需要的显存是TABLeT的7.33倍；训练速度上，SwiFT每个轮次耗时是TABLeT的3.8倍。更直观的对比是：在大约30GB显存预算下，SwiFT最多能处理40帧的输入，而TABLeT可以处理384帧——几乎是十倍的差距。SwiFT在超过50帧时会直接报内存溢出错误，而TABLeT可以一路延伸到几百帧。

这意味着，在同样硬件条件下，研究者原本只能"看两分钟电影"，现在可以"看将近二十分钟"。对于那些要研究大脑慢波振荡、全脑觉醒波动等需要几十秒才能展开的生理现象，这个差距可能是从根本上无法做研究和可以做研究之间的分野。

七、在更动态的任务上，优势更加明显

研究团队还专门测试了一个更能体现时间动态的任务：健康大脑网络（HBN）电影观看实验。在这个数据集里，680名受试者在接受扫描时观看了两部不同的电影，任务是让模型根据大脑活动判断受试者正在看哪部电影。这是一个对时间动态高度敏感的任务，因为不同电影在不同时刻刺激的脑区不同，必须捕捉到随时间演变的激活模式才能做出准确判断。

在这个任务上，当时间窗口相同（50帧）时，TABLeT的准确率（74.7%）略高于SwiFT（71.7%），AUC（0.826 vs 0.810）和F1分数（0.750 vs 0.717）也均有提升。当TABLeT的时间窗口延长到250帧时，准确率跳升到82.1%，AUC达到0.976，F1达到0.847——与50帧相比，提升幅度相当显著。这个结果为"更长时间窗口在动态任务中更有价值"提供了直接的实验支撑，也暗示TABLeT在任务态fMRI（受试者在执行特定任务时的扫描）这类应用上可能有更大的发挥空间。

八、"自学"让模型变得更聪明

研究团队还引入了一种自监督预训练策略，叫做"掩码标记建模"（Masked Token Modeling，MTM）。这个策略的灵感来自语言模型里的"完形填空"：随机遮住输入序列里50%的摘要单元，让模型根据剩余的摘要单元来预测被遮住的部分，用真实值和预测值之间的L1差异作为训练信号。

为了防止模型"作弊"——比如通过看第100帧第5个位置的未遮掩单元来直接推断第101帧第5个位置的遮掩单元——研究团队采用了"管道遮掩"策略：在时间轴上对每一帧使用完全相同的遮掩图案，这样某个空间位置如果被遮掩，它在所有时间帧上都同时被遮掩，模型无法靠"时间邻居"来作弊，必须真正理解空间上下文才能完成预测。

预训练在英国生物银行的8178个受试者数据上进行，然后把预训练好的模型迁移到人类连接组计划数据集上做微调，只需要10个训练轮次（远少于从头训练的50个轮次）。微调后的模型在几乎所有指标上都进一步提升：性别分类准确率从93.8%升至95.3%，年龄预测均方误差从0.773降至0.650，认知智力预测均方误差从0.835降至0.796，皮尔逊相关系数从0.392升至0.435。每项任务的提升幅度不同，但整体方向一致，证明这种"先自学、再做题"的预训练路线对TABLeT是有效的。

九、模型在关注大脑哪里？

体素法的一个重要优势是可解释性：因为整个流程从原始体素到最终预测都是可微分的，所以可以用梯度反向传播的方式推算出"模型做出这个判断时，最依赖大脑哪些区域的信号"。研究团队用"积分梯度"（Integrated Gradients）方法，在HCP数据集的性别分类任务上做了可视化分析：选取模型高置信度（≥75%）正确分类的女性受试者，计算她们第一帧扫描对应的梯度贡献图，再取平均。

结果显示，模型最关注的区域集中在内侧前额叶皮层（mPFC）、后扣带回/楔前叶（PCC/PCu）和丘脑（Thalamus）。这几个区域在神经科学文献中有大量关于性别差异的记录，与默认模式网络的性别差异研究高度吻合。这说明TABLeT学到的不是随机噪声，而是真实存在的、有生物学意义的脑区激活模式差异。

十、还有哪些有趣的细节？

研究团队还测试了三轴聚合方式是否重要。他们分别只用水平切（轴位）、纵切（矢状位）或侧切（冠状位）单一方向的摘要来训练，与三轴合并版本做对比。结果发现，不同单轴的性能有一定波动，在某些任务上某个轴更好，在另一些任务上又换了个轴领先；而三轴合并版本在所有任务上都保持稳定的较高水平，消除了对特定切割方向的依赖。这证明三轴合并策略是一种鲁棒的设计选择。

此外，研究团队还测试了不同的"打包粒度"：27个单元（每个维度3072维）、9个单元（每个9216维）和3个单元（每个27648维）。三种方案在下游任务上的表现差异不大，说明在保持总信息量不变的前提下，具体如何切分打包对模型性能影响有限。

说到底，TABLeT这项研究给出的核心信息是：大脑扫描数据并不需要一个专门从头训练的压缩工具，因为通用的自然图像压缩AI在大脑扫描这个"陌生领域"里表现得出人意料地好——甚至比专门训练的工具还好。借助这个"免费"的压缩工具，原本只能看"两分钟大脑电影"的模型一下子可以看"二十分钟"，内存需求降到原来的七分之一，训练速度快了将近四倍，各项预测指标也普遍提升。

这项研究并没有宣称解决了所有问题。研究团队明确指出，TABLeT目前对每一帧独立进行压缩，没有在压缩环节本身捕捉帧与帧之间的时间依赖；Transformer对所有单元一视同仁，没有显式利用空间或时间结构。这些都是未来可以继续改进的方向。更关键的是，当前测试主要集中在静息态扫描和几类结构性预测任务上，对于真正需要长时程动态建模的任务（比如监测药物效果随时间的变化，或追踪神经退行性疾病的进展），TABLeT的潜力还有待更大规模的验证。

归根结底，这项工作提示了一件在科研中有普遍意义的事：领域之间的边界有时候没有想象中那么牢固，一个在完全不同场景下磨砺出来的工具，可能恰好适合解决另一个领域的难题。对于有兴趣深入研究的读者，可以通过 arXiv:2604.03619v1 找到这篇论文的完整版本，相关代码也已在论文中附上的GitHub地址公开。

Q&A

Q1：TABLeT是如何把一个三维大脑扫描压缩成27个单元的？

A：TABLeT把每一帧三维大脑图像沿水平、纵向、侧向三个方向各切成一叠二维切片，每张切片复制成三通道后送入预训练的图像压缩工具（DCAE），得到压缩后的摘要数据块。三个方向的摘要按空间位置对齐后拼接，最终形成27个摘要单元，每个单元携带3072维信息，整个过程只需做一次并可缓存结果。

Q2：用普通图像训练的压缩工具为什么能处理大脑扫描数据？

A：普通图像压缩工具在海量自然照片上训练，学到了提取边缘、纹理、形状等通用底层视觉特征的能力，这些特征在大脑切片图里同样存在（比如灰质白质边界、组织纹理变化）。相比之下，专门在相对有限的大脑扫描数据上训练的压缩工具，因为数据量少、多样性低，学到的特征反而没那么通用，重建质量和下游任务表现都略逊一筹。

Q3：TABLeT的掩码预训练是怎么做的，为什么要用"管道遮掩"？

A：掩码预训练随机遮住50%的摘要单元，让模型根据剩余单元来预测被遮掩部分，用预测值与真实值的L1差异来训练。"管道遮掩"是指同一个空间位置在所有时间帧上同时被遮掩，防止模型通过查看相邻帧同一位置的未遮掩单元来作弊。这迫使模型真正理解空间结构规律，而非靠时间冗余蒙混过关，从而学到更有迁移价值的表示。