字节跳动×加州理工×斯坦福联手打造：让AI画图从"两步走"变"一气呵成"，图像生成质量创下历史新高

这篇题为《End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer》的研究，由字节跳动Seed团队联合加州理工学院和斯坦福大学的研究人员共同完成，于2026年5月1日以预印本形式发布，论文编号为arXiv:2605.00503。有兴趣深入了解的读者可以通过该编号在arXiv平台查阅完整论文。

**AI画图背后的一个被忽视的问题**

手机里的AI画图软件越来越厉害了，但你有没有想过，这些程序到底是怎么"思考"图片的？它们并不是直接操作像素点，而是先把图片"翻译"成一串数字代码，再用这串代码来生成新图像。负责这个"翻译"工作的模块，研究者称之为"视觉分词器"（tokenizer）。

多年来，AI画图领域有一个默认的工作方式，就像先雇一个翻译把稿子翻成英文，等翻译完成并交稿之后，再雇另一个作家去用这份英文稿子写小说。翻译不知道作家最终要写什么风格的小说，作家也没法指导翻译改变用词。这种"两步走"的方式虽然可行，但始终存在一个隐患：翻译出来的东西，未必是作家最好用的。

字节跳动Seed团队领导的这项研究，专门针对这一隐患提出了解决方案。他们的系统名叫EOSTok，核心思路是把翻译和写作合并成一道工序，翻译的时候就把作家请到场，让作家实时提意见，翻译随时根据反馈调整措辞。最终结果相当亮眼：在ImageNet这个行业标准测试集上，EOSTok在不使用任何额外辅助手段的情况下，取得了FID（衡量图像生成质量的关键指标，数值越低越好）1.48的成绩，刷新了当时的最优记录。

---

**一、先搞清楚：AI是怎么"读懂"一张图片的**

在深入了解EOSTok之前，有必要先理解AI处理图像的基本方式，否则后面的故事会显得莫名其妙。

以烘焙来打比方，你手里有一张精美的蛋糕照片，想让AI学会烤出同款蛋糕。AI没办法直接"盯着"像素看，它需要先把这张照片压缩成一份"配方"，也就是一串简洁的数字代码，然后再根据这份配方去"烤"出新蛋糕。负责把照片压缩成配方的是"编码器"，负责根据配方还原出图像的是"解码器"，而那份配方本身就是"潜在表示"或"token序列"。

现有的主流方案，基本上都把图片按照空间位置切成一个个小格子，就像把一张相片剪成棋盘格，每个格子编成一个代码。这种方式保留了图片的二维空间结构，但问题也随之而来：当AI模型想要逐步生成图片的时候，它习惯的方式是"读完前面的内容再预测下一个"，就像读句子从左到右一样。但二维棋盘格天然是四面八方相互关联的，你要猜中间某个格子是什么颜色，得同时参考上下左右，这就和"从左到右逐步预测"的逻辑产生了根本矛盾。

为了解决这个矛盾，学界出现了两条路线。一条路线继续保留二维棋盘格结构，但设计新的生成策略，比如随机顺序生成或者多尺度分层生成。另一条路线则是彻底抛弃二维棋盘格，直接把图片压缩成一条顺序排列的一维序列，这样就和语言模型逐字预测的方式完全对齐了。EOSTok走的正是第二条路，并且在此基础上做了关键创新。

---

**二、"两步走"为什么会出问题——以及EOSTok的根本改变**

传统的AI画图流程分为两个独立阶段。第一阶段专心训练"分词器"，目标是让它把图片压缩再还原，压缩还原的质量越高越好。等第一阶段训练完毕，分词器的参数就被冻结，不再更新。第二阶段再训练"生成模型"，让它学习如何排列这些代码来生成新图片。

这个流程的问题在于，分词器从始至终只知道一件事：我要把图片压缩再还原，压缩还原效果好就行。它完全不知道生成模型事后要怎么用它产生的代码。就像一个制作积木的工厂，只关心积木的形状是否规整，完全不管孩子事后想搭什么，自然可能生产出形状对孩子来说最别扭的积木。

EOSTok的核心改变是，把两个阶段合并成一个，让分词器和生成模型同时训练。分词器产生的代码直接喂给生成模型，生成模型的学习结果反过来监督分词器，形成一个闭环。翻回烘焙的比方，这相当于让配方制作者和烤蛋糕的人坐在同一张桌子旁边，配方制作者随时观察烤出来的效果，及时调整配方的写法。

然而，把两个阶段合并之后，研究团队很快发现了一个意想不到的新问题。

---

**三、"钻空子"的分词器——以及APR损失的妙用**

研究团队把分词器和生成模型合并训练之后，发现了一个奇怪的现象：生成模型的预测准确率从10.8%猛然跳升到30.2%，看起来训练效果大好。但实际生成出来的图片质量却急剧下滑，FID分数从3.82恶化到8.01。

这是怎么回事？研究团队仔细排查后，发现分词器在"钻空子"。

原来，当生成模型的训练信号（称为"下一个token预测损失"，NTP损失）反馈给分词器时，分词器发现了一个"捷径"：如果它把几乎所有图片都编码成非常相似的少数几种代码，那么生成模型要预测"下一个代码是什么"就变得极其容易，因为答案来来去去就那几个。分词器用这种方式极大地降低了NTP损失，但代价是彻底放弃了表达图片细节的能力。最终，代码本库（codebook）里4096个代码槽，只有一半还在被使用，图片的丰富信息被压缩到了近乎均质的几个代码中，自然什么都画不好。

研究团队对这一现象进行了可视化分析，把代码本的分布投影到三维球面上。在"偷懒模式"下，代码本的分布极度不均匀，大量图片只对应到其中一小片区域；而在正常训练下，代码则均匀分布在球面的各个方向。

要解决这个"钻空子"问题，研究团队设计了一个他们称之为"自回归预测重建损失"（APR损失）的机制。思路非常直接：既然NTP损失不能反映最终图像质量，那就在训练过程中直接把生成模型预测出来的代码序列解码成图片，然后和原始图片做对比，用像素级别的差异来监督训练。

用烘焙的比喻来说，以前的训练方式只看配方写得有多"标准"（NTP损失），现在改成直接把按配方烤出来的蛋糕和目标蛋糕摆在一起对比，哪里口感不对马上改配方。这种端到端的图像级别反馈，让分词器没法再靠偷懒来欺骗系统，因为最终的蛋糕效果骗不了人。

加入APR损失后的结果令人振奋：代码本使用率重新回到99.7%，重建FID从1.09提升到1.02，更关键的是生成FID从8.01大幅改善到3.32，同时AR预测准确率依然保持在11.9%，没有因为"钻空子"而虚高。

---

**四、从"视觉基础模型"借来的语义理解力**

解决了端到端训练的问题之后，研究团队又想到了另一个提升空间：给分词器注入更丰富的"语义理解力"。

这里需要引入"视觉基础模型"（VFM）的概念。简单来说，这类模型经过海量图片的训练，已经深刻理解了图片的语义内容——它知道哪些区域是狗、哪些区域是背景，它理解不同动物之间的相似性，等等。DINOv2就是这类模型的代表之一，由Meta AI研究院开发，在视觉理解领域表现出色。

研究团队的想法是，把DINOv2已经学到的语义理解力，以某种方式灌输给EOSTok的分词器，让分词器在编码图片的时候不只是记录表面的像素信息，还能捕捉到图片的语义结构。

但怎么"灌输"是个技术难题。研究团队系统性地测试了三种不同策略。

第一种策略是"直接对齐"：强制让分词器产生的一维代码序列，和DINOv2产生的二维特征图一一对应。这种方法的问题在于，DINOv2的特征是按照图片的空间位置排列的（左上角对应左上角，右下角对应右下角），强行让一维序列和它对齐，相当于在一维序列里重新引入了二维空间结构——这正是EOSTok想要摆脱的东西。结果也证实了这一担忧：重建质量有所提升，但生成质量反而变差了。

第二种策略是"直接替换"：不再把图片的像素格子直接送入编码器，而是先用DINOv2把图片处理一遍，把DINOv2的特征输出作为编码器的输入。这样做去掉了一些原始像素信息，但相当于给编码器预先配备了"语义理解眼镜"。实验结果还不错，生成FID改善到4.89。

第三种策略是研究团队最终采用的方案，他们称之为"隐式对齐"：不直接约束一维代码序列，而是约束编码器内部的中间层特征。具体来说，图片经过编码器处理时，中间会产生一批对应原始图片格子位置的"隐藏特征"，研究团队用对齐损失把这些隐藏特征对齐到DINOv2的输出，但对最终的一维代码序列没有任何空间位置约束。这种方式让分词器能从对齐的隐藏特征中"感受到"语义信息，同时一维代码序列依然可以自由地按照最有利于生成任务的方式组织。结果显示，生成FID进一步改善到3.32，比直接对齐的5.98好了很多。

除了在编码器端注入语义信息，研究团队还在解码器端做了类似的处理，把解码器的中间层特征也对齐到DINOv2的输出。他们的分析指出，一维解码器的工作其实比二维解码器难得多：二维解码器可以一个格子对应一个格子地还原，就像对照座位表找人；而一维解码器需要把全局分布的信息重新组装成二维图像，更像是在一片散落的拼图碎片中凭记忆还原完整画面。把解码器也对齐到DINOv2的语义特征，相当于给这个记忆还原过程提供了一份"参考地图"，实验证明这对重建质量有显著提升。

---

**五、整体架构：四个训练信号如何协同工作**

EOSTok的完整训练流程，可以理解为四条平行的监督线索同时发力，每条线索负责优化不同的方面。

第一条线索是重建损失：把图片编码压缩再解码还原，要求还原出来的图片和原图尽量接近。这条线索保证了分词器基本的图像表达能力，使用L2距离、感知损失（LPIPS，基于VGG神经网络评估视觉相似度）和对抗损失（让判别器来判断生成图是否逼真）共同衡量。

第二条线索是NTP损失：训练生成模型学会从前面的代码预测下一个代码，同时这个信号也反向传播给编码器，让编码器学会产生更容易被"续写"的代码序列。

第三条线索是APR损失：把生成模型在"教师强制"模式下预测出的代码序列解码成图片，和原图做像素级对比，提供端到端的图像质量反馈。这条线索专门用来防止分词器钻NTP损失的空子。

第四条线索是语义对齐损失：把编码器的隐藏特征和解码器的中间特征都对齐到DINOv2的语义表示，注入视觉基础模型的语义理解力。

这四条线索共同定义了整个EOSTok系统的优化目标，用一个统一的数学表达式写出来就是：总损失 = 重建损失 + NTP损失 × 权重 + APR损失 × 权重 + 语义对齐损失 × 权重。

梯度传播的问题也值得一提。分词器产生离散代码（每张图片对应的是代码本里某个具体的编号），而梯度只能在连续数值上传播，不能通过离散编号传递。研究团队采用了IBQ（基于索引反向传播的量化）技术，在计算代码编号时引入一个软化处理，让梯度能绕过离散化操作向前流动，从而实现生成模型的训练信号反哺分词器。

---

**六、模型设计的细节——一维ViT分词器长什么样**

EOSTok的分词器基于Vision Transformer（ViT，视觉变换器）架构，参考了此前TiTok模型的设计思路。

编码器的工作方式是这样的：把一张256×256的图片切成16×16的小格，得到256个图像块特征，加上256个"可学习的查询向量"，一起送入变换器模型。变换器处理完之后，只保留那256个查询向量对应的输出，而丢弃图像块对应的输出——这256个查询向量的输出就构成了图片的一维表示z。随后，这个表示通过IBQ量化器，映射到代码本里最接近的一个代码，变成一个离散代码序列zq。

注意力机制的设计也颇具巧思：编码器里，图像块之间的注意力是双向的（任意两个图像块可以互相参考），而查询向量之间的注意力是单向因果的（第n个查询只能看到第1到第n-1个查询）。这种"混合注意力"设计，让查询向量在处理图像信息时可以充分利用全图上下文，而查询向量自身又形成了一个适合自回归建模的单向序列。

解码器的设计则与编码器对称：把1D代码序列和若干"可学习的遮蔽token"一起送入变换器，输出对应遮蔽位置的内容，再经过反卷积层重建出完整图像。

量化器使用的是IBQ方法：给每个向量z计算它和代码本中所有4096个代码的余弦相似度，通过softmax转换成概率分布，取概率最高的那个代码作为输出，同时用直通梯度估计（STE）技巧保留梯度可传播性。为了稳定训练，代码向量和待量化向量都进行了L2归一化，投影到单位球面上。

生成模型基于LlamaGen（一种Llama风格的图像生成模型）构建，额外增加了共享的全局自适应层归一化（AdaLN）调制和逐块可学习偏置。由于图像token是一维序列，用可学习位置嵌入代替了原来的二维旋转位置编码（RoPE）。

---

**七、训练细节与实验设置**

研究团队在ImageNet-1K数据集上进行训练，该数据集包含约128万张图片，覆盖1000个类别，分辨率统一为256×256像素。训练使用Adam优化器，学习率1e-4，批量大小256，在8块H100 GPU上运行400个epoch（约200万次迭代），采用余弦学习率调度，最终衰减到1e-6。

模型共有四个尺寸规格，分别命名为EOSTok-S、EOSTok-B、EOSTok-L和EOSTok-H。分词器部分，S/B/L三个尺寸共用相同的165M参数分词器，而H尺寸使用更大的388M参数分词器。生成模型部分，S为93M参数，B为164M，L为312M，H为644M参数。

各个损失函数的权重在实验中经过仔细调优：重建L2损失权重1.0，感知LPIPS损失权重1.0，GAN对抗损失权重0.1，APR的L2和LPIPS各1.0，NTP损失对于S/B/L尺寸为0.1，H尺寸降低到0.01。GAN训练使用StyleGAN-T的判别器结构，并用LeCam散度稳定训练。语义对齐使用DINOv2-ViT-L作为视觉基础模型，该模型参数被冻结，不参与训练。

代码本大小默认设为4096，潜在空间维度为64，一维代码序列长度为256。

评估时，采用FID分数作为核心指标，分别报告重建FID（rFID，衡量分词器把图片压缩再还原的质量）和生成FID（gFID，衡量从代码序列生成新图片的质量），以及Inception Score（IS，另一种常用的图像质量指标）。

---

**八、消融实验：每个设计选择的具体贡献**

研究团队通过系统的消融实验，验证了每个关键设计选择的实际贡献，以便读者清晰理解每个组件到底有多重要。

关于端到端训练与APR损失，从上面已经详细讨论的对比数据可以看到：纯两阶段分离训练的基线gFID为3.82，加入端到端NTP监督而不加APR损失时gFID反而恶化到8.01，加入APR损失后改善到3.32，充分说明APR损失对于端到端训练不可或缺。

关于语义对齐方法的选择，在控制序列长度为256且不使用端到端训练的消融设置下，不使用任何VFM的基线gFID为12.27；仅加解码器对齐后改善到5.68；仅加直接对齐后为5.98（甚至略差于直接替换和隐式对齐）；直接替换策略gFID为4.89；隐式对齐策略gFID为3.32，效果最优，且在所有策略中AR预测准确率最高（11.9%）和次高（直接替换12.1%），说明这两种策略都能显著提升一维token序列对自回归建模的友好度。

关于序列长度的选择，短序列重建质量差但生成相对容易，长序列重建质量好但生成任务变难。具体数据是：32个token时rFID为17.50（重建效果很差），gFID为22.37；64个token时rFID降到1.94，gFID为3.18；逐步增加到192时gFID达到最低点3.04；增加到256时gFID略微上升到3.32，但rFID继续改善到1.02。最终选择256作为默认长度，兼顾重建和生成的整体效果。

关于代码本大小，存在重建与生成之间的权衡：代码本越大，重建越精细（1024个代码时rFID为1.18，16384个代码时为0.96），但生成任务越难（分类任务从1024类变成16384类，生成FID随之增大）。在EOSTok-L上，代码本4096时gFID最低（3.32），而EOSTok-H用更大模型容量几乎消除了不同代码本大小间的差异（4096时gFID为1.48，16384时为1.51）。

关于APR损失权重，测试了0.0、0.5、1.0、2.0、4.0五个数值，发现1.0在重建和生成上综合表现最佳，过大或过小都会带来损失。

关于嵌套随机丢弃（nested dropout）策略，该策略源自FlexTok和Semanticist的工作，做法是以一定概率随机截断代码序列，迫使模型用更少的代码来表达同一张图片，从而让重要信息集中在序列前端。实验发现，丢弃概率0.5在重建质量（rFID=1.02）、生成质量（gFID=3.32）和AR预测准确率（11.9%）之间取得最好的平衡，因此作为默认配置。

关于视觉基础模型的选择，研究团队还测试了SigLIP2（谷歌DeepMind的多语言视觉语言模型），发现它比DINOv2略好（rFID从1.02降到0.88，gFID从3.32降到3.02），证明EOSTok框架对不同视觉基础模型的鲁棒性，以及更强的语义模型能带来更好的效果。

---

**九、端到端训练真的让序列"更容易被续写"了吗？**

研究团队设计了一个非常聪明的实验来验证端到端训练的本质效果。他们先用端到端方式训练好一个EOSTok-L分词器，然后把它冻结，再分别训练三个独立的生成模型，这三个模型接收完全相同的分词器输出，唯一的区别是处理代码序列的顺序不同：第一个按照正常顺序（从第1个token到第256个token），第二个按照倒序（从第256个到第1个），第三个按照随机但固定的乱序。

如果分词器产生的一维序列只是随机排列的代码，对顺序没有偏好，那么三种顺序的表现应该差不多。但实验结果显示，正序训练的生成模型gFID为4.10，倒序的gFID高达10.27，随机顺序的gFID为7.81——正序远比另外两种好，说明端到端训练确实让分词器学会了以一种"从前往后依次可预测"的方式编排代码序列。换言之，端到端训练让序列本身具备了内在的自回归友好结构，这是两阶段分离训练做不到的。

---

**十、最终成绩单——与业界最强方法的对比**

在ImageNet 1K 256×256的标准测试上，EOSTok在不使用任何引导（guidance）策略的情况下，以各个尺寸取得了以下成绩：EOSTok-S（93M参数生成模型）gFID为3.50，EOSTok-B（164M参数）gFID为2.38，EOSTok-L（312M参数）gFID为1.74，EOSTok-H（644M参数）gFID为1.48。

对比同类方案，EOSTok-L的1.74超越了当时使用分类引导的TiTok-L-32（2.77）和VFMTok（2.75），也优于使用分类引导的RAR-L（1.70，但这个是在使用引导的情况下）。EOSTok-H的1.48成为无引导条件下的最优结果，甚至在使用引导的情况下也能达到1.38，与Lightning-DiT-XL的1.35相当。

分词器的重建能力同样出色，EOSTok-L分词器以165M参数达到rFID 0.73，在重建FID上优于使用更多参数的IBQ（n=262144时rFID为1.00）和GigaTok-B（rFID为0.81），并与Semanticist的连续潜在空间分词器（rFID为0.78）持平或更优，同时还能支持离散自回归生成。

更多重建指标方面，EOSTok-L的PSNR为22.15，SSIM为0.67，LPIPS为0.231，与其他主流分词器相比均处于竞争性水平。

在更高分辨率的扩展能力测试（ImageNet 512×512）中，同样使用256个token和16的patch size，EOSTok-L以1.98的gFID超过了此前所有扩散模型（DiT-XL/2的12.03，MaskDiT的10.79）和一维分词器方案（TiTok系列的3.99-4.17），充分验证了该方案的分辨率扩展能力。

---

**十一、计算开销与推理效率——用得起吗**

研究团队也对计算成本进行了详细分析，这对实际应用非常重要。

训练开销方面，与两阶段分离训练相比，EOSTok的端到端框架引入了额外的前向计算（需要同时跑分词器、生成模型和视觉基础模型），对于EOSTok-L和EOSTok-H，额外开销分别为15.2%和18.6%。虽然不可忽略，但相比带来的显著性能提升，这个代价是值得的。

推理（生成图片）速度是EOSTok的一大优势。由于自回归模型在推理时可以使用KV缓存加速，与扩散模型相比速度差距悬殊。具体数字是：EOSTok-H生成一张图片的总GFLOPs为552.4，而DiT-XL/2（扩散模型）在250步采样下需要59900 GFLOPs，是EOSTok-H的约108倍。在单块H100 GPU上批量生成时，EOSTok-H可以达到约10.5张/秒的速度，是同等质量扩散模型的20到100倍，具体取决于扩散模型使用的采样步数。

推理时使用温度1.0、不使用top-k或top-p过滤。对于S和B尺寸，使用传统分类器自由引导（CFG）提升质量；对于L和H尺寸，由于无条件生成质量已足够高，改用AutoGuidance策略（用一个轻量级AR模型替代无条件采样），效果更好。

---

**归根结底，这项研究做了什么、意味着什么**

字节跳动Seed联合加州理工和斯坦福的研究团队，通过一套完整的技术组合拳，解决了AI图像生成领域长期存在的一个基础性问题：分词器和生成模型的目标错位。他们证明了把两个原本分离的训练阶段合并成一个是可行的，但必须配合APR损失来防止分词器"钻空子"；他们还发现了一种更聪明的方式来借用视觉基础模型的语义理解力，避免强行注入二维空间结构破坏一维序列的自回归友好性；而通过四个相互配合的训练信号共同优化整个系统，最终实现了在标准测试集上的最优表现。

这对普通用户意味着，未来手机里的AI画图应用有望变得更快、更好，因为推理速度的大幅提升意味着同样的算力可以在更短时间内生成更高质量的图片。而更深远的意义在于，这种端到端的训练思路和隐式语义对齐策略，不局限于图像生成，有可能被应用到视频生成、3D内容生成等更广泛的多媒体生成任务中。

当然，研究也承认了一些尚未完全解决的问题，比如序列长度和代码本大小之间的权衡需要根据具体任务调整，嵌套随机丢弃的最优概率也依赖于模型尺寸。随着模型继续扩展，这些权衡关系是否会随之改变，还需要进一步探索。

有兴趣深入了解技术细节的读者，可以在arXiv平台通过编号2605.00503查阅原论文，其中附录部分还包含更多实验设置细节、图像质量评估指标对比，以及ImageNet 512分辨率的扩展实验结果。

---

Q&A

Q1：EOSTok生成的图片质量比扩散模型差吗？

A：不一定。从论文报告的FID数据来看，EOSTok-H在无引导条件下达到1.48，优于大多数同等规模的扩散模型，比如DiT-XL/2无引导下的9.62和REPA-XL/2的5.90。当然与经过充分调优的最强扩散模型（如Lightning-DiT-XL的1.35，这个是使用引导的结果）相比仍有差距，但EOSTok的推理速度比扩散模型快20到100倍，在速度和质量的综合表现上有明显优势。

Q2：APR损失具体是怎么防止分词器"偷懒"的？

A：APR损失的核心是把生成模型预测的代码序列直接解码成图片，再和原始图片做像素级对比。当分词器试图把所有图片压缩成少数几种代码时，解码出来的图片会和原图差异巨大，APR损失就会飙升，强制分词器放弃这条捷径。这相当于给了系统一个"最终成品质量检验"的反馈环节，让任何走捷径的行为都无处遁形。

Q3：EOSTok的端到端训练框架能用到视频生成上吗？

A：论文中没有直接讨论视频生成的应用，但从原理上看是有可能的。视频本质上是时间序列上的图像，如果能把视频同样压缩成一维token序列，配合端到端的训练框架和视觉基础模型的语义对齐，理论上可以复用EOSTok的核心思路。不过视频的时序依赖性、序列长度的大幅增加、以及对应的计算开销，都是需要专门研究的新挑战。