中国科学院大学、浙江大学、北京大学与蚂蚁集团联手，造出一把能同时"看懂"和"画出"图片的钥匙

这项由中国科学院大学、浙江大学、北京大学与蚂蚁集团联合完成的研究，于2026年7月24日以预印本形式发布，论文编号为arXiv:2607.22148，感兴趣的读者可通过该编号在arXiv平台上找到完整论文。

你有没有想过，为什么手机里的图片搜索功能和图片生成功能总是"两套班子"分开工作？搜索图片靠的是一套"看图识字"的引擎，生成图片靠的又是另一套"按字作画"的引擎。就像同一家餐厅里，点菜的服务员和后厨厨师完全不认识对方，信息全靠纸条传递。这项研究想做的事情，就是训练出一个能"两头通吃"的全能员工——既能理解图片的语义，又能用这套理解直接生成高质量的图片。

而要实现这个目标，有一道绕不过去的难关：如何把图片信息变成计算机语言模型能处理的"离散词汇"。这就像要把一幅水墨画翻译成一本字典里的词条，每张图片都要被分解成有限的"图片词"，然后再用这些词来重新拼出原来的画。研究团队发现，现有的"翻译方式"存在一个根本性的缺陷，导致词典要么越做越小，要么越做越乱——这个缺陷，他们称之为"度量错配"。整篇研究的故事，就从找到这个缺陷、修正它、验证效果展开。

一、两套引擎为什么总是各干各的

要理解这个问题，先得明白图片在计算机眼里是什么形状的。当一个擅长"看图理解"的视觉模型处理一张猫的照片时，它会把这张图片变成一个极其复杂的数字向量——可以把这个向量想象成一根有768到1536个刻度的温度计，每个刻度记录了这张图片某一个维度上的特征信息。这根"高维温度计"里藏着大量的语义信息：猫的品种、毛色、神情、背景，全都浓缩在里面。这种高维特征表示，是理解类任务的理想选择。

然而，擅长"按字作画"的生成模型，比如现在流行的扩散模型，通常喜欢在一个低维的紧凑空间里工作——那根温度计可能只有8到64个刻度。低维空间更容易控制，压缩程度更高，生成的画面在像素层面更精细。但代价是，大量的语义信息在压缩过程中丢失了，就像把一部两小时的电影压缩成五分钟的预告片，很多细节必然被牺牲。

正因为一个追求"高维语义"，一个追求"低维像素"，两套引擎的工作语言天然不兼容，大多数多模态模型不得不同时维护两套系统，让它们分工合作。这种方式不仅繁琐，还存在信息对齐的损耗。

近年来，一种叫做"表示自编码器"（Representation Autoencoder，简称RAE）的框架开始尝试弥合这条鸿沟。它的思路是：干脆直接用那根"高维温度计"的读数来重建图片，不再做低维压缩。实验证明这条路是可行的，高维特征不仅能保留语义，还能还原出相当不错的图片细节。问题在于，要让语言模型处理这些特征，必须先把连续的"温度计读数"离散化——也就是说，把那些连续变化的小数，归并到有限个"词条"里。这个过程，就是所谓的向量量化（Vector Quantization，VQ）。

二、现有的"词典编制方法"为什么总是崩溃

向量量化的原理，可以用一个日常场景来理解。假设有一个调色盘，里面有16384种颜色，每次要描述一种新颜色时，都只能从调色盘里选一个最接近的颜色来代替。这个"调色盘"就是量化中的"码本"（codebook），每个颜色格子就是一个"码"（code），从连续颜色到调色盘颜色的映射过程就是量化。

标准的向量量化方法会用欧几里得距离（也就是我们中学数学里直线距离的推广）来判断"哪个码最接近当前的特征向量"。这在低维空间里工作得很好，但一旦特征维度升高到768或1536，就会出一个严重的问题。

这个问题的根源，在于高维特征空间的几何性质。来自CLIP、SigLIP、DINOv2等顶级视觉模型的特征向量，它们的"语义"主要藏在向量的方向里，而不是向量的长度里。可以把每个特征向量想象成从原点出发的一支箭头：箭头指向哪里，代表了这张图片的语义内容；箭头有多长，则是另一回事。两张意思相近的图片，它们对应的箭头方向应该相近；两张意思差异大的图片，箭头方向就会差得远。

然而，欧几里得距离同时受到箭头方向和箭头长度的影响。如果某些特征向量的长度特别大，即使方向完全不同，欧几里得距离算出来也可能比另外两个方向相近但长度适中的向量更小。这就好比在问"哪个城市更近"时，不是看地图上的直线距离，而是把海拔高度也算进去——结果就会荒谬地认为山顶上的一个小村庄比平原上的大城市"更近"。

这种长度带来的偏差，会导致码本里的少数几个"大长度"的码条目抢占大量的匹配机会，就像调色盘里有几种颜色特别显眼，结果大家画画时不管画什么都只用这几种颜色，其余颜色几乎从不被用到。随着训练推进，那些从不被使用的码越来越"闲置"，码本的有效容量急剧萎缩，这就是所谓的"码本崩溃"（codebook collapse）现象。

研究团队通过实验数据清晰地展示了这一崩溃过程。当词典大小设为65536时，用标准向量量化方法训练，每批数据只有约6000个码被激活使用，剩余的9万多个码基本是摆设。当词典规模进一步扩大时，性能不升反降，几乎停滞在16384个词的水平上。这意味着花费大量计算资源建立的大词典，实际上并没有发挥应有的价值。

三、一把关键的新钥匙：超球面量化

为了解决这个问题，研究团队提出了超球面量化（Hyper-Spherical Quantization，HSQ）。这个名字听起来有些科幻，但核心思路其实非常直观——既然语义藏在方向里，那就用方向来做匹配，而不是用距离。

具体来说，HSQ把寻找"最近码"的方式，从欧几里得距离改成了余弦相似度。余弦相似度衡量的是两个箭头之间的夹角：夹角越小，相似度越高；夹角越大，相似度越低。这完全不受箭头长度的影响，只看箭头指向哪里。回到调色盘的比喻里，这相当于不再问"哪个颜色的绝对数值最接近"，而是问"哪个颜色在色调（色相）上最相近"，忽略了亮度和饱和度的干扰。

但这里有一个微妙的地方。如果把所有东西都切换到角度空间，包括训练时更新码本的损失函数，那么特征向量的长度就完全处于"无人监管"的状态——模型不知道该把长度训练到多少，结果会导致训练不稳定、收敛极慢。研究团队做了专门的消融实验来验证这一点：当把码本更新损失和承诺损失（commitment loss）都换成余弦版本时，重建效果急剧恶化，rFID（一种衡量重建质量的指标，数值越低越好）从3.02骤升至12.7，结构相似性指标SSIM也从0.65降至0.33。

因此，HSQ采用了一种"解耦"策略：用角度来决定"分配给哪个码"，但用欧几里得距离来监督"特征向量的长度"。具体而言，码本的更新用角度损失（码向量方向要和特征方向对齐），而承诺损失（迫使特征向量向分配到的码靠近）则保留欧几里得形式。这样，方向负责语义匹配，长度负责重建精度，两件事各管各的，互不干扰。

这种设计的效果立竿见影。在同样的65536词典规模下，HSQ每批数据激活的码超过12000个，全局码使用率超过90%，而且不需要任何人为的"防崩溃技巧"。码本的角度分布也从原来的扎堆聚集变得均匀分散，覆盖了球面上更广阔的区域，就像调色盘终于被充分利用，每种颜色都有自己的用武之地。

四、为什么"长度"也不能丢掉

这里还有一个值得单独解释的问题：如果语义信息主要藏在方向里，为什么不干脆把所有特征向量都归一化到单位长度，彻底消除长度的干扰呢？

研究团队做了一组对比实验来回答这个问题。他们分别用原始特征向量和归一化后的单位向量，训练了两个多模态语言模型，用来做图片理解任务。结果显示，归一化前后，在视觉感知（MMBench）、文字识别（TextVQA）和幻觉检测（POPE）三个测试上的差距不超过1%。这验证了一件事：对于"理解图片语义"的任务，长度信息几乎是多余的，方向信息已经足够。

然而，当同样的对比实验换成"用特征来重建图片像素"时，结论就完全不同了。用原始特征重建的图片，PSNR（峰值信噪比，越高越好）达到22.5，SSIM（结构相似性，越接近1越好）为0.62，rFID为4.62；而用归一化特征重建的图片，三项指标分别恶化至20.6、0.51和9.57，下降幅度非常显著。这说明：特征向量的长度里，藏着解码器用来恢复图片纹理、色调、对比度等细节信息所需的关键信号。

这两组实验放在一起，给出了一个非常清晰的结论：方向管语义，长度管细节，两者对于一个既能理解又能生成的通用视觉词典来说，缺一不可。HSQ的设计，正是在这个认识的基础上建立起来的。

五、和其他量化方法的区别在哪里

为了让读者更清楚HSQ的定位，研究团队将它与另外两种常见的量化思路做了对比。

第一种是有限标量量化（FSQ）。FSQ的思路是彻底放弃可学习的码本，改用一个数学函数（比如双曲正切函数）把特征压缩到一个有限的离散网格里。这个方法完全没有"码本竞争"的问题，自然也不会崩溃。但它有一个致命的扩展性问题：词典大小是维度数量的指数函数。如果每个维度有5个格子、特征维度是10，词典大小就是5的10次方，约一千万。把FSQ搬到1152维的高维特征上，所需的词典大小会天文数字级别地膨胀，完全不可行。HSQ直接在原始高维空间里工作，不受这个限制。

第二种是球面向量量化（SVQ）。SVQ会把所有特征向量都投影到单位球面上，然后在单位球面上进行量化。这种方法的问题在于，它会把归一化后的向量直接传给解码器，而前面已经说过，归一化会损失重建质量所需的长度信息。HSQ的不同之处在于：它只在"决定分配给哪个码"这一步使用球面几何（角度路由），在实际传给解码器的特征以及承诺损失计算中，仍然使用原始的未归一化向量。一句话说：HSQ借用了球面的方向感，但没有强迫特征向量住在球面上。

六、实验结果说明了什么

经过这套设计，整个系统被称为离散表示自编码器（discrete Representation Autoencoder，dRAE），其在多个维度上的表现都超过了此前的方法。

在图片重建质量上，使用16384个词条时，dRAE的rFID从VQRAE的1.31降至0.69，PSNR从22.33提升至24.03，SSIM从0.67提升至0.70。当词典扩大到131072个词条时，dRAE的rFID进一步降至0.42，PSNR达到24.52，SSIM达到0.72，成为所有比较的离散化方法中表现最好的。更重要的是，随着词典不断扩大，重建质量持续提升，这在之前的方法里几乎没有出现过——过去的方法在词典超过16384之后，性能基本不再提升甚至下降。

在图片理解任务上，研究团队将dRAE的编码器接入一个7B规模的语言模型（使用Qwen2.5-7B作为语言骨干），在GQA视觉推理、TextVQA文字识别、MMBench综合评测、MME感知测试和SEEDBench图像理解五项测试上进行评估。结果显示，使用512分辨率时，dRAE在TextVQA上得到67.7分，MMBench上得到81.5分，SEED上得到72.7分，在同类统一视觉词典方法中处于领先水平。尤其在MMBench上，相比VQRAE的67.6分，dRAE提升了近14个百分点，接近专门为图片理解优化的非统一模型的水平。

在文字生成图片任务上，dRAE被接入一个基于离散扩散的生成模型，使用Flan-T5-XXL作为文本编码器，整个可训练参数量约700M，训练数据只有约1200万图文对。在GenEval综合评分上达到0.63，在DPG-Bench上达到80.58，超过了多个使用超过1亿甚至更多数据训练的同类方法，例如Janus（训练数据超1亿，GenEval得分0.61）和Meissonic（训练数据超2亿，GenEval得分0.54）。这说明高质量的语义词典本身就能显著提升生成效率，减少对海量数据的依赖。

在ImageNet类别到图片生成的对比测试中，使用相同设置分别训练基于VQ和基于HSQ的生成模型，词典大小32768时，VQ的生成FID为5.37，HSQ降至4.83；词典大小65536时，VQ的FID小幅降至5.51（甚至略有上升），而HSQ进一步降至4.45，始终保持明显优势。进一步引入表示对齐增强（iREPA）后，HSQ的FID从6.65降至6.11，而VQ在引入相同增强后FID反而从6.89上升至7.16，说明VQ的训练本身存在不稳定性，而HSQ的稳定训练特性让它能更好地利用额外的训练信号。

七、超越图片重建：在更广泛场景中的测试

研究团队还探索了两个延伸方向，验证HSQ在不同训练框架下的通用性。

第一个延伸是特征重建。不再重建像素，而是让解码器从量化特征出发重建原始特征向量本身。在这个任务上，HSQ的PSNR从VQ的4.91提升至8.24，余弦相似度从0.81提升至0.92。不过研究团队也指出，重建高维特征比重建像素更难，因为高维特征内部可能存在噪声，而且缺乏感知损失函数的辅助。

第二个延伸是联合图像-语义建模。研究团队把量化器插在视觉编码器和语言模型之间，同时挂接一个像素解码器，让一个码本同时服务于图片理解和图片重建两个目标。在这个设置下，他们比较了VQ、IBQ（一种使用随机采样技术的量化方法）及其归一化变体、以及HSQ四种方法。词典大小统一设为131072。

结果显示，VQ在图片重建和语言理解两项任务上都是表现最差的，码本使用率始终低迷；IBQ系列通过引入随机采样获得了更高的码本利用率，但训练曲线不够稳定；HSQ在不依赖任何随机采样技巧的情况下，实现了最高的码本使用率，同时在图片重建损失和语言理解的交叉熵损失两个指标上都收敛最快。这些结果说明，HSQ的优势并不局限于图片重建这一个任务，在更广泛的训练框架下同样成立。

八、训练稳定性与工程简化

除了性能指标，研究团队还特别强调了一个在实际应用中非常重要但往往被忽视的优点：训练稳定性。

在对比实验中，VQ的梯度范数（可以理解为训练过程中参数更新幅度的指标）会在训练中途突然出现一个巨大的峰值，随后码本基本停止更新，进入崩溃模式，感知损失曲线在此之后就几乎不再下降。VQ方法在训练后期还会出现重建损失持续震荡、知识蒸馏损失不可逆上升的情况，说明模型在慢慢偏离原始编码器的语义空间。

相比之下，HSQ的梯度范数全程保持平稳，感知损失持续稳定地下降，蒸馏损失也保持在低位。更重要的是，dRAE的整个训练流程是端到端一阶段完成的，不需要预热阶段、课程学习或特殊的防崩溃初始化技巧，大幅降低了工程复杂度。整个系统在8块80G显存的NVIDIA GPU上训练约3天。

说到底，这篇论文做了一件看起来微小但影响深远的事情：把图片量化时的"距离尺子"从直线距离换成了角度距离。就这一个改变，让整个词典从只能活跃使用不到10%的容量，跃升到稳定使用超过90%的容量，让词典规模从16K扩展到131K时仍然持续带来质量提升，让一个系统真正做到了既能"读图"又能"画图"。这意味着未来的手机助手、智能创作工具或视觉问答系统，或许可以用一套统一的图片词典同时驱动理解和生成，不再需要两套独立的系统互相传递信息。

归根结底，研究团队发现的这个"度量错配"问题，是高维空间中一个被此前方法长期忽视的几何陷阱。他们的解决方案并不复杂，代码上只改动了寥寥几行，但背后有清晰的理论诊断和严格的实验验证。这也提示我们：在深度学习里，有时候最有价值的进步，不是设计更庞大的模型，而是更准确地理解手头问题的本质。

有兴趣深入了解这项研究的读者，可以通过论文编号arXiv:2607.22148在arXiv平台上查阅完整原文，包括完整的训练算法伪代码和更多消融实验细节。

Q&A

Q1：超球面量化（HSQ）为什么能防止码本崩溃？

A：码本崩溃的根本原因是，标准向量量化用直线距离来匹配码，而高维特征向量的长度差异会让少数"大长度"码垄断大多数匹配，其余码从不被使用。HSQ改用余弦相似度（角度）来做码的分配，完全不受向量长度影响，只看方向是否相近。这样每个码覆盖一个语义方向而非一个数值范围，码本使用率从不足10%提升到超过90%。

Q2：dRAE的图片重建为什么比RAE更好，词典大小又是怎么影响质量的？

A：原始RAE直接用连续特征解码，无法配合语言模型使用离散词汇。dRAE通过HSQ将特征离散化后，词典越大，能区分的语义方向就越细，解码器获得的信息就越精准。实验显示词典从16384扩到131072时，rFID从0.69降至0.42，这在以往VQ方法里不会出现，因为VQ词典一旦超过16K就会崩溃，继续扩大没有意义。

Q3：dRAE在文字生成图片任务上只用1200万训练数据，为什么能超过用超亿数据训练的模型？

A：关键在于词典质量。dRAE的词典建立在SigLIP2等顶级视觉模型的高维语义特征上，每个码条目本身就携带丰富的语义信息，生成模型只需要学会"排列这些有意义的词"，而不是从像素级别重新学习语义。这相当于用一本内容已经很丰富的词典来写作，比用一本只有拼音的词典写作省力得多，数据效率因此大幅提升。