商汤这次让AI"用眼睛看着画"，而不是"闭眼靠拼图"

你有没有想过，一个AI画画的时候，其实是在"盲人摸象"？

大部分现在的图像生成模型是这么干活的：把每个小方块的像素单独算出来，然后拼在一起。听起来没什么问题，对吧？就像拼乐高一样，一块一块拼总能拼出个大概样子。但问题来了，如果拼乐高的时候，每一块都不知道旁边那块长什么样呢？边缘对不上，颜色接不上茬,细节处就会露馅。这就是商汤最新发布的SenseNova-U1.5要解决的核心问题之一。

这篇论文的主角是一个叫SenseNova-U1.5的模型，8B参数规模,采用了一种叫MoT（Mixture-of-Transformers，混合Transformer架构，就是把理解任务和生成任务用不同的参数分开处理，但共享一套注意力机制）的设计。它最大的特点是"encoder-free"和"VAE-free"，翻译过来就是：它不需要额外的视觉编码器来看图,也不需要VAE（变分自编码器，一种把图像压缩成潜在特征再还原的技术，主流生成模型比如Stable Diffusion都靠它）来生成图。它直接从像素和文字原始信息里学习，理解和生成用的是同一套语言。

这事儿听起来简单,但背后藏着一个行业级的老大难问题。

理解和生成,为什么要"分居两地"

先说说现状。市面上绝大多数多模态模型，理解图片和生成图片走的是两条完全不同的路。理解图片的时候，模型靠的是像CLIP、SigLIP这样的视觉编码器,它们的任务是把图像压缩成语义特征,方便模型"读懂"这张图讲了什么。而生成图片的时候，模型靠的是VAE，把图像压缩成一种适合"画"出来的潜在空间。

这两套系统各自为战，一个专攻"看懂"，一个专攻"画出来"。听起来分工明确没毛病，但代价是什么？代价是这两套系统之间需要不断地做"翻译"，理解到的语义信息想要指导生成，必须先转换成生成系统能懂的格式，反过来也一样。这种反复转换，就像两个说不同语言的人合作画画，中间必须靠翻译官传话，信息传着传着就走样了。

商汤在此之前发布过一代模型SenseNova-U1，走的是一条不一样的路,叫做NEO-unify架构

NEO-unify架构：一种不依赖外部视觉编码器和VAE，直接用像素和文字训练的统一多模态架构，理解和生成共用一套视觉表示

这套架构把理解、推理、生成三件事塞进了同一个端到端模型里,不用来回翻译。但U1代也有个明显的短板：它把每个32×32的图像小方块单独还原成像素，用一个独立的MLP（多层感知机，一种简单的全连接神经网络结构）头去解码。

问题就出在这个"独立"上。每个方块各画各的,互相之间不商量。分辨率一高，接缝、纹理断裂、几何变形这些毛病就全冒出来了。这就好比让一群互不通气的裁缝各自缝一件衣服的一部分，最后拼起来，袖子和身子的布料花纹对不上,针脚也不齐整。U1.5要做的第一件大事，就是让这些"裁缝"开始互相说话。

让像素之间"打个招呼"：空间联合重建

U1.5的解决方案是把原来那种"各画各的"改成了"大家商量着画"。

具体来说,模型不再是把每个视觉token（token是模型处理信息的最小单位，这里指的是压缩后代表一小块图像区域的向量）直接映射成一块孤立的像素，而是先把这些token投影到一个二维的特征平面上，让它们像坐标一样排好队，然后通过空间卷积和Pixel Shuffle（一种上采样技术，通过重新排列特征图的通道来提升分辨率，不需要额外插值计算）逐步把图像"生长"出来。

在这个过程中，模型用了3×3的卷积操作,在相邻的token区域之间做信息交换。这意味着,画一个像素点的时候,它能"瞄一眼"周围正在画的邻居们在干什么，颜色、纹理、几何结构就可以放在一起综合考虑，而不是各自为政。

这就像一群邻居一起装修相邻的房子。如果每家人完全不商量,各按各的审美装修,最后整条街可能是红房子挨着蓝房子,风格违和得让人尴尬。但如果邻居们时不时探头看看隔壁在干嘛,互相通个气,至少墙面颜色、门窗风格能协调一点，整条街看起来才像是一个整体。如果不做这种邻里沟通，后果是什么？论文里提到的答案很直接：分辨率越高,接缝、网格状伪影、纹理断裂就越明显。

这套解码器还有个细节值得说一下,它引入了分辨率感知的噪声调节机制

分辨率感知噪声嵌入：让模型在生成时提前知道目标图片有多大，因为不同分辨率下噪声的"有效强度"是不一样的,需要针对性调整

U1代的这个调节范围只覆盖到2048×2048，U1.5直接把参考分辨率拉到4096×4096，也就是真正意义上的4K原生生成。这不是简单地把数字改大，而是让模型在训练阶段就见过更极端的分辨率场景，才能在推理时游刃有余。

训练目标：三种监督信号拧成一股绳

U1.5用了一个复合的训练目标,同时优化三件事。

第一是自回归语言建模损失，这部分负责让模型学会"看懂"和"说话"，也就是理解能力。第二是像素空间的flow matching损失

Flow Matching：一种生成模型的训练方式,通过学习从噪声到真实图像的"流动轨迹"来生成图片,不像扩散模型那样需要成百上千步去噪，效率更高

这部分负责生成能力,U1.5采用的是x-prediction方式,直接在RGB像素空间里预测干净图像,而不是像很多模型那样先压缩到潜在空间再预测。第三是感知损失，用的是LPIPS

LPIPS：一种衡量两张图片"感知相似度"的指标,不是简单比较像素数值差异,而是模拟人眼对图像结构和纹理的感知方式

这三种损失按照0.1比1比0.1的权重组合在一起，从Stage 1的后期阶段开始一直贯穿到后续所有训练阶段。为什么要加感知损失？因为单纯的像素级别监督容易让生成结果在细节上显得生硬，加入感知层面的约束,能让画面局部纹理更自然,结构更连贯。

这套训练流程本身也不是一步到位的，而是分成了好几个阶段循序渐进。先是纯生成预训练，从256×256一路练到4096×4096分辨率,总共跑了465K步。接着是统一中期训练，把理解数据、图文生成数据、图像编辑数据、交错生成数据混在一起训练80K步。最后是统一监督微调，用高质量指令数据再精修10.5K步。这个过程有点像小孩学画画,先练基本功掌握画笔的力度和线条，再学构图和场景搭配，最后才是精细的润色和风格调整。如果一上来就让模型同时学所有东西，训练过程会因为目标冲突而变得极其不稳定，这也是为什么要分阶段循序渐进。

先各自修炼，再统一收编：多专家强化学习与蒸馏

讲完了架构和基础训练，U1.5还有一个特别值得展开讲的设计,就是它的后训练策略发生了根本性转变。

U1代走的是"联合奖励优化"的路子,想要一次性把所有能力都调好。但U1.5的团队意识到一个问题：视觉创作里的不同能力,比如美学表现、双语文字渲染、信息图设计、图像编辑，它们各自需要的奖励信号、采样策略、优化方式都天差地别。硬把它们塞进同一个策略里联合优化,很容易出现能力互相拖后腿的情况，一个目标进步了,另一个目标可能就退步了。

于是U1.5改用了"先专精，再统一"的策略。具体做法是先训练出四个独立的强化学习专家，分别对应美学、OCR文字渲染、信息图生成、图像编辑这四个方向，每个专家用最适合自己任务的数据、奖励函数、采样方式单独打磨到位，然后再通过一种叫做多专家在线策略蒸馏的方法把这些专家的能力揉进同一个模型里。

这套逻辑很像大学里培养复合型人才的思路。与其让一个学生同时选修所有专业课还想门门优秀，不如先让几个学生分别在各自的强项领域深造成专家，比如一个专攻文案写作，一个专攻数据分析,一个专攻用户体验设计，等他们各自都足够厉害了,再组成一个团队，把各自的绝活拿出来相互配合。如果一开始就让一个人包揽所有，大概率哪个都学得不够深，团队产出的东西也会显得四不像。如果不这样分开训练，直接联合优化会怎样？答案是竞争性目标会互相稀释，某个任务的针对性提升就会被削弱。

这四个专家具体是怎么练出来的，细节挺讲究。美学专家用了HPSv3++

HPSv3++：一种用于评估图片美学质量和图文匹配度的奖励模型，具备"能力感知"和"迭代感知"的训练机制，能适应生成模型能力不断变化的情况

结合双语OCR奖励,交替处理美学偏好数据和文字排版数据，避免不同尺度的奖励信号混在一起互相干扰。采样上用了CPS

CPS（Coefficients-Preserving Sampling）：一种为flow matching模型设计的采样策略，通过保留系数结构来引入随机探索，同时减少有限步数采样带来的伪影

OCR专家则专注于文字渲染准确度，用PaddleOCR识别生成图片里的文字,再和目标文字做多重集合的交并比计算，这个指标能容忍部分正确的生成结果，同时对遗漏、重复、渲染错误保持敏感。编辑专家的训练最复杂，用了五个维度的VLM（视觉语言模型）打分，涵盖指令完成度、编辑执行质量、整体视觉质量、文字编辑质量、未编辑区域保留情况，最终取这五项里的最低分作为总分。为什么要取最低分而不是平均分？因为编辑任务最怕的就是一个环节做得特别好掩盖了另一个环节的彻底失败，比如画面质量很高但把不该改的地方也改了，这种情况平均分会掩盖问题，最低分机制能确保每个短板都被看见。

信息图专家则更特别，它没有单独设计新的奖励模型,而是复用了OCR和美学两个奖励,通过阶段化和任务化的路由方式来分配。第一阶段只用OCR奖励做热身,专攻小字渲染，最后阶段再交替使用OCR和美学奖励，这个过程还引入了DPO（Direct Preference Optimization,直接偏好优化，一种不需要显式奖励模型、直接从偏好数据对里学习的训练方法）来提升整体视觉质量。

四个专家练好之后,怎么把他们的本事教给同一个学生模型？这里用的方法叫在线策略速度场蒸馏。简单说就是，学生模型自己先生成一段去噪轨迹，然后让学生和对应的专家在同一个状态、同一个时间步、同一个条件下做预测,拿专家的预测结果去校正学生的预测。这个过程还有个巧妙的设计，随着训练轮次推进，采样的时间点会从早期高噪声阶段逐渐转移到后期低噪声阶段，一开始重点学整体结构，后期重点学细节和文字精度。这跟练字很像，刚开始先练间架结构，笔画顺序对不对，字型端不端正，练熟了之后再抠笔锋、粗细这些细节。如果一上来就死磕笔锋细节而不管整体结构，写出来的字大概率是局部精致但整体歪扭。

数据规模：不只是堆量，更是精细化筛选

聊完架构和训练策略,数据这块也值得说道说道，毕竟再好的模型架构，没有对应质量的数据喂养也是空中楼阁。

U1.5相比U1，在图像生成数据上新增了大约5900万条文本图像对，来自78个不同来源，覆盖场景更全面，包括人像、物体材质、文字密集图像、信息图等各个细分领域。更关键的是分辨率结构，有效训练数据里88.2%超过1024?分辨率，64.4%超过2048?分辨率，这意味着模型见到的高分辨率样本占了绝对多数，这才支撑得起前面提到的原生4K生成能力。

图像编辑数据规模大约3800万条,覆盖通用编辑、信息图编辑、参考驱动编辑、空间控制编辑四大类型，其中参考驱动编辑最多支持十张参考图像，方便处理身份保持、属性迁移、视角变换这类复杂场景。交错数据则主要来自生活化场景的连续叙事,占比44%,包括教程、日常场景、图文绘本，这类数据能训练模型在图文交替出现时保持长程语义连贯性。

实测表现：数据说话

理论讲了不少,最终还得看跑分。U1.5在多个基准测试上的表现挺能说明问题。

在通用图像生成评测Qwen-Image-Bench上，加入提示词增强后，U1.5的英文子集综合得分达到60.22，中文子集60.13，都是开源模型里的最高分,甚至超过了参数量达20B的Qwen-Image-2512。要知道U1.5自己只有8B参数，用不到三分之一的参数规模跑赢了参数量三倍于自己的对手。

在组合生成能力测试GenEval上，U1.5拿到0.92的总分，同样是开源模型最高，这个分数甚至逼近了一些闭源模型。更难的GenEval2测试里，加提示词增强之后U1.5拿到0.71分，同样是开源里最强的。

文字渲染这块,U1.5在CVTG-2K（多区域文字渲染测试）上拿到0.948的平均分，超过了闭源的GPT-Image-1（0.857）。这说明U1.5在处理密集文字场景,比如海报、信息图里那种多个文字区域同时存在的情况时，准确率能保持在很高水平，即便是四个、五个文字区域同时存在的高难度设置下，单词准确率依然稳定在0.95以上。

图像编辑方面,ImgEdit测试里U1.5拿到4.59的总分,是所有开源模型里最高的，甚至超过了不少参数量远大于自己的对手,比如20B的Qwen-Image-Edit-2511只拿到4.51分。

推理增强的效果也很明显。在需要跨领域知识的WISE测试里，不加思维链的U1.5拿到0.70分，加上思维链推理后直接跳到0.81分，这个提升幅度相当可观，尤其在文化知识、生物、化学这些需要真实世界知识支撑的领域，推理带来的加成尤其明显。

理解能力方面也没有丢分。U1.5在保留生成和编辑能力大幅提升的同时,MMMU、MathVista这些理解类基准测试成绩和上一代U1相当甚至更好，指令跟随能力（IFEval测试）从U1的91.13提升到93.35，说明视觉生成能力的增强并没有稀释掉模型原有的语言理解基础。

写在后面

读完这篇论文,让我印象最深的其实不是某个具体的分数提升，而是那个"先专精再统一"的策略转变。这背后其实藏着一个很朴素的道理：不是所有能力都适合放在一个锅里炖，有些能力需要单独开小灶才能真正炖出味道。这跟很多团队管理的直觉是反的，很多人下意识觉得"统一训练"效率更高、更省事，但这篇论文用实际的性能数据告诉你，有时候分头修炼再融合，反而是更高效的路径。

另一个让我觉得有意思的细节是编辑奖励里"取最低分"的设计。这个设计思路其实可以推广到很多质量评估场景里，一件事情有多个维度都要达标，用平均分掩盖短板，往往会让系统在某个隐蔽的角落一直存在缺陷却不被发现。取最低分逼着系统必须每个维度都过关,这种"木桶原理"式的评估思路，值得在别的场景里也想想能不能用上。

论文里还有一个没细说但值得琢磨的地方,就是U1.5在结构化视觉指令上展现出的泛化能力,明明训练数据里针对固定模板的曝光很有限，模型却能处理很长、很复杂的结构化指令。这说明理解能力的迁移,或许比我们以为的更容易发生，一个模型如果真的"懂"了语言和图像之间的关系，它处理陌生结构的能力可能会超出训练数据本身圈定的范围。这个现象背后的机制,论文没有深挖，但确实是个值得继续追问的方向。

Q&A

Q1：SenseNova-U1.5是什么？

A：SenseNova-U1.5是商汤发布的8B参数原生统一多模态模型，采用encoder-free和VAE-free架构，不依赖外部视觉编码器或VAE，能同时完成图像理解、推理、生成和编辑任务。

Q2：SenseNova-U1.5相比上一代U1有哪些主要改进？

A：主要改进包括把独立像素预测改成了空间联合重建解码器，支持原生4K分辨率生成，采用先训练专家再统一蒸馏的后训练策略，在图像生成、文字渲染、图像编辑等多项测试中大幅超越U1代。

Q3：SenseNova-U1.5的多专家强化学习是怎么运作的？

A：先分别训练美学、OCR文字渲染、信息图生成、图像编辑四个独立的强化学习专家，每个专家用专属的数据和奖励函数训练，再通过在线策略速度场蒸馏把这些专家能力融合进同一个统一模型。