台湾阳明交通大学的研究团队，开发出了一种能让同一个3D物体从不同角度看起来完全不同的AI系统

这项由台湾阳明交通大学主导的研究，于2026年6月以预印本形式发布，论文编号为arXiv:2606.20563，有兴趣深入了解的读者可通过该编号查询完整论文。研究团队开发了一套名为JanusMesh的系统，能够在短短3到5分钟内，自动生成一个"双重幻觉"的三维物体——这个物体从某个角度看，你会认出它是一只孔雀；转个方向，它又变成了一颗菠萝。

这种现象不是魔术，也不是后期特效，而是一个实实在在的三维网格模型（也就是电脑里的3D物体），它的形状本身就被精心设计成从不同方向看起来像是完全不同的东西。这种东西有个专门的名字，叫做"视觉错觉"，但把它做到三维空间里，而且还能自动生成，以前几乎是一件很难办到的事。

---

一、为什么要造一个"骗眼睛"的3D物体？

世界上有很多种视觉错觉。你可能见过那种图案，从远处看是爱因斯坦，走近了看却变成了玛丽莲·梦露。或者那种鸭兔图，你盯着看，一会儿觉得是鸭子，一会儿又觉得是兔子。这些都是2D的平面视觉错觉，人类玩这个已经玩了好几百年了。

但三维版本的视觉错觉就完全是另一回事了。你需要雕刻出一个真实的实体，使它从一个方向投下的影子像一棵树，从另一个方向投下的影子却像一匹马。这种雕塑作品存在，但都是艺术家花费大量时间和精力手工制作的。而研究团队想问的问题是：计算机能不能自动做这件事？只要告诉它"一个孔雀"和"一颗菠萝"，它就能在几分钟内造出这么一个神奇的3D模型出来？

在这之前，已经有一些研究尝试过这件事，但都有各自的问题。其中一类方法叫做"基于优化的方法"，它的工作方式有点像一个雕刻家反复打磨一块泥土：先随机做一个形状，然后用AI评估"这个形状从正面看像孔雀吗？从侧面看像菠萝吗？"，根据评分不断修改，一点一点地调整，直到满意为止。这个过程听起来合理，但非常慢——大约需要40分钟才能生成一个物体，而且经常出现颜色过于鲜艳饱和的问题，看起来像是用荧光笔涂过一样，失去了真实感。

另一类最简单粗暴的方法叫"直接拼接"：分别生成两个3D物体，然后把它们各切一半，拼到一起。结果呢？从目标角度看的时候，两半在边界处会产生非常明显的生硬接缝，而且从某个角度看孔雀时，菠萝那半边也会悄悄地透出来，破坏整个错觉效果。

研究团队提出的JanusMesh，走的是一条完全不同的道路。

---

二、用"乐高积木"的思路来理解这套系统的工作方式

理解JanusMesh的核心逻辑，可以借助一个组装玩具的比喻。

假设你想要造一个玩具，从正面看是一辆消防车，从侧面看是一架飞机。直接把消防车和飞机各切一半拼起来，当然会有明显的缝隙和奇怪的形状。聪明的做法是：同时参考消防车的形状和飞机的形状，用一种特殊的融合方式，造出一个在两者之间的"中间形状"——这个形状本身不完全像消防车，也不完全像飞机，但从特定角度看，轮廓和比例刚好让人认出它们各自的特征。

JanusMesh做的就是这件事，只不过它使用的"融合方式"是一种叫做SDF（有符号距离场）的数学工具。这个词听起来复杂，但原理并不难懂：对于3D空间中的任意一个点，SDF告诉你这个点距离物体表面有多远，在物体内部还是外部。有了这个信息，你就可以把两个物体的"距离地图"加在一起取平均值，再重新划定边界，得到一个介于两者之间的新形状。就好比你把一个圆和一个三角形的"距离地图"叠加，会得到一个圆角三角形——既有圆的圆滑感，又有三角形的棱角感。

整个系统分成两个阶段来工作，就像先做好蛋糕坯子，再来裱花一样。

---

三、第一阶段：把两个物体的"骨架"融合在一起

第一个阶段负责生成3D形状，也就是物体的几何结构，暂时先不管颜色和纹理。

研究团队使用了一个叫做TRELLIS的现有3D生成模型作为基础。TRELLIS的工作方式类似于从一团"噪声"开始，然后一步一步地把这团噪声雕刻成一个清晰的3D形状——这个过程叫做"去噪"，就像从一张模糊的照片中不断锐化，直到图像变清晰。

JanusMesh在这个过程里做了一个关键改动：它同时运行两条平行的去噪流水线，一条针对"孔雀"这个描述，另一条针对"菠萝"这个描述。两条流水线各自从同一团初始噪声出发，但受到各自文字描述的引导，朝着不同的方向演化。

每走一步，系统都会做这样一件事：把两条流水线当前预测的"雏形形状"都先翻译成具体的体素（体素就是3D版的像素，是构成3D物体的最小单元，就像乐高的一颗颗积木），然后用上面提到的SDF融合方式把这两个形状合并成一个，再把这个合并后的形状重新塞回两条流水线，让它们以这个融合形状为基础继续各自演化。如此反复25次，最终两条流水线收敛到同一个形状，这个形状就是兼顾了两种语义的"融合骨架"。

这个过程中还有一个重要的细节：融合之前，两个形状必须先被"对齐"好方向，否则如果孔雀是竖着的，菠萝是横着的，强行叠加出来的结果会非常混乱。研究团队为此设计了一个叫做"CLIP引导方向搜索"的机制，利用OpenAI开发的视觉-语言模型CLIP来自动找到最合适的对齐角度。具体来说，系统先为第一个物体生成4个方向的预览图，选出最能代表该物体特征的那个角度；然后为第二个物体试验28种不同的3D旋转方式，找到哪个角度看起来和第一个物体的轮廓最相似——因为轮廓越相似，融合出来的结果往往越自然。

---

四、给"骨架"穿上合适的衣服：第二阶段的纹理贴图

骨架有了之后，还需要给它涂上颜色，让它从孔雀那个角度看起来有孔雀的颜色和花纹，从菠萝那个角度看起来有菠萝的颜色和纹理。这就是第二个阶段的任务。

这里有个棘手的问题：TRELLIS本身也可以给3D物体上颜色，但它面对的是一个经过融合的奇怪几何形状，根本"不认识"这个东西，涂出来的颜色会乱成一团，两个语义的颜色全部混到一起。

研究团队的解决方案是彻底绕开TRELLIS的上色功能，改用另一套系统——基于Stable Diffusion（一个广为人知的AI图像生成模型）搭配ControlNet（一种让图像生成能参考形状结构的附加模块）来单独完成上色任务。

具体流程是这样的：系统先把融合好的3D物体从目标角度一（比如看孔雀的方向）渲染一张深度图（就是记录每个位置离摄像机有多远的黑白图像），把这张深度图交给Stable Diffusion，结合"一只孔雀"的文字描述，让它生成一张孔雀的彩色图像，这张图像的轮廓和深度信息都和3D物体对应。然后，系统把这张彩色图像"投影"回3D物体表面，就像把一张贴纸贴到物体上。同样的过程对目标角度二重复一遍，用菠萝的颜色贴上去。

不同角度投影来的颜色会在物体表面叠加，系统用一种叫"余弦加权融合"的方法来处理冲突：对于物体表面某一块区域，如果它正对着孔雀那一侧的摄像机，就更多地采用孔雀的颜色；如果它更朝向菠萝那一侧，就更多地采用菠萝的颜色。这样一来，颜色的过渡在边界处会自然地渐变，而不会产生突兀的分界线。

---

五、给融合过程加一点"初始引导"

研究团队还注意到一个问题：两条去噪流水线从完全随机的噪声出发，在融合过程中有时会互相干扰，导致最终形状既不像孔雀，也不像菠萝，完全变成了一个奇奇怪怪的东西。为了解决这个问题，他们提出了两种"噪声引导"策略，本质上都是在去噪开始之前先给系统一个"大方向"。

第一种叫"噪声混合引导"：先分别用TRELLIS独立生成一个孔雀和一个菠萝的3D模型，把孔雀模型切一半，菠萝模型也切一半，拼成一个"引导模型"，把这个引导模型编码成一个引导信号，然后把这个引导信号和随机噪声按3比7的比例混合（也就是说，引导信号占30%，随机噪声占70%）作为去噪的起点。这样既保留了一定的随机性让两条流水线自由发挥，又给了它们一个大致的空间方向。

第二种叫"空间控制引导"：思路类似，但更进一步——它不是从一开始就把引导信号混进去，而是在去噪的前期（比如前10步）完全按照引导模型来走，后期（后15步）再让流水线自由发挥。这种方式对两个物体形状差异很大的情况特别有效，因为前期强制让形状待在"正确的大区间"里，防止跑偏太远。

两种方式各有适用场景：如果两个物体形状本来就比较相似（比如青蛙和乌龟），不用任何引导往往也没问题；如果形状差异较大（比如竹子和葡萄），空间控制引导的效果更好；介于两者之间的情况用噪声混合引导更合适。

---

六、把两个扩展成三个：三重视觉错觉也能做

既然两个语义可以融合，那能不能同时融合三个呢？比如，一个物体从0度角看是葡萄，从120度角看是菠萝，从240度角看是竹子？

研究团队发现，只需要在第一阶段增加一条去噪流水线，把三个方向平均分配到360度圆周上（0度、120度、240度），其余逻辑完全不变，就可以实现三重视觉错觉。三个形状在SDF融合时同样取三者平均值，然后各自反转回自己的坐标系继续去噪。

当然，三个形状同时融合会造成更强的"几何冲突"，形状之间的相互干扰也更严重，所以噪声引导在三个物体的情况下是必须使用的，而且要用更强的空间控制引导，前20步都按引导模型走，只留最后5步让流水线自由发挥。第二阶段的纹理上色逻辑完全相同，只是多了一个角度需要处理。

---

七、实验结果：和前辈方法比怎么样？

为了验证JanusMesh的效果，研究团队用了一个包含60种不同物体的词库，覆盖鸟类、哺乳动物、爬行动物和水生动物、植物、人造物品等五大类，随机配对成50组测试案例，对比了四种基线方法。

除了前面提到的"Shape from Semantics"（优化方法，约40分钟）和"直接拼接"方法之外，研究团队还引入了两个对比方：一是直接告诉TRELLIS"一个3D物体，正面是孔雀，背面是菠萝"，看它能不能自己理解这个要求；二是DreamBeast，一个原本用来生成奇幻生物的SDS方法，用同样的方式提示。结果显示，TRELLIS完全没能产生视角相关的语义分离效果，只是生成了一个普通的混合形状，谁也看不出来；DreamBeast则把两个语义融合成了一个奇幻混合生物，每个角度都能看到两者的特征，根本没有错觉效果。

研究团队设计了六个量化指标来全面评估效果。第一个是CLIP相似度，用来衡量每个目标角度的渲染图像和对应文字描述的匹配程度；第二个是GPT准确率，把目标角度一和目标角度二的渲染图并排放在一起，让GPT-4.1-mini来判断哪边是孔雀哪边是菠萝，答对了就算成功，JanusMesh在这一项达到了84%，优于直接拼接的76%和优化方法的70%；第三个是FID和KID，用来衡量生成物体的渲染图看起来是否真实自然；第四个是物体检测分数，在两个目标角度中间的"交界视角"渲染一张图，用物体检测算法数一数图里有几个物体——理想的结果应该只有一个，因为它应该是一个整体，直接拼接方法在这一项表现最差，平均检测到2.1个物体，而JanusMesh平均只有0.86个；第五个是视角条件CLIP对比度，专门检测在看孔雀的角度有没有菠萝的影子、在看菠萝的角度有没有孔雀的影子，JanusMesh在这一项得分最低（代表语义泄露最少）；第六个是边界缝隙分数，通过测量融合边界处的曲率突变程度来衡量接缝是否明显，直接拼接方法的接缝分数明显偏高，而JanusMesh的接缝平滑度接近普通单一物体的水平。

此外，研究团队还招募了50位普通用户进行主观评估。结果显示，78.5%的参与者认为JanusMesh的结果中目标语义"清晰可辨"（最高评级），71%的参与者更偏好JanusMesh的结果，而91%的参与者认为使用CLIP自动搜索对齐角度比固定在0度和180度产生了更自然的错觉效果。

---

八、消融实验：每个设计细节都有其道理

研究团队还通过"消融实验"验证了每个设计选择的必要性——简单说，就是分别把某一个模块去掉，看看效果会变差多少。

在几何融合策略的对比中，他们测试了五种不同的融合方式：直接取体素的逻辑或（相当于把两个形状叠加，保留所有部分）、先高斯模糊再平均、用Minkowski方法膨胀后融合、按极坐标切片融合，以及SDF平均（最终采用的方法）。直接取逻辑或会导致两个形状的突出部分相互冲突；高斯模糊平均会失去细节；Minkowski方法会让整个形状膨胀变大；极坐标方法对于非对称或非凸形状会产生扭曲；只有SDF平均能稳定地产生介于两个形状之间的平滑过渡形状。

在纹理合成的消融中，去掉第二阶段的视角条件纹理，直接用TRELLIS来上色，结果是两个目标角度的纹理颜色完全混在一起，无法区分。

在CLIP方向搜索的消融中，对于形状在默认方向上就已经对齐的配对（比如两个都是竖着的动物），固定0度和180度和自动搜索效果相差不大；但对于形状差异较大的配对（比如横向的犀牛和竖向的菠萝），固定角度会导致两个形状叠加时轮廓完全对不上，最终融合结果既看不出犀牛也看不出菠萝，而CLIP搜索能自动找到让横向犀牛和竖向菠萝轮廓最匹配的相对旋转，使融合结果从各自的目标角度看起来都能清晰辨认。

---

说到底，JanusMesh做的事情，其实是在"用数学语言雕刻视觉错觉"。它把两条平行的3D生成流水线用SDF融合绑在一起，让它们共同演化出一个介于两者之间的奇妙形状；然后用视角条件的方式把不同的颜色贴到正确的角度。整个过程不需要任何针对特定物体的训练，只需要输入两段文字描述，3到5分钟后就能得到结果。

这项研究目前还有一些局限。它继承了TRELLIS本身不擅长处理的物体类别，比如猪和蝙蝠，生成质量会差一些。三个物体的版本暂时还没有自动方向搜索，因为三个轮廓同时对齐是个更复杂的问题，研究团队把它留给了未来的工作。另外，当两个物体的形状本来就差异极大时，SDF融合的结果有时难以在两个方向上都清晰呈现，仍然需要一定程度的人工选择是否启用噪声引导以及选用哪种引导方式。

这套技术最直接的应用可能是创意设计和数字艺术领域——设计师可以快速生成具有双重含义的装饰物、标志性建筑细节，或者游戏中的隐藏彩蛋。教育领域也有想象空间：一个从一个角度看是数字，从另一个角度看是字母的教具，能让孩子在把玩中同时学习两种知识。当然，更远一些的应用场景还在等待更多人去探索。归根结底，JanusMesh证明了一件事：视觉错觉不再是艺术家的专利，计算机也能自动"捏"出一个让你的眼睛犹豫不决的三维物体。

有兴趣深入了解技术细节的读者，可以通过论文编号arXiv:2606.20563查阅完整论文。

---

Q&A

Q1：JanusMesh生成的3D视觉错觉和那种手工雕刻的视觉错觉艺术品有什么本质区别？

A：手工雕刻的视觉错觉艺术品是艺术家通过大量试错和经验积累手动完成的，通常耗时数天甚至数周，且无法快速更换语义内容。JanusMesh则是一套全自动的计算机生成流程，只需输入两段文字描述，无需任何针对特定物体的训练或手动调整，3到5分钟即可输出一个完整的带纹理三维网格模型。两者的根本区别在于，前者依赖人的创造性和空间想象力，后者依赖SDF几何融合和扩散模型的语义引导，可以任意替换描述内容批量生成。

Q2：JanusMesh生成的3D物体从中间视角看是什么样子的？

A：从两个目标视角之间的"交界角度"看，JanusMesh生成的物体会呈现为一个既不像第一个物体也不像第二个物体的抽象几何形状，整体上是浑然一体的，没有明显的拼接缝隙。这正是研究设计的目标之一：物体应该从非目标角度"看不出是什么"，从而强化视觉错觉的神秘感。物体检测实验也验证了这一点，JanusMesh在交界视角平均只被检测到0.86个物体，说明它确实是一个连贯的整体，而不是两个半体的拼凑。

Q3：SDF融合方式为什么比直接把两个3D形状叠加或切半拼接效果更好？

A：直接叠加（逻辑或）会保留两个形状所有的细节，导致从任何角度看都能同时看到两个物体的特征，完全没有视角分离效果。切半拼接则在中间造成非常突兀的几何断层，从目标角度也能看到对面那半边物体的背面，破坏错觉。SDF融合的优势在于，它计算的是每个空间点到物体表面的"距离"，对两个物体的距离场取平均后得到的是一个介于两者之间的平滑过渡形状，就像把两个模板叠在一起取轮廓的中间值，既不是任何一方，但从各自的目标角度看又能让人联想到对应的物体，同时边界处是光滑连续的，不会产生几何缝隙。