卡尔斯鲁厄理工学院打造的自动驾驶"超级感知平台"：KITScenes多模态数据集究竟有何过人之处？

这项由卡尔斯鲁厄理工学院（Karlsruhe Institute of Technology）与FZI信息技术研究中心联合主导，并有马德里卡洛斯三世大学、代尔夫特理工大学共同参与的研究，于2026年6月1日以预印本形式发布在arXiv平台，论文编号为arXiv:2606.02956。研究成果围绕一个名为"KITScenes Multimodal"的欧洲自动驾驶数据集展开，感兴趣的读者可通过该编号在arXiv上查阅完整论文。

自动驾驶这件事，说起来大家都熟悉——无人出租车、辅助驾驶系统，这些词早已不再陌生。但要让一辆汽车真正在复杂的城市道路上自己开，背后需要的远不止"认出前面是红灯还是绿灯"那么简单。它需要在几百米之外就准确判断道路结构，知道哪条车道可以走、哪块区域是自行车道、前方路口的红绿灯管的是哪几条车道，甚至在雨雾天气中也能做到这些。为了训练出能完成这些任务的人工智能系统，研究人员必须先有一套"教材"——也就是包含真实道路录像、传感器数据、精确地图的数据集。

问题在于，现有的数据集就像一本内容不全的教科书：有的缺少详细地图标注，有的只拍了高速公路场景，有的传感器探测距离不够远，有的只覆盖美国或亚洲的道路环境。欧洲城市街道那种不规则的放射状布局、行人与自行车和汽车混行的复杂场面，在现有数据集里几乎找不到。这就好比你想教一个厨师做川菜，却只给他一本法式烹饪入门书——原材料根本对不上号。

卡尔斯鲁厄理工学院的研究团队正是察觉到了这个缺口，于是花费大量人力物力，打造了KITScenes Multimodal数据集。这套数据集配备了目前公开数据集中最顶级的传感器组合，并附带了研究团队认为是所有公开数据集中最完整的高精度地图。更难得的是，这套地图经过了真实无人驾驶汽车的闭环行驶验证——也就是说，汽车真的按照这套地图在现实道路上开过，并且成功了。

---

一、为什么自动驾驶需要一本"更好的教科书"

要理解这个数据集的价值，先得明白自动驾驶的人工智能是怎么"学习"的。简单来说，研究人员把录制好的真实驾驶场景喂给算法，算法通过反复"看"这些场景，逐渐学会识别道路、判断障碍物、规划路线。这个过程和人类学开车有点像——先在模拟场景里练，再上真实道路。而数据集，就是这个"模拟场景"的来源。

现有的经典数据集，比如来自波士顿和新加坡的nuScenes、来自美国的Waymo Open数据集、Argoverse 2等，在推动自动驾驶研究上贡献巨大。但它们各有明显短板。nuScenes的地图缺少交通灯和标志的详细标注，也没有把这些元素和对应车道在拓扑结构上连接起来。Waymo的相机分辨率有限，且只覆盖约230度的视野，并非完整的360度环视。来自瑞典的ZOD数据集规模虽大，但每个场景只标注了单帧关键帧，且主要是图像平面内的标注，缺乏三维空间信息。MAN TruckScenes和TruckDrive都聚焦于高速公路卡车场景，与密集城市驾驶相去甚远。英伟达虽然发布了规模庞大的PhysicalAI AV数据集，但至今仍缺少完整的公开标注。

除此之外，这些数据集几乎清一色来自北美和亚洲。欧洲城市那种历史悠久、街道蜿蜒不规则的环境，在公开数据集里几乎是空白地带。而偏偏这种环境才是对自动驾驶系统最难的考验——没有整齐的方格路网，没有宽阔的单向大道，有的是密集交叉的小街、各种方向的自行车道、紧凑的交叉路口和错综复杂的交通信号。

这正是KITScenes Multimodal想要填补的空白。研究团队将数据采集地点选在了德国的卡尔斯鲁厄、法兰克福和辛德尔芬根。卡尔斯鲁厄是一座18世纪按放射状规划建造的城市，法兰克福拥有密集的金融区核心地带，辛德尔芬根则是典型的郊区工业混合环境。三个城市，三种截然不同的道路风格，加在一起构成了一个颇具代表性的欧洲城市驾驶场景样本库。

---

二、这套传感器组合，相当于给汽车装了一套"超级感知系统"

数据集的核心竞争力，首先来自于那辆用于录制的车辆本身配备的传感器。这辆车的车顶安装了一套极其精密的设备组合，可以类比为给一个侦探配备了望远镜、夜视仪、雷达、测距仪和高精度GPS——每一样工具都指向同一个目标：在最大范围内，尽可能精确地感知周围环境。

先说相机。这辆录制车配备了9个相机，其中6个分辨率为710万像素的环视相机提供完整的360度视野，一对前向倾斜的立体相机用于精确测量近距离深度，还有一个1620万像素的超高分辨率远距相机专门用来看清几百米外的细节。加在一起，每帧画面的总分辨率达到7250万像素——这个数字是目前同类数据集中排名第二位的将近两倍。更重要的是，这些相机全部使用"全局快门"技术。普通手机相机是"卷帘快门"，拍摄运动物体时会产生果冻般的变形，而全局快门会在同一瞬间捕捉整幅画面，确保图像不会因车辆运动而出现失真。所有相机在硬件层面同步触发，确保不同相机拍到的是同一时刻的场景。

再说激光雷达。这辆车配备了7个激光雷达，分布在车顶四周，提供360度重叠覆盖。激光雷达的工作原理类似蝙蝠的回声定位——向外发射激光束，测量反射回来的时间来计算距离，从而生成一张三维点云地图。这套系统每帧平均产生超过90万个点，峰值超过120万个点，是现有数据集的三倍。更关键的是，其中4个激光雷达使用了1550纳米波长的激光，这种波长在大气中传播损耗更小，使得有效探测距离超过400米——而目前排名第二的数据集只能达到约220米。这意味着，这套系统可以在高速行驶时就提前"看到"半个街区之外的情况，而不是等到近在咫尺才做出反应。

然后是4D成像雷达。车上安装了3个大陆集团ARS548型4D雷达，每个探测范围达300米，能同时测量目标的位置、速度，以及高度信息。雷达的特殊价值在于它不受天气影响——在大雨、浓雾、沙尘等激光雷达性能大幅下降的场景中，雷达仍然能可靠工作。"4D"这个词里，前三维是空间位置，第四维是速度，有了速度信息，系统就能区分静止的路牌和正在移动的行人，即使两者在某一时刻恰好处于同一位置。

最后是定位系统。车上安装了两套独立的GNSS接收机（类似于高精度GPS），其中一套还集成了惯性导航单元（IMU）。通过融合这两套系统的数据，再结合激光雷达SLAM（同步定位与建图），研究团队实现了厘米级的定位精度。这种精度对于制作高精度地图至关重要——地图上每一个交通灯、每一条车道线的三维坐标，必须精确到能够直接投影回相机图像，误差控制在像素级别。

在数据处理方面，研究团队记录的是原始的拜耳格式图像，而非压缩后的视频，然后离线使用高质量的去马赛克算法和色差校正进行处理，再用JPEGLI这款视觉无损压缩格式存储。这保证了图像质量达到神经渲染和视角合成等高保真应用的要求。此外，为遵守欧洲隐私法规，所有人脸和车牌都经过DNAT技术处理，这种方法与传统的模糊处理不同，它通过图像修复技术保持了照片的视觉真实感，而不是简单打码。

---

三、那张地图，是整个数据集最独特的灵魂

如果说传感器是数据集的"眼睛"，那么高精度地图（HD Map）就是它的"大脑图谱"。KITScenes Multimodal提供的地图，是研究团队最引以为傲的部分，也是目前公开自动驾驶数据集中公认最完整的。

这套地图以Lanelet2格式标注，覆盖面积达62平方公里。Lanelet2是学术界和工业界都认可的开放高精度地图标准，它不仅记录道路的几何形状，还编码了道路的拓扑关系（哪条道可以直行、哪条必须右转）以及所有与驾驶相关的法规元素。KITScenes的地图在此基础上做到了极致的完整性：道路级别的多义线（polyline）被分为29个类别，包括路沿、虚线、实线、斑马线、自行车专用标线等各种细分情况；交通标志按照德国道路交通法220个类别进行分类，实际观察到120种；交通灯分为机动车、自行车、行人、其他四类。

更重要的是，每一个交通灯和交通标志都在三维空间中被精确标注，包括它的位置、尺寸和朝向，精度达到可以直接投影回相机图像的程度——也就是说，如果你把地图上某个交通灯的三维坐标投影到对应的相机画面上，它会精准落在图像中那个交通灯的像素位置上。这种"重投影精度"（reprojection accuracy）意味着地图标注可以直接作为图像级别的训练信号使用，无需任何额外的对齐操作。此外，每个交通灯和交通标志都通过拓扑链接明确标注了它所管控的车道——路口那个红灯，到底管的是哪几条车道，在地图里一清二楚。

这套地图的制作过程同样颇为严谨。标注工作由内部团队完成，总计投入约一万工时，平均每平方公里需要160小时。底图来自市政测绘部门提供的高分辨率航拍图像，地面采样分辨率最高达6厘米，优于所有公开产品。道路级别内容从航拍图标注，而交通灯、路标等立体元素则直接从车载传感器的地理参考数据中标注，确保三维精度。两套标注层最终融合进统一地图，再经过自动化的拓扑一致性检查和路由图孤立点检测，最后还有一个内部研发的航拍图多义线属性分类器，对每条标注线进行质量审查。

地图质量的最终检验，是真实的闭环驾驶试验。研究团队将这套地图接入Autoware——一个国际认可的开源自动驾驶软件栈，被日本多个机器人出租车项目用作核心平台——然后让车辆按照地图在真实道路上自主行驶。车辆成功完成了这些试验，这证明这套地图不只是"看起来很精确"，而是真的能指导一辆真车在现实世界中安全行驶。

---

四、四个基准测试，专门用来戳穿现有算法的"底细"

有了高质量的数据和地图，研究团队设计了四项基准测试，每一项都专门针对当前最先进方法的已知短板。这四项测试就像四道精心设计的考题，目的不是让算法"轻松通关"，而是让它们暴露出真实的能力边界。

第一项考题是在线高精度地图构建。这个任务的目标是：不依赖任何预先存储的地图，只靠车载传感器的实时数据，让算法"现场"推断出周围道路的结构和规则元素。现有的基准测试——比如在Argoverse 2数据集上跑的那些——只要求算法识别出简单的几何元素，如车道分隔线、斑马线、路缘，而且这个领域已经出现了明显的性能饱和迹象：自2024年MapTracker方法出现之后，排行榜上的数字就基本不再有显著进步了。KITScenes的版本要难得多——算法不仅要识别这些几何元素，还要推断交通灯、路标及其与车道的拓扑连接关系，输出完整的Lanelet2格式地图结构。

研究团队在这个任务上测试了两个代表性方法：MapTRv2（一个纯相机输入的基准方法）和SDTagNet（一个利用标准定义地图先验知识的方法）。两者在这个更完整的任务设定下都出现了大幅性能下降，证明了现有方法远未达到真正实用的水平。SDTagNet相对受益更多——有了结构化的先验知识，它在更复杂的任务上表现相对更好，这暗示着引入结构化先验可能是未来改进的方向。研究团队还扩展了MapQR方法，加入了一个图神经网络（GNN）头部模块，让它能预测地图元素之间的拓扑关系，命名为MapQR-Topo，作为拓扑预测的基线方法。

第二项考题是长距离单目深度估计。简单来说，这个任务就是让算法只凭一张普通相机图像，估计出图像中每个像素对应的真实距离。现有的方法在100米以内表现相当不错，但超过这个范围就开始"力不从心"。研究团队评测了三个号称达到数据集无关最优水平的方法：UniDAC、Depth Anything 3和MapAnything。

结果非常有趣，也颇具警示意义。如果只看整体数值，MapAnything排名第一，UniDAC排名最后。但一旦把数据按距离分段来看，画面就完全不同了：在100米以内，MapAnything确实最好；在100到200米之间，三者都明显变差；而在超过200米的范围内，UniDAC反而是三者中最强的，而MapAnything的表现已经接近完全失效——其δ1精度指标降到了接近零的水平，意味着它几乎没有能力估计超过200米的深度。这个"排名反转"现象揭示了一个严重问题：现有的综合评价指标会掩盖方法在特定距离段的严重失效，而在自动驾驶场景下，高速行驶时恰恰最需要远距离的准确判断。

第三项考题是新视角合成（Novel View Synthesis）。这是近年来神经渲染领域的热门方向——给算法一段行车录像，让它学会"重建"场景的三维结构，然后能从任意新的视角渲染出这个场景的样子。这项技术对自动驾驶仿真很重要：如果算法能可靠地生成"如果车向左偏一米会看到什么"，就可以大量减少需要真实采集的数据量。

现有的评价方式通常只用图像质量指标（比如PSNR、SSIM）来衡量，但这些指标有个盲区：一张看起来色彩正确、纹理清晰的图，可能在几何结构上已经完全错了。研究团队设计了一种新颖的评价方法：把场景向左或向右平移1米、2米、3米，生成7个不同横向位置的渲染图，然后把地图中已知的交通标志三维坐标投影到这些渲染图里，用目标检测算法检验这些交通标志是否能被正确识别。如果渲染图的几何结构是准确的，标志应该出现在正确的位置，探测器就能找到它；如果几何有偏差，标志在图像中的位置就会错位，探测器就会漏掉。

测试结果相当严峻。以ReconDrive方法为例，即使在原始行驶轨迹（横向偏移为零）上，把渲染图放大到传感器原始分辨率后，交通标志的检测召回率就已经下降了27.8%，几乎是低分辨率下降幅的四倍，说明渲染图在细节结构上已经失真。当横向偏移达到正负3米时，召回率下降超过80%——也就是说，大部分本该存在的交通标志在渲染图里根本找不到了。这意味着，现有的神经渲染方法还远不能可靠地生成几何准确的新视角，用它们来做自动驾驶仿真存在严重的安全隐患。

第四项考题是端到端自动驾驶。这个任务要求算法直接从传感器输入（相机图像、激光雷达点云、雷达数据）预测未来的行驶轨迹。现有的端到端驾驶研究几乎清一色在nuScenes数据集上评估，这带来了严重的"过拟合"风险——算法可能只是记住了nuScenes那几十平方公里内的道路特征，而非真正学会了普适的驾驶能力。

KITScenes的端到端基准支持三种传感器输入组合：单前向相机、完整360度环视相机，以及激光雷达加雷达加相机的全套多模态输入。研究团队零样本测试（不在KITScenes上做任何微调）了四个开源基线方法：UniAD、DMAD、SSR和Epona。除了标准的ADE（平均位移误差）和FDE（最终位移误差）之外，团队还借助KITScenes的高精度地图增加了三个基于地图的安全指标：可行驶面生存率（轨迹是否始终在可行驶区域内）、无碰撞率（轨迹是否与激光雷达探测到的障碍物相交）和中心线距离（轨迹偏离正常行驶车道中心线的程度）。同时引入了多机动评分（MMS），这个指标不只对比算法预测轨迹和真实驾驶轨迹的接近程度，而是对比和至少三种人工标注的"合理驾驶方案"的相似度，避免了"只有一种正确答案"的局限性。

结果显示，所有方法在KITScenes上都出现了明显的性能下降，说明欧洲城市场景带来了真实的域差距挑战。Epona的域差距相对最小，这与它使用了更大规模的预训练数据集（nuPlan）相符。在安全指标上，Epona的单步预测版本表现最好，无碰撞率接近98%，可行驶面生存率超过81%；而导航命令依赖型的UniAD和DMAD在这方面则明显弱于ADE/FDE所暗示的水平，说明位移误差和安全性之间并非简单的正相关关系。

---

五、数据集的规模、分割方式和一些值得关注的设计细节

这个数据集目前包含1007个场景，每个场景时长10秒到60秒，总计5.7小时、162公里的同步多模态录制，采样频率10Hz。录制时间跨越2025年夏季和2025/26年冬季，刻意覆盖不同季节，让算法接触到场景外观随季节变化的挑战。

数据集被划分为训练集（534个场景）、验证集（117个场景）、测试集（206个场景）和端到端专用测试集（127个场景）。特别值得一提的是分割策略：研究团队发现，现有数据集的一个普遍问题是训练集和验证集在地理上存在重叠，导致算法可以通过"记地图"而非"真正学习"来刷高分数。为了杜绝这个漏洞，研究团队手动选定了几个具有代表性道路结构的区域作为验证区和测试区，确保测试集与训练集的任何场景之间地理距离不少于100米，验证集不少于70米。这是目前公开地图构建基准中第一个具有严格地理隔离测试集的数据集，也是第一个在测试集中完全不提供地图数据的，真正实现了无泄漏的公平评测。

关于当前版本的局限性，研究团队在论文中也坦诚地指出：目前发布的版本不包含动态目标的三维边界框、轨迹追踪或实例分割标注，这些将在未来版本中补充。数据总量5.7小时相比nuPlan的约120小时或英伟达数据集的约1700小时确实规模较小，但研究团队的立场是：高保真、标注完整的精选评测数据与海量预训练数据各有其不可替代的价值，KITScenes定位于前者。端到端基准目前也只是开环评测（预测轨迹，而非真正让车执行），闭环仿真评测留待未来工作完成，尽管Autoware仿真器的接口已经随数据集一并发布。

---

归根结底，这项研究在做的事情，是给自动驾驶研究社区提供一个"更苛刻的考场"。以往的考场题目太简单，已经有不少算法考了接近满分——但真正上路时却远远达不到要求。KITScenes把考场搬到了欧洲复杂街道，加上了更远的视野、更完整的地图、更真实的安全性评估，让算法在更接近真实部署条件的环境下接受检验。

这对普通人意味着什么？意味着未来那辆坐在里面可以安心读书的无人驾驶汽车，背后那套让它"看懂"道路的人工智能，可能正是在这类更高标准的数据集上磨砺出来的。每一米被精确标注的交通灯、每一个与车道对应的停车线，都在为那个未来的安全多增加一点保障。

这项研究还带来了一个更宏观的启示：评价指标的设计会深刻影响研究方向。深度估计那个"排名反转"实验是个绝佳例子——当你只看综合数字时，最好的模型在最关键的远距离场景下恰恰是最差的。这个发现本身，就值得整个领域认真反思。感兴趣的读者可以在arXiv上通过编号2606.02956找到完整论文，项目主页在kitscenes.com也有更多可视化内容。

---

Q&A

Q1：KITScenes Multimodal数据集和nuScenes这些已有数据集相比，核心优势在哪里？

A：KITScenes的核心优势体现在三个方面。传感器方面，它的激光雷达点云密度是现有数据集的三倍，有效探测距离超过400米，是第二名的将近两倍，且所有相机采用全局快门并硬件同步，图像质量远优于其他数据集。地图方面，它提供了目前公开数据集中最完整的高精度地图，包含交通灯、路标与车道的完整三维拓扑关系，并经过真实无人驾驶验证。地理覆盖方面，它是少有的覆盖欧洲复杂城市街道的数据集，填补了现有数据集在欧洲场景上的空白。

Q2：KITScenes的深度估计测试发现了什么问题？

A：测试发现，现有最先进的深度估计方法在超过100米之后性能急剧下降，超过200米时几乎完全失效。更值得警惕的是出现了"排名反转"现象：综合指标排名第一的MapAnything在200米以外表现最差，而综合排名最后的UniDAC在远距离上反而是三者中最好的。这说明现有的综合评价指标会掩盖方法在关键距离段的严重缺陷，对自动驾驶安全性评估具有误导性。

Q3：KITScenes的新视角合成基准测试发现了哪些问题？

A：测试发现，当前神经渲染方法（以ReconDrive为例）存在严重的几何不准确问题。即便在原始行驶轨迹上，把渲染图放大到传感器原始分辨率后，交通标志的检测召回率就下降了约28%。当横向偏移达到正负3米时，召回率下降超过80%。这说明这些方法虽然能生成视觉上看起来不错的图像，但其背后重建的三维几何结构并不准确，直接用于自动驾驶仿真存在安全风险，而传统的图像质量指标（如PSNR、SSIM）无法揭示这一问题。