大家好，我是讯享网，很高兴认识大家。



添加小助理微信AIDriver004，加入自动驾驶之心近30+方向技术交流群！

求职交流必备！几千人的自动驾驶黄埔军校，到底有哪些硬菜？

 

加入自动驾驶之心知识星球，星球内凝聚了众多自动驾驶实战问题，以及各个模块的学习资料:近20门视频课程(星球成员免费学习)、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入!

 

文章：UA-Track: Uncertainty-Aware End-to-End 3D Multi-Object Tracking

链接：https://arxiv.org/pdf/2406.02147

主页：https://liautoad.github.io/ua-track-website/

图1：3D MOT 中经常遇到的不确定性问题

问题引出

3D 多目标跟踪 (MOT) 是自动驾驶系统感知的重要组成部分。在动态环境中准确而稳健地跟踪目标的能力对于确保平稳安全的导航和合理的决策至关重要。传统的 3D MOT 方法依赖于检测器结果，设计数据关联和轨迹过滤等后处理模块，从而导致流程复杂。为了避免基于检测的跟踪器中人为的启发式设计，端到端基于query查询的最新方法已显示出通过同时检测和跟踪目标来解决 3D MOT 任务的巨大潜力，这些方法在跟踪性能和效率方面表现出色。然而，它们假设周围信息已充分获得，并忽略了 3D MOT 中经常遇到的不确定性问题。如图 1 所示，之前最先进的端到端跟踪器 PF-Track [1]缺乏不确定性建模，无法在具有不确定性问题的复杂场景中跟踪目标。

尽管不确定性问题（指神经网络无法提供确定性估计或信心不足）已在某些领域得到应用，例如动作识别和伪装目标检测等领域，但在 3D MOT 领域尚未得到探索。由于驾驶场景的复杂环境和跟踪任务的独特特点，3D MOT 中的不确定性问题尤其具有挑战性，以前针对其他特定领域的解决方案不能直接应用于此。在驾驶场景中，环境可能非常复杂，通常在城市驾驶时，车辆和行人等众多目标在场景中交织，并且它们的运动模式存在很大变化。此外，被跟踪的目标通常覆盖很大的空间跟踪范围和很长的时间跟踪序列。因此，经常会出现遮挡情况和目标物体的尺寸太小情况，这通常会导致一些目标未被检测或被遮挡的跟踪丢失。这些不确定因素对实现准确和鲁棒的 3D MOT 提出了重大挑战。

框架介绍

图2: UA-Track 框架

所以，在这个工作中，我们提出了一个不确定性感知的 3D MOT 框架 UA-Track，如图2，从多个方面解决不确定性问题。首先，我们引入了一个不确定性感知的概率解码器来捕获和建模对象预测过程中的不确定性（UPD-蓝色模块）。具体来说，如图3，我们将注意力得分建模为高斯分布而不是确定性的输出，以量化预测不确定性。其次，我们提出了一种不确定性引导的查询去噪策略来进一步改进训练过程（UQD-绿色模块）。在训练阶段，我们向真实边界框添加噪声以形成噪声查询，并根据其不确定性水平有选择地对查询进行去噪，从而增强了训练过程的鲁棒性和对不确定性的收敛性。此外，我们提出了减少不确定性的query初始化模块（UQI-黄色模块），该模块利用预测的 2D目标位置和深度信息，减少query初始化的不确定性，即通过结合学习到的先验知识，提高初始query的准确性，从而获得更可靠的跟踪结果。

关键组件介绍

图3: 不确定性感知的概率解码器

该组件旨在解决3D多目标跟踪（MOT）中的不确定性问题。UPD通过引入概率注意力机制来捕获和建模目标预测过程中的不确定性。具体来说，UPD将传统的确定性注意力分数替换为高斯分布，从而量化预测的不确定性。

在传统的变换器中，注意力分数是通过确定性计算得到的，这限制了模型有效量化预测不确定性的能力。为了解决这个问题，UPD采用多层感知机（MLP）来拟合查询（q）和键（k）的均值（µ）和标准差（σ），从而构建高斯分布。通过重参数化技巧，从构建的高斯分布中采样得到注意力值α。

UPD的主要贡献包括：

通过这种方式，UPD能够有效地捕捉目标在复杂驾驶场景中的轨迹变化，特别是在目标尺寸和可见性变化较大时，如大型卡车和小孩等不同大小的目标，以及在遮挡情况下的目标。这使得UA-Track框架能够在存在不确定性因素的情况下，如遮挡和小目标尺寸，实现更准确和鲁棒的3D多目标跟踪。

UQD旨在增强模型在训练过程中对不确定性的鲁棒性和收敛性。UQD通过查询去噪策略来应对3D多目标跟踪（MOT）中的复杂情况，如遮挡和小目标尺寸，这些情况可能会显著阻碍基于查询的方法的学习过程和快速收敛。

UQD组件的主要特点和贡献包括：

通过UQD组件，UA-Track框架能够在训练时更加鲁棒地处理不确定性，提高模型对遮挡和小目标尺寸等复杂情况的处理能力，从而在3D MOT任务中取得更好的跟踪性能。

UQI专注于改善查询初始化阶段的不确定性，从而提高目标跟踪的精度和快速收敛。在多目标跟踪中，尤其是在存在遮挡和小目标尺寸等复杂情况下，高质量的初始查询对于实现精确的跟踪至关重要。

UQI模块的主要特点和贡献包括：

通过UQI模块，UA-Track能够在查询初始化阶段就减少不确定性，提高初始对象定位的准确性，从而在整个跟踪过程中实现更可靠的跟踪结果。这种初始化策略有助于提高模型对于遮挡和小目标尺寸等复杂情况的鲁棒性，进而在3D多目标跟踪任务中取得更好的性能。

nuScenes数据量化指标

我们在nuScenes 上的实验结果证明了我们的 UA-Track 框架的有效性。它在测试集中以令人印象深刻的 66.3% AMOTA 实现了最先进的性能，远远超过了之前最好的端到端解决方案 8.9% AMOTA。这些结果强调了解决 3D MOT 中不确定性问题的重要性，并展示了我们的不确定性感知框架在推动自动驾驶感知领域发展的潜力。

总结

讯享网

在本文中，我们提出了一个名为UA-Track的不确定性感知的3D多目标跟踪框架，它从多个方面有效解决了3D MOT中的不确定性问题。我们的框架突出了解决3D MOT中不确定性问题的重要性，尤其是目标对象的遮挡和小尺寸问题，并展示了其在推进自动驾驶感知方面的潜力。尽管我们的方法在三个方面有效地模拟了不确定性，但我们鼓励未来的研究可以开发更强大的框架，以进一步量化和解决更多的不确定性问题。我们希望我们的工作能够启发未来关于不确定性问题的研究。

此外，我们还提供了一些额外的细节和结果，包括深度网络的细节、不确定性分析的细节、检测结果、推理延迟和附加可视化效果。这些额外的信息进一步证明了我们方法的有效性和实用性。

表1:nuScene验证集结果

表2:nuScene测试集结果

表3:消融结果以及不确定的量化结果

图4:可视化结果

引用：

【1】Pang, Z., Li, J., Tokmakov, P., Chen, D., Zagoruyko, S., Wang, Y.X.: Standing between past and future: Spatio-temporal modeling for multi-camera 3d multi- object tracking. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 17928–17938 (2023)

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

 

① 全网独家视频课程

 

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

 

网页端官网：www.zdjszx.com

 

② 国内首个自动驾驶学习社区

 

国内外最大最专业，近4000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（端到端自动驾驶、世界模型、仿真闭环、2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频。

 

③【自动驾驶之心】技术交流群

 

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！

 

扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

 

④【自动驾驶之心】全平台矩阵