好文推荐｜江苏大学智能行团队研究成果：面向自动驾驶道路场景中异常案例的多模态数据挖掘算法

一、研究背景

在自动驾驶领域中，基于深度学习的感知模型主要依赖于大量的训练数据集，并通过不断迭代训练逐渐适应多个场景。有监督的深度学习方法通常只能检测在训练过程中已经遇到的类别。如果模型的推理过程遇到比例很小的类别，甚至超过训练集类别分布的类别，检测效果往往较差，这类特殊类别存在的情况被称为“异常案例”，异常案例的存在大大增加了驾驶环节中的潜在风险。

二、研究内容

1. 构建自动化的异常案例过滤及筛选模型：采用多种模式作为输入，从海量自动驾驶数据中，自动化生成像素级异常案例和对象级异常案例初始提议框，以提升自动驾驶异常案例信息的挖掘效率。

图1 EBBS压力控制策略架构

2. 确定感知空间内的可行驶区域：利用语义分割模型对微微图像数据进行可行驶区域分割，为实现在三维空间中对道路进行建模，将二维图像中的道路掩码投影到三维空间中。

图2 可行驶区域语义分割掩码

图3 可行驶区域分割结果投影

3. 细化异常点云数据，实现道路平面重构：引入RANSAC算法，准确分离初始粗糙道路点云中的道路与目标，解决小目标对异常案例挖掘的干扰；利用阿尔法形状估计方法，以进一步确定道路上是否存在目标物体。

图4 道路异常点云可视化及优化后可视化

图5 道路平面重构可视化

4. 异常案例挖掘初始化及常规类别抑制：为提高异常案例挖掘的召回率，利用DBSCAN聚类算法初步筛选出可能符合异常案例的目标对象；为满足自动驾驶场景中异常案例的第二个定义，使用更强大的目标检测器来过滤掉非异常案例对象。

5. 实验验证：论文基于Waymo大型多模态数据集构建了异常案例子集“Waymo-Anomaly”，以验证CCMP的有效性。

三、研究结果

1.有效的异常案例场景过滤的有效性： 论文提出的CCMP异常案例挖掘过程适用于大型数据集，允许更有效的异常案例场景的过滤，并成为建立基于深度学习模型的数据闭环的关键步骤。

表 1各类检测器在Waymo和Waymo-Anomaly上的检测结果对比

2.验证长尾方法的适用性：分别探索均衡焦点损失和动态类别抑制损失对于单阶段检测器和多阶段检测器应对长尾问题的效能。

表2 长尾问题的优化方案及结果

3.挖掘数据的准确性和可行性验证：图6为基于Waymo数据集挖掘异常案例的可视化效果图。图7显示了Waymo- Anomaly数据集被归类为存在异常案例场景的可视化。

图 6点云聚类和道路重建渲染

图 7 CCMP挖掘的异常案例效果图

四、创新点与意义

论文使用CCMP方法构建自动驾驶的异常案例子集“Waymo-Anomaly”，为基于监督深度学习的方法处理现实世界中的异常案例场景提供了研究基础。该方法可以有效的在现实世界存在异常案例中解决长尾分布的问题，具有重要的理论意义和工程应用价值。

扫描上方二维码，免费获取全文