深度感知 BEV 特征转换：集成深度网络、缩减特征维度助力精确三维车道线检测 ！
三维车道线检测在自动驾驶中发挥着重要作用。最近的进展主要从前视图（FV）图像构建鸟瞰视图（BEV）特征，以更有效地感知车道的三维信息。然而，由于缺乏深度信息，从FV图像构建精确的BE**息受到限制，导致先前的工作通常高度依赖平坦地面假设。利用单目深度估计来辅助构建BEV特征受到较少约束，但现有方法难以有效地整合这两个任务。为解决上述问题，本文提出了一种基于深度感知BEV特征转换的精确三维车道线检测方法。具体而言，设计了一个有效的特征提取模块，其中集成了深度网络以获取三维感知的关键深度信息，从而简化视图转换的复杂性。随后提出一个特征缩减模块，用于减少FV特征和深度特征的高度维度，从而实现关键FV特征和深度特征的有效融合。然后设计了一个融合模块，用于从主要的FV特征和深度信息构建BEV特征。所 adas-DB3D-L_2505 在合成 Apollo 和真实 OpenLane 数据集上均与最先进方法表现相当。一 引言车道线检测在自动驾驶中扮演重要角色，例如轨迹规划和车道保持。车道线检测包括图像空间车道线检测和三维（3D）空间车道线检测。在图像空间中检测车道线（或点）相对直接，已有研究实现高性能，而检测车道线（或点）的三维空间位置信息具有挑战性。在自动驾驶应用中，三维车道线检测更需用于实现一些下游的规划和控制任务。随着深度学习在计算机视觉领域的广泛应用，使用简单的单目相机检测三维车道线已成为可能。三维车道线检测的目标是从输入图像中生成车道线的三维空间表示。现有方法可以根据是否依赖2D车道线的检测，方法被分为两阶段和端到端两种。两阶段方法首先检测图像空间中的2D像素坐标。然后通过逆透视映射（IPM）将2D像素坐标转换到BEV空间，接着基于地面平面假设恢复3D坐标。尽管这些方法在检测2D车道线（或点）方面具有较高的精度，但在特殊情况下，尤其是在道路起伏时，，，它们在通过地面平面假设从车道点的像素坐标恢复3D坐标时受到限制。此外，3D坐标的精度受限于相机外参和内参的缺乏。端到端方法利用标注的3D车道信息进行监督训练，旨在直接从输入图像中检测3D车道坐标。这种方法减轻了将信息从2D空间转换到3D空间所面临的挑战。此外，为了提高表示3D车道线的效率，并建立与下游规划和控制任务更有效的联系，一些方法通常直接从鸟瞰（BEV）空间预测车道线的3D结构。由于从单目图像构建BEV地图通常是一个复杂的过程，最近的方法考虑将相机集合信息纳入模型设计，以提升车道线检测的性能。然而，缺乏深度信息导致从俯视（FV）空间到BEV空间的转换过程中产生精度损失。, , , 。此外，从FV到BEV的转换过程存在一些问题。基于Transformer的方法使用视觉Transformer（ViT）从二维图像中捕获BE**息, , 。尽管使用ViT可以实现相对较高的精度，但其模型复杂且难以部署。LSS范式, , 以自底向上的方式创建BEV特征。这些方法生成一个大型Sparse索引矩阵，用于映射从FV到BEV的转换，导致计算成本高昂。首先，为了克服当前方法的局限性，作者提出了一种基于素数FV特征和深度融合的深度感知3D车道线检测方法。为了在单目图像中捕获关键的深度信息，作者将在所提出的模型中集成一个精细化的深度网络。其次，作者引入了一种特征降维方法。在该方法中，将高度维度降为单通道，正如adas-DB3D-L_2505，作者关注的关键信息在高度维度上不重叠，因此在给定的BEV网格单元中只有一个实例（参见第3.B节）。最后，为了有效地融合FV特征和深度特征，作者提出了一种具有空间注意力机制的融合模块，通过该模块生成BEV特征。总而言之，本研究的主要贡献有四点：[*]作者提出了DB3D-L，一个从FV空间到BEV空间的有效空间变换的端到端3D车道线检测框架。通过集成深度网络，DB3D-L能够生成更符合空间几何的车道特征。
[*]提出特征减少模块PFE和DAT，用于降低DB3D-L中FV特征的维度和深度特征的维度，避免对来自高地区域的无效信息进行计算，从而实现关键FV特征和深度特征的有效融合。
[*]提出了一种FusionNet，其中深度被分配给相关的FV特征，通过注意力机制有效地融合BEV特征。
[*]大量实验表明，DB3D-L在合成Apollo和真实OpenLane数据集上均能达到与当前最先进方法相当的性能，同时具有更高的效率并具有普适性。
II. 相关工作A. 单目深度估计单目视觉在机器人系统中被广泛使用，它在各种机器人及自主系统应用中发挥着关键作用，包括自身运动估计、场景理解和障碍物避让。然而，单目图像的3D重建是一个不适定问题，因为缺少尺度信息。深度估计是指从相应的输入图像中估计密集深度图的过程，它可以恢复图像的尺度，恢复的深度信息可用于推理3D结构。基于学习的深度估计方法将单目深度估计视为从单张RGB图像回归密集深度图。DAV 采用标准的编码器-解码器结构，并通过 Bottleneck 处的注意力机制利用场景中物体的共面性。伪激光雷达 利用现成的深度预测网络从单张RGB图像重建点云，推动了三维检测领域的最新进展。Adabins 包含一个基于transformer的架构模块，该模块将深度范围划分为多个bin，每个bin的中心值根据图像自适应估计。最终深度值被估计为各bin中心值的线性组合。B. BEV特征转换空间变换（ST）用于从俯视图特征（FV特征）（见图2 (a)）创建鸟瞰图特征（BEV特征）（见图2 (b)），这是基于BEV的空间感知任务的关键。LSS范式、、将空间变换分为两个阶段进行。首先，通过深度估计网络创建图像像素的截锥体，将2D特征转移到3D空间中，然后利用预先构建的映射矩阵，找到截锥体元素与BEV网格元素之间的映射关系。截锥体中的所有特征根据其对应的BEV网格ID进行排序，并对所有特征进行累积求和，从而得到BEV特征。BEVFormer 通过视觉Transformer（ViT）创建BEV特征。ViT凭借其全局注意力机制，通常适用于进行时空（ST）处理。在这些方法中，会预先生成显式的可学习BEV Query ，并用于从多视角2D图像中捕获BE**息。显式的BEV特征非常适合整合时间信息或其他模态的特征，并支持同时执行更多传感任务。HeightFormer 通过在BEV空间中对高度进行显式建模来创建BEV表示，而不是在图像视图中隐式地建模深度。在该网络中，高度和不确定性以自递归的方式被预测，无需任何额外数据辅助，从而实现了更鲁棒的结果。将图像转换为地图的研究发现，无论深度如何，图像中同一列的像素在鸟瞰图（BEV）下沿同一条射线。因此，每一列都可以转换为鸟瞰图以构建鸟瞰图特征图。作者将图像中的每一列编码为记忆，并使用鸟瞰图下的射线半径 Query 记忆以获得鸟瞰图特征。最终，通过数据监督，模型具有更好的视图转换能力。C. 俯视图中的三维车道线检测如第一部分所述，最先进的方法倾向于直接从鸟瞰图（BEV）空间预测车道线的三维结构。这些方法首先将图像视图特征图转换为BEV，然后基于BEV特征图检测车道线。3DlaneNet 利用IPM将特征从俯视图（FV）转换为BEV，然后在BEV空间中对车道线的 Anchor 点偏移进行回归。Gen-LaneNet 包含一个可扩展的两阶段框架，将图像分割子网络和几何编码子网络分离。PersFormer 包含一个统一的二维和三维车道线检测框架，并将Transformer引入空间变换模块以获得更鲁棒的特征。图2. FV特征（a）与BEV特征（b）对比。作者发现BEV特征与FV特征本质上几乎没有差异，它们都是N通道的二维值图。因此作者将BEV特征构建为CNN输出的特征图。FV特征与BEV特征在宽度维度上具有共同维度，这对从FV到BEV的转换至关重要。从正面视图恢复3D点云，并将其投影到俯视图平面以实现相同的鸟瞰图（BEV）。BEV-Lanedet 创建多层特征，每个层使用不同尺寸的多视图关系模块（VRM）实现从俯视图（FV）到鸟瞰图（BEV）的动态映射，但FPN层的数量和尺寸是手动预设的，这在不同场景中存在局限性。这些方法部署了基于网络特征图的IPM，并结合相机内参/外参，隐式或显式地实现特征提取。因此，深度估计的精度在流程中至关重要。设计了一种小而高效的深度网络Depth Net来平衡精度和效率，使用ResNet作为 Backbone 网络，然后集成一个SE层使网络具备空间注意力能力。SE模块的目的是在通道域内为图像的不同位置分配不同的权重，利用权重矩阵来提取更关键的特征信息。如图3所示，作者将相机内参作为权重添加到多层感知器（MLP）中，Depth Net的输出由大小为的深度真值进行监督，在特定的宽度和高度上，它会产生相加和为1的个概率值。给定深度真值，深度损失计算如下
III. 提出方法受多任务学习方法, 的启发，作者共享了深度网络和FV特征提取网络的 Backbone ，命名为D&F网络。FV特征和深度特征通过公共ResNet传递，并在SE层分离，在不同的监督下产生不同的结果。单目3D车道线检测旨在从输入图像中预测每条车道线的车道点在相机坐标系下的3D位置。车道线表示为，其中是图像中总车道线的数量， 是车道线中的点数。整个工作流程的综合示意图如图3所示。所提出的DB3D-L网络主要由三个模块组成：一个精细化的 Backbone 网络（D&F Net），用于同时提取深度信息和FV特征；一个特征融合模块（FusionNet），用于从深度信息和FV特征构建BEV特征；一个3D车道线检测Head（D-L Net），用于从BEV特征输出3D车道线检测结果。A. D&F网络为了实现深度感知，作者在框架的起始阶段估计输入图像的深度，并同步提取FV特征。与LSS范式创建图像的视锥不同，深度用于在场景的3D空间中恢复大小为的伪点云，其中分别表示图像视图的高度和宽度，表示深度通道，其中考虑了各自映射引起的畸变。如图4所示，点云包含了FV和BEV之间的相关性。两者都是伪点云在平面上的投影。区别在于BEV是3D点云直接投影到地面平面，而FV是通过透视成像获得的。因此，除了通过IPM从前视图获得BEV之外，也有可能
B. 融合网络如图4所示，在图像空间中，由于透视几何关系，来自更远和更外侧位置的关键信息可能会投影到图像中的同一列上，导致在H维度上出现重叠，但在真实3D空间的伪点云中，关键元素不会出现重叠，也不会在BEV空间中重叠。此外，从图像中恢复的伪点云信息中，高度较高的位置通常构成道路场景感知中的无效信息，尤其是在交通参与者识别和车道线检测方面。认识到在3D和BEV空间中高度通道中的关键信息具有独特性，并旨在避免对来自高地区域的无效信息进行计算，因此在这两个提取的特征的高度通道在进入融合模块之前被压缩为单个通道。为了减小特征图（Feature Volume，FV）的尺寸为 ，作者采用了FusionNet中的素数特征提取模型（Prime Feature Extraction，PFE）。PFE为每个方向（张量的一列）预测素数特征注意力，该注意力由列式最大池化以及用于精炼的卷积组成，如图3所示。通过使用PFE，高度通道中的无效信息被过滤掉，并提取出尺寸为的素数FV特征。为了减小深度特征的尺寸为 ，设计了一种深度注意力模块（Depth Attention Module，DAT），该模块在FV特征的指导下学习关键信息。FV特征首先通过一个卷积层，并使用Sigmoid函数进行激活，然后将其与深度特征进行Hadamard乘积，作为局部权重。DAT实现了空间交叉注意力模块的功能，使深度具有空间感知能力。然后，通过选择每个列中维度减少到单个值的最大值，作者提取出尺寸为的素数深度特征。融合模块旨在将尺寸为的BEV特征从尺寸为的主要FV特征和尺寸为的主要深度特征中生成。如上图所示， 是每个宽度的概率分布。受交叉注意力方法启发，对于每个宽度，主要特征被分配到每个深度位置，因此主要特征由深度概率分布，如图5所示。通过这种交叉注意力机制，特征在深度概率较高的区域获得更多强调。假设为主要特征， 为主要深度，BEV特征的计算公式为
其中表示Hadamard积。C. 3D车道线检测Head为了表示车道线的三维坐标，通常使用离散的三维点，而不是三维曲线的一组参数作为拟合曲线，因为拟合曲线不可避免地存在误差。在鸟瞰空间（BEV space）中，三维坐标可以有效地表示为其顶视图投影以及每个点的高度值，这是鸟瞰车的自然优势。三维车道线检测Head需要在鸟瞰空间（BEV）中输出每条车道线的空间分布，以及关键点的偏移量。空间坐标系定义为右-前-上，如图4所示，横向和高度偏移量通常在固定的纵向距离处计算。车道线在鸟瞰空间中的范围分布可以通过起点加上角度偏移来确定，或者使用多个鸟瞰层B E RLwDx2，这些层对应于L条车道线。然而，这些方法效率不高。受实例分割任务, 的启发，本文将输出结果划分为D×W的网格，并直接预测每个鸟瞰网格单元的置信度和类别，确定其是否属于特定车道线，然后预测每个单元的横向和高度偏移量。因此，本文设计的车道线检测Head需要完成三项任务：一项分类任务用于预测每个单元格的类别（N条车道线和背景），以及两项回归任务用于输出单元格内车道线点的和偏移量。最后，采用一种快速无监督聚类方法来获取实例级车道，该方法在BEV-LaneDet 中被称为后处理算法。D. 损失函数设计首先，作者引入二元交叉熵损失来表示每个BEV网格代表车道线点的置信度其中表示模型预测的置信度概率， 表示置信度的真实值。然后作者通过实例分割方法对每条车道线进行分类。使用聚类方法来预测车道线的数量。计算同一车道内单元嵌入的方差以及不同车道之间的累积距离。损失为均方误差损失被用于表达两种类型的偏移损失。仅计算具有正置信度真实标签的网格单元的偏移。对于高度偏移，它被计算为 \sigma } \\ { 0 , } & { e l s e } \end{array} \right." style="-webkit-tap-highlight-color: transparent; margin: 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important; text-align: center; overflow: auto; display: block;">其中表示每个单元格的预测高度偏移量， 表示与真实值相关的偏移量，sigma 是用于判断一个单元格是否为车道线的阈值。同样地， 偏移量计算为 \sigma } \\ { 0 , } & { e l s e } \end{array} \right." style="-webkit-tap-highlight-color: transparent; margin: 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important; text-align: center; overflow: auto; display: block;">请注意，当每个BEV网格被分类为属于某条车道线时，作者计算车道线点相对于该网格左边界的位置偏移量，范围从0到1。总损失包括深度损失和三维车道损失，这是IV. 实验与分析A. 实现细节在两个3D车道线检测基准数据集上进行了实验：Apollo模拟（ApolloSim）数据集和OpenLane v1.2。ApolloSim数据集包含来自虚拟高速公路地图的6000个样本、来自城市地图的1500个样本以及来自住宅区的3000个样本。它包括相应的深度图、语义分割图和3D车道线信息。OpenLane包含用于训练集的160,000张图像和用于验证集的40,000张图像。验证集包括六种不同场景，包括弯道、交叉口、夜间、极端天气、合并与分流以及上下坡。该数据集标注了14种车道类别，例如道路边缘和双黄实线。B. 在阿波罗模拟数据集上的结果阿波罗模拟数据集包含10,000张单目图像，这些图像采集于具有平衡、罕见观测和视觉变化特征的场景中。每个场景都包含独立的学习和测试集。adas-DB3D-L_2505与最先进的方法进行了比较，使用六个广泛接受的指标来验证其性能。评估指标包括F1分数（预测性能的关键指标）、类别准确率以及在近距和远距的ΔX和Z维度上的误差。这些指标基于GenLaneNet 。对于选定的比较方法，它们属于不同类别，IPM代表基于逆透视映射的方法，ViT代表基于视觉 Transformer 的方法，VRM代表基于视图关系模块的方法，LSS代表基于三维信息恢复的方法。如表1所示，adas-DB3D-L_2505在具有不同条件的各种数据集上均达到了相当的性能。在均衡场景中，adas-DB3D-L_2505优于所有比较方法，实现了最高的F1分数和准确率。即使在罕见场景中，adas-DB3D-L_2505也始终符合领先标准。adas-DB3D-L_2505在视觉动态环境中表现出优异的鲁棒性。adas-DB3D-L_2505在近距离的误差在各种条件下均保持极小。代表优先考虑F1分数的方法。
C. OpenLane上的结果在OpenLane数据集上的性能评估有效地反映了所提出方法在现实世界中的表现。作者将adas-DB3D-L_2505与当前最先进的方法在F分数、X和Z维度误差方面进行了比较，这些比较涵盖了近距离和远距离。如表2所示，adas-DB3D-L_2505在现实世界数据集上持续展现出相当的性能，特别是在近距离X误差指标上表现优异。OpenLane数据集上的检测结果如图6所示，涵盖了多种场景，包括多车道、遮挡、弯道、夜间、雨天和雾天条件。结果表明，adas-DB3D-L_2505在真实场景中成功实现了精确的车道线检测，并在具有挑战性的光照和天气条件下表现出鲁棒性。表1 在APOLLOSIM数据集上的评估结果D. 消融研究本节中的实验将在ApolloSim上进行，评估指标仍然基于Gen-LaneNet 。作者的 Baseline 方法使用ResNet34 作为 Backbone 网络，不进行深度训练。作者通过增加两个实验：深度训练、使用DAT的深度训练，来验证作者深度感知方法的有效性。在这三种场景中，作者分别进行100个epoch的训练，如表3所示。作者的 Baseline 方法达到了95.03%的F1分数，与当前最先进方法相当。当使用深度训练时，F1分数提高了超过两个百分点，在近距离处X误差降低了超过0.003米，在远距离处降低了0.02米，Z误差在近距离处降低了0.01米，在远距离处降低了0.04米，这证明了深度信息对于准确预测BEV场景信息具有高度有效性。当使用DAT时，达到了最佳性能，这表明DAT在网络中起着至关重要的作用。随后，开展了一项额外的实验以评估不同深度训练模式对性能的影响。采用了三种不同的深度训练方法。方法1：深度网络预训练后固定 Backbone 网络参数；方法2：深度网络预训练后固定深度网络参数；方法3：深度网络与模型同步训练。每种方法均进行了100个epoch的训练。如表4所示，当作者预训练深度网络并固定整个 Backbone 网络时，模型的性能受到很大限制。然而，当作者预训练深度网络并仅固定其本身时，模型的性能是可以接受的。值得注意的是，这种方法在缺乏额外深度真值的情况下，特别是在工程应用中具有特别的价值。最后，当作者同步训练深度网络和整个模型时，模型取得了最佳结果。
最后，对FusionNet进行了消融研究。在该实验中，独立使用基本融合模块和完整的FusionNet来整合深度信息和FV特征，生成BEV特征，从而验证了作者提出的FusionNet的有效性。在基本融合模块中，深度信息和FV特征的Height通道保持未压缩状态。它们直接相乘，生成大小为的特征，随后输入CNN以导出最终的BEV特征。表5中的实验结果表明，使用FusionNet时性能显著提升，同时参数数量减少。
页:
[1]
