当前位置: 首页 >  论文展示 >  正文

A two-stage approach for road marking extraction and modeling using MLS point clouds

石莹 2021-08-08 浏览

概述


路面标志在道路资产管理、智能交通系统、高精度地图生产及新型基础测绘中具有重要需求及意义。车载激光扫描系统可以快速获取道路及其两侧地物表面高精度位置和属性信息,为精确提取路面标志等要素提供了一种重要的数据源。当前大多数方法主要从车载激光点云中提取和识别路面标志,其性能易被标线磨损和遮挡导致的数据不完整影响,除此之外,路面标志的参数化表达也有待进一步研究。本文提出了一种基于车载激光点云的两阶段路面标志提取与建模方法,其对点云强度、点密度分布不均、和数据不完整等具有较强的鲁棒性。该方法首先通过目标检测网络检测出带有语义标签的路面标志的初始位置;然后联合路面标志的几何结构和纹理特征,通过模板匹配策略在原始点云中确定各个标线精确的位置、方向和尺度;最后,联合初始检测置信度与精定位得分对候选区域的路面标志排序并取最优;基于此,可准确提取和重建路面 12 种道路标志模型。大范围实验表明,本文提出的自上而下的两阶段路面标志提取与重建方法的整体提取精度优于 95.1% ,召回优于 92.3% ,模型重建精度(mIoU)优于 0.504


A824

图1 12种路面标志示意图

方法


该方法主要包括初始位置检测和精确定位两个部分,整体流程如图2所示。首先,通过目标检测网络检测出路面标志的初始位置;然后,通过最大化能量函数确定每个道路标志的精确位置、方向和尺度;最后联合初始包围框的检测置信度和精确定位得分对候选区域的路面标志排序并取最优,最终实现路面标志的精确提取和模型重建。


B055

图2 路面标志提取及重建整体流程图



(1)路面标志初始位置检测
自下而上的路面标志提取方法的性能易受到数据质量的影响,如:强度变化、点密度分布不均、数据不完整等,为了克服这些问题,本文提出了一种自上而下的路面标志提取和重建方法:首先通过目标检测网络在特征图中检测带有语义标签的路面标志初始包围框,然后将包围框反投影至点云坐标系中,通过全局类内非极大抑止筛选出待选道路标志的位置。路面标志初始位置检测过程如图3所示。


图片

22D0CC

图3 路面标志初始位置检测:

(a)生成的特征图;

(b)在特征图中检测到的路面标志包围框;

(c)反投影至点云坐标系中的包围框;

(d)全局类内非极大抑止后的初始路面标志位置。


(2)精定位与模型重建
本文经过联合几何形状和纹理特征的模板匹配、联合粗定位置信度和模板匹配得分的最优标志选择,最后得到路面标志精确的位置、方向和尺度参数,实现了12类路面标志的准确识别与模型重建。联合粗定位置信度和模板匹配得分的最优标志选择过程如图4所示。


14351

图4 联合粗定位置信度和模板匹配得分的最优标志选择。

实验


本文通过3个数据集验证该方法的有效性,数据集相关参数如表1所示:数据集A为训练集,数据集B、C为测试集。数据集B的路面标志重建结果如图5所示,数据集C的路面标志重建结果如图6所示,图7、8分别展示了本方法在路面点云强度、点密度分布不均、数据不完整及路面标志尺度变化的场景中的提取效果。


表1 实验数据集描述

1985B


17B93

图5 数据集B的路面标志模型重建结果。

图片18BE2

图6 数据集C的路面标志模型重建结果。

图片

18D8C

图7 本方法对(a)(b)路面点云强度分布不均,(c)点密度分布不均、

数据不完整场景下的路面标志提取及模型重建结果:

第一行为原始道路点云(强度赋色);

第二行为路面标志提取结果;

第三行为路面标志模型重建结果。

图片

194A5

图8 本方法对(a)多尺度路面标志、点云强度分布不均,

(b)数据不完整,

(c)多尺度路面标志场景下的路面标志提取及模型重建结果:

第一行为原始道路点云(强度赋色);

第二行为路面标志提取结果;

第三行为路面标志模型重建结果。



Abstract


Road markings are of greatsignificance to road inventory management, intelligent transportation systems,high-definition maps (HD Maps), and autonomous driving. Most existing methodsfocus on extracting and classifying the road markings from mobile laser scanning(MLS) point clouds. Nevertheless, the performance suffers from the wear andincompleteness of road markings. Converting the extracted road marking pointsinto a consistent representation with a sparse set of parameters needsextensive study as well. This paper presents a two-stage coarse-to-fine objectdetection and localization approach for automatically extracting and modelingroad markings from mobile laser scanning (MLS) point clouds, which is robust tovariations in reflective intensity, various point density, and partialocclusion. The first step is to use a general object detection network todetect bounding boxes with semantic labels of road markings on feature maps,which consists of information about intensity, elevation, and distance to thescanner. Next, accurate positions, orientations, and scales of candidate roadmarkings are determined in the raw point clouds coordinate system through ashape matching operator that leverages the standard geometric structure andradiometric appearance of road markings. Finally, a re-ranking operatorcombining the coarse detection confidence and fine localization score is usedto acquire the final road marking models. Comprehensive experiments revealedthat the proposed method achieved an overall performance of 92.3% in recall and95.1% in precision for extracting 12 types of road markings from urban scenepoint cloud datasets, even with worn and incomplete road markings. The modelingperformance was 0.504 using the mIoU metric.