当前位置: 代码迷 >> 综合 >> Transformer 又立功了!又快(420 fps)又好的车道线检测算法
  详细解决方案

Transformer 又立功了!又快(420 fps)又好的车道线检测算法

热度:99   发布时间:2023-11-22 04:28:21.0

分享一篇新出的论文 End-to-end Lane Shape Prediction with Transformers,该文为车道线检测问题建立参数模型,使用Transformer捕获道路中细长车道线特征和全局特征,所发明的车道线检测算法与以往相比,可端到端训练、参数量更少、速度更快(高达420 fps,单1080Ti)。

该文作者信息:

Facebook的DETR目标检测算法,说明了Transformer用于计算机视觉的巨大潜力。

该文的一大目标即是将Transformer用于车道线检测,将其用于特征提取部分。

另外,车道线检测以往的方法往往需要经过特征提取和后处理两个过程,这使得整个算法不能端到端训练,作者借助于对车道线曲线和相机内参的描述,采用多项式参数模型来描述车道线,并配以Bipartite Matching Loss函数,实现端到端训练,网络的目标成为预测几个参数,这无需后处理且降低了计算量。

整体网络结构:

车道线参数模型:

对应于网络结构中的 Curve Parameters 的参数组。

在TuSimple数据集测试集上的结果比较:

该文方法取得了速度最快(使用ResNet18作骨干网,420 FPS),精度不是最好,但已经是接近目前文献报告的最好结果,而且参数量极小。(使用1080TI GPU)

使用二次曲线还是三次曲线模型拟合车道线更好呢?作者做了个实验:

结果发现三次曲线略胜一筹。

与PolyLaneNet算法检测结果比较:

可见,该文算法拟合的车道线更加精确。

下图为在作者收集的FVL数据集上的效果:

尽管训练集中没有夜间行车数据,但该文算法仍能很好的检测车道线,表明其强大的泛化能力。

论文地址:

https://arxiv.org/pdf/2011.04233.pdf

代码地址:

https://github.com/liuruijin17/LSTR

(尚未开源)

Transformer最近频频在计算机视觉领域出镜,还可能有哪些突破?欢迎留言。

END

  相关解决方案