摘要： 矢量高精地圖能為決策規(guī)劃、軌跡預(yù)測(cè)、環(huán)境感知提供重要的高層級(jí)語(yǔ)義信息，是自動(dòng)駕駛系統(tǒng)中不可或缺的部分。地平線聯(lián)合華中科技大學(xué)Vision Lab提出基于結(jié)構(gòu)化建模的矢量高精地圖實(shí)時(shí)在線構(gòu)建方法——MapTR。MapTR僅依靠車載環(huán)視相機(jī)數(shù)據(jù)，輸出自車周圍各類地圖要素的結(jié)構(gòu)化表示，能夠?qū)崿F(xiàn)實(shí)時(shí)的高質(zhì)量的在線地圖構(gòu)建。MapTR展現(xiàn)了在線建圖方案的潛力，具有很高的應(yīng)用價(jià)值，有助于推動(dòng)自動(dòng)駕駛技術(shù)的發(fā)展。

晴天&陰天

?

雨天

夜晚

藍(lán)色-pedestrian crossing，黃色-lane divider，綠色-road boundary

圖1 MapTR在多樣而復(fù)雜的駕駛場(chǎng)景中都能穩(wěn)定地構(gòu)建高質(zhì)量的矢量地圖

背景

矢量高精地圖（vectorized high-definition map）是應(yīng)用于自動(dòng)駕駛的高精度結(jié)構(gòu)化電子地圖，其由駕駛場(chǎng)景各類地圖要素（如人行橫道、車道線、路沿等）的矢量化表示構(gòu)成，為決策規(guī)劃、軌跡預(yù)測(cè)、環(huán)境感知提供重要的高層級(jí)語(yǔ)義信息。

以往的高精地圖通常以離線的方式構(gòu)建，即利用地圖采集車的車載傳感器（激光雷達(dá)、相機(jī)、慣導(dǎo)等）采集場(chǎng)景數(shù)據(jù)，并通過(guò)自動(dòng)化和人工相結(jié)合的方式對(duì)數(shù)據(jù)進(jìn)行處理和矢量化語(yǔ)義標(biāo)注。離線建圖的主要挑戰(zhàn)在于：1）采集、處理和標(biāo)注都需要大量的人力和時(shí)間成本，且流程繁瑣；2）道路信息動(dòng)態(tài)變化，離線構(gòu)建的地圖時(shí)效性差，需要高頻更新來(lái)保證地圖的準(zhǔn)確性；3）考慮到信息安全，離線地圖無(wú)法覆蓋到保密要求高的區(qū)域；4）當(dāng)拓展到大規(guī)模大范圍的高精地圖應(yīng)用時(shí)，離線建圖在人力、時(shí)間和維護(hù)成本上的問(wèn)題將更加凸顯。

在線建圖是指在自動(dòng)駕駛車輛行駛過(guò)程中利用車載傳感器實(shí)時(shí)地感知自車周圍的地圖要素并生成地圖。在線建圖無(wú)需人工處理、標(biāo)注和維護(hù)，相比離線建圖，成本低，可拓展性強(qiáng)，易用性強(qiáng)。然而，目前的在線建圖方法在建圖質(zhì)量和建圖速度兩方面都難以達(dá)到自動(dòng)駕駛實(shí)際應(yīng)用的要求。高質(zhì)量高效率在線建圖成為了業(yè)界亟待解決的技術(shù)難題。

針對(duì)這一問(wèn)題，地平線聯(lián)合華中科技大學(xué)Vision Lab提出了基于結(jié)構(gòu)化建模的矢量高精地圖實(shí)時(shí)在線構(gòu)建方法——MapTR。MapTR通過(guò)對(duì)地圖要素的結(jié)構(gòu)化建模消除表示上的歧義性，降低地圖要素的復(fù)雜度和學(xué)習(xí)難度，并且采用端到端的結(jié)構(gòu)化框架高效地生成矢量高精地圖。MapTR在nuScenes數(shù)據(jù)集上達(dá)到了最好的建圖質(zhì)量和實(shí)時(shí)的運(yùn)行速度。豐富的可視化結(jié)果表明（如圖一），MapTR在多樣而復(fù)雜的駕駛場(chǎng)景中都能穩(wěn)定地構(gòu)建高質(zhì)量的矢量地圖。MapTR展現(xiàn)了在線建圖方案的潛力，具有很高的應(yīng)用價(jià)值和落地前景，有助于推動(dòng)自動(dòng)駕駛技術(shù)的發(fā)展。

地圖要素結(jié)構(gòu)化建模

圖二? 地圖要素結(jié)構(gòu)化建模 ? MapTR提出了新穎的結(jié)構(gòu)化建模方式。基于幾何先驗(yàn)，MapTR將開環(huán)地圖要素（如車道線）離散化為polyline（多段線），將閉環(huán)地圖要素（如人行橫道）離散化為polygon（多邊形）。Polyline和polygon都可以用以某種順序排列的若干節(jié)點(diǎn)統(tǒng)一地表示。通過(guò)等間隔采樣可以確定節(jié)點(diǎn)，但節(jié)點(diǎn)的排列方式難以明確定義和表示，同一拓?fù)浣Y(jié)構(gòu)可以對(duì)應(yīng)于多種等效的節(jié)點(diǎn)排列方式。? 具體而言，對(duì)于polyline，如圖二（左），存在2種等效的節(jié)點(diǎn)排列方式，對(duì)應(yīng)于兩種相反的連接節(jié)點(diǎn)的順序。對(duì)于polygon，如圖二（右），存在??種等效的節(jié)點(diǎn)排列方式（??為節(jié)點(diǎn)數(shù)量），任一節(jié)點(diǎn)都可以作為起始點(diǎn)，且存在兩種相反的連接順序。為了消除表示上的歧義性且準(zhǔn)確地描述節(jié)點(diǎn)之間的排列方式（連接關(guān)系），MapTR引入等效排列集合的概念，所有等效的節(jié)點(diǎn)排列方式構(gòu)成的集合作為等效排列集合。 ? MapTR將地圖要素統(tǒng)一地建模為節(jié)點(diǎn)點(diǎn)集??和關(guān)于節(jié)點(diǎn)的等效排列集合??，節(jié)點(diǎn)點(diǎn)集??用于描述地圖要素關(guān)鍵點(diǎn)的位置信息，等效排列集合??包含了節(jié)點(diǎn)之間所有的等效的連接關(guān)系， 用于描述地圖要素的拓?fù)浣Y(jié)構(gòu)。節(jié)點(diǎn)點(diǎn)集和等效排列集合??構(gòu)成了地圖要素的結(jié)構(gòu)化表示??。

端到端訓(xùn)練

在結(jié)構(gòu)化建模的基礎(chǔ)上，MapTR采用了基于DETR[1]的set prediction的方式進(jìn)行端到端訓(xùn)練。MapTR引入分層級(jí)匹配機(jī)制進(jìn)行標(biāo)簽分配，即實(shí)例級(jí)匹配（instance-level matching）和節(jié)點(diǎn)級(jí)匹配（point-level matching）。 實(shí)例級(jí)匹配：在預(yù)測(cè)的地圖要素和真實(shí)的地圖要素之間找到最優(yōu)的一一對(duì)應(yīng)關(guān)系，匹配的依據(jù)為地圖要素之間的類別相關(guān)性和位置相關(guān)性：

? 節(jié)點(diǎn)級(jí)匹配：對(duì)于每一個(gè)地圖要素，從等效排列集合中找到最優(yōu)的排列，使得預(yù)測(cè)的節(jié)點(diǎn)和真實(shí)的節(jié)點(diǎn)一一對(duì)應(yīng)且點(diǎn)對(duì)之間的距離之和最小：

損失函數(shù)：根據(jù)分層級(jí)匹配的結(jié)果，損失函數(shù)由classification loss，point2point loss和edge direction loss組成：

Classification loss根據(jù)實(shí)例級(jí)匹配的結(jié)果對(duì)地圖要素的類別預(yù)測(cè)進(jìn)行約束：

Point2point loss根據(jù)節(jié)點(diǎn)級(jí)匹配的結(jié)果，對(duì)匹配的點(diǎn)對(duì)之間的位置關(guān)系進(jìn)行約束：

Edge direction loss對(duì)預(yù)測(cè)的edge和真實(shí)的edge的方向一致性進(jìn)行約束：

結(jié)構(gòu)化建圖框架

在結(jié)構(gòu)化建模的基礎(chǔ)上，MapTR采用了結(jié)構(gòu)化框架端到端地輸出場(chǎng)景內(nèi)所有地圖要素的結(jié)構(gòu)化表示，無(wú)需后處理。圖三為MapTR的整體框架。MapTR以車載相機(jī)組實(shí)時(shí)采集的圖像數(shù)據(jù)作為輸入。Map Encoder對(duì)原始圖像提取語(yǔ)義特征，并通過(guò)2D-to-BEV變換方法（如GKT[2]、IPM[3]、Deformable Attention[4]、LSS[5]），將2D特征圖轉(zhuǎn)換為統(tǒng)一的BEV（bird’s eye view）特征圖。Map Decoder采用了分層級(jí)的query embedding機(jī)制結(jié)構(gòu)化地編碼地圖要素的信息。分層級(jí)query和BEV特征圖進(jìn)行交互，并且 query之間進(jìn)行實(shí)例內(nèi)和實(shí)例間的交互。分層級(jí)query迭代地更新，最終輸出地圖要素的語(yǔ)義類別和節(jié)點(diǎn)位置。

圖三 結(jié)構(gòu)化建圖框架

實(shí)驗(yàn)

圖四展示了在nuScenes數(shù)據(jù)集上MapTR與其他在線建圖方法（HDMapNet[1]和VectorMapNet[2]）的對(duì)比，MapTR在建圖速度和建圖質(zhì)量?jī)煞矫娑加忻黠@的優(yōu)勢(shì)。MapTR-nano達(dá)到了實(shí)時(shí)的推理速度（25.1FPS），8倍快于其他視覺(jué)方法，并且建圖質(zhì)量更高（+3.3mAP）。MapTR-tiny達(dá)到了遠(yuǎn)好于多模態(tài)方法的建圖質(zhì)量（+13.5mAP）并且仍有3倍的速度優(yōu)勢(shì)。

圖四 與其他在線建圖方法的對(duì)比

圖五是關(guān)于建模方式的消融實(shí)驗(yàn)。相比于把地圖要素建模為排列固定且唯一的序列點(diǎn)集，基于等效排列概念的結(jié)構(gòu)化建模極大地簡(jiǎn)化了地圖要素的學(xué)習(xí)難度，并且顯著提高了建圖質(zhì)量。

圖五 關(guān)于建模方式的消融實(shí)驗(yàn) 圖六是關(guān)于2D-to-BEV變換方法的消融實(shí)驗(yàn)。MapTR能夠兼容各種2D-to-BEV變換方法，并且基于多種方法都能取得穩(wěn)定的建圖速度和質(zhì)量。

圖六 關(guān)于2D-to-BEV變換方法的消融實(shí)驗(yàn)