3D目標檢測是自動駕駛領域最核心的技術之一。近日，在自動駕駛權威評測集nuScenes上，京東物流自動駕駛團隊提出的雷達和圖像前融合算法PAI3D，獲得多傳感器融合3D目標檢測世界第一的成績(使用任意傳感器，不使用額外數據)，這意味著京東物流末端配送自動駕駛技術已經位于世界領先水平。
▲京東物流提出的雷達和圖像前融合算法PAI3D，獲得多傳感器融合3D目標檢測世界第一(使用任意傳感器，不使用額外數據)
PAI3D是京東物流自動駕駛基于豐富的末端配送場景經驗，提出的雷達和圖像前融合3D目標檢測算法，該算法充分考慮了識別精度，計算效率，傳感器標定誤差等問題。在車端實際使用中，有效解決了遠處點云稀疏導致的識別不穩(wěn)定、特殊材質吸收點云導致的漏檢、細小障礙物難以識別以及僅依賴單目視覺3D目標檢測深度估計不準確等問題，有力支撐了京東物流智能配送車的大規(guī)模運營。
nuScenes數據集是由現代汽車集團和Aptiv合資成立的自動駕駛公司Motional(前nuTonomy)于2019年3月公布的超大型自動駕駛數據集，擁有從波士頓和新加坡等城市收集的1000個駕駛場景，140萬張圖像，39幀萬激光雷達點云，140萬毫米波雷達幀和從4萬關鍵幀中標注的140萬個障礙物真值框，是第一個大規(guī)模自動駕駛數據集，該數據集來自自動駕駛車輛的整個傳感器套件(6個攝像頭，1個激光雷達，5個雷達，GPS，IMU)的數據，在標注數據量上是KITTI數據集的7倍，其規(guī)模和難度超過KITTI、Udacity等公共數據集。
同時參與 nuScenes 多傳感器融合3D目標檢測的包括華為、商湯科技、三星、中國科學技術大學、上海交通大學、北京航空航天大學、北京理工大學、香港中文大學、得克薩斯大學奧斯汀分校、南洋理工大學、約翰斯·霍普金斯大學等國內外知名企業(yè)和研究機構。
▲京東物流雷達和圖像前融合算法PAI3D示意圖
目前在自動駕駛L4方案中，感知主要依賴激光雷達，但激光雷達存在一些缺陷，比如遠處信息稀疏，沒有顏色信息等。圖像信息可以彌補這些缺陷，但也缺乏深度信息。因此，在自動駕駛的技術中，如何利用多模態(tài)的傳感器信息來設計3D檢測算法，是自動駕駛感知系統(tǒng)的核心基礎。京東物流此次提出的PAI3D算法，通過在高級特征和低級特征層面融合圖像和點云信息，揚長避短，取得了很好的識別精度。同時PAI3D考慮了車端的算力分配，傳感器標定誤差等因素，具備良好的實用性。
此外，PAI3D還有效的解決了復雜公開道路運營中遇到的一系列難題，例如，遠處點云稀疏導致的識別不穩(wěn)定、特殊材質吸收點云導致的漏檢、細小障礙物難以識別，以及僅依賴單目視覺3D目標檢測深度估計不準確等問題，提升了障礙物位置和類別估計的準確度，減少了障礙物誤檢測和漏檢測。 PAI3D此次取得nuScenes數據集多傳感器融合3D目標檢測世界第一的成績，可以為京東物流末端配送的自動駕駛技術帶來以下三點優(yōu)勢。
首先，可通過多傳感器融合實現模塊復用、任務復用。隨著運營場景增加，自動駕駛的感知系統(tǒng)需要識別越來越多的要素，PAI3D能跨傳感器模態(tài)進行信息融合，充分利用圖像和點云語義分割信息來實現1+1>2的效果。
第二，充分考慮了計算資源分配的問題，具備靈活部署到車端異構并行計算平臺的實用性。在未來的車載系統(tǒng)中，需要考慮分時復用、異構并行計算等問題。PAI3D的融合方式可以隨著計算資源變化而靈活部署。
第三，標定誤差和運動補償不敏感，在日常運營中，傳感器相對位置會隨著時間積累而變化，并且激光雷達和相機的物理原理導致兩者之間存在一定程度的時空不一致性。PAI3D充分考慮了這個問題，能在一定限度內容忍標定誤差和運動補償誤差，具備很強的容錯性。正是基于這三點優(yōu)勢，不僅彰顯出京東物流在自動駕駛領域的技術實力，而且意味著京東物流末端配送自動駕駛技術已經位于世界領先水平。
近年來，在長期技術投入和創(chuàng)新驅動下，京東物流軟件、硬件及系統(tǒng)集成的三位一體供應鏈物流技術核心競爭力持續(xù)升級，目前已形成了覆蓋園區(qū)、倉儲、分揀、運輸、配送等供應鏈各關鍵環(huán)節(jié)的技術產品及解決方案，以提升預測、決策和智能執(zhí)行能力，幫助更多客戶全面優(yōu)化供應鏈網絡，提升數智化能力和運營效率。
此次獲得nuScenes多傳感器融合3D目標檢測世界第一，再次彰顯出京東物流在自動駕駛領域已經搭建起成熟的研發(fā)和運營體系，憑借京東物流提供的豐富運營場景，可以實現快速的升級迭代，加速長尾場景的發(fā)現和解決，完善大規(guī)模運營能力，形成技術和規(guī)模降本，為整個行業(yè)提供經驗和借鑒。
（轉載）
