廠商認(rèn)同「融合」是確保ADAS與自動駕駛車輛安全性的關(guān)鍵，但他們在融合不同類型傳感器數(shù)據(jù)時也面臨各種挑戰(zhàn)。。.

　　隨著有越來越多汽車廠商開始將不同的傳感器整合到先進(jìn)（ADAS）/自動駕駛車輛，他們通常都會認(rèn)同「傳感器融合（fusion）」是高度自動化駕駛安全性的關(guān)鍵。

　　但不為人知的是，這些廠商所采用的數(shù)據(jù)──是原始（raw）數(shù)據(jù)或經(jīng)過處理的數(shù)據(jù)？ ──細(xì)節(jié)，以及他們在融合不同種類傳感器數(shù)據(jù)時面臨的挑戰(zhàn)；如市場研究機(jī)構(gòu)Strategy Analytics汽車市場分析師Ian Riches所言：「目前的傳感器融合并沒有在原始傳感器數(shù)據(jù)上完成，通常每個傳感器都會進(jìn)行自己的本地處理。 」

　　EDA供貨商明導(dǎo)國際（Mentor Graphics）將在近日于美國底特律舉行的年度SAE World Congress大會上，展示如何將來自不同感測裝置──雷達(dá)、光達(dá)、視覺或超音波。。. 等等──的原始數(shù)據(jù)實時融合，以實現(xiàn)在感測精確度以及整體系統(tǒng)效益上的大幅提升。

　　Mentor Graphics正推出名為DRS360的自動駕駛平臺，號稱能將來自所有系統(tǒng)傳感器之未經(jīng)過濾的信息直接傳送到一個中央處理單元，然后將那些原始傳感器數(shù)據(jù)在各個層級實時進(jìn)行融合；該公司副總裁暨部門總經(jīng)理Glenn Perry接受EE Times采訪時，比較了「傳感器融合」與「原始數(shù)據(jù)融合」的不同，指出兩者之間存在著「 微妙卻非常重要的差異」。

　　一般來說，提供給汽車廠商的模塊化設(shè)計，以預(yù)先處理數(shù)據(jù)；Strategy Analytics的Riches解釋：「舉例來說，從攝影機(jī)傳送至融合系統(tǒng)的數(shù)據(jù)并不會是實際的影像數(shù)據(jù)，而是對影像中重要區(qū)域的描述──像是哪里有一條白線、哪里有一輛車、哪里有交通號志。。. 而所有的融合在這時候才以那些較高層級的數(shù)據(jù)進(jìn)行。

　　Mentor認(rèn)為，擺脫各個終端節(jié)點使用之傳感器模塊的預(yù)處理，選用原始數(shù)據(jù)，能讓ADAS/自動駕駛車輛的設(shè)計工程師大幅提升實時性能，并降低整體系統(tǒng)成本與復(fù)雜度；此外也能利用所有擷取到的傳感器數(shù)據(jù)，為車輛所在環(huán)境與駕駛路況建立最高分辨率的模型。

　　DRS360是一款可開發(fā)符合ISO 26262 ASIL D標(biāo)準(zhǔn)之系統(tǒng)的平臺；Mentor的Perry指出，該平臺以賽靈思（Xilinx）的Zynq系列處理原始數(shù)據(jù)融合，搭配負(fù)責(zé)ADAS或自動駕駛功能的SoC （可以是ARM或x86架構(gòu)），以及一顆MCU （例如-Infineon的安全微控制器）。

　　產(chǎn)業(yè)顧問機(jī)構(gòu)Vision Systems Intellige創(chuàng)辦人Phil Magney表示：「傳感器融合是一項復(fù)雜的任務(wù)，用原始數(shù)據(jù)會更難；」他解釋，原始數(shù)據(jù)融合能更有效率地讓運算資源在集中化的系統(tǒng)中整并，不過在的整合上面臨更艱難的挑戰(zhàn)。 」

　　為何原始數(shù)據(jù)融合很困難？

　　原始數(shù)據(jù)融合難在哪里？ Mentor的Perry表示，首先是每個傳感器會數(shù)據(jù)流，而且是以不同的畫面更新率、不同的率以及間隔時間：「這是一個異步（asynchronous）系統(tǒng)；」其次，不同類型的數(shù)據(jù)：「需要被統(tǒng)整為一致性的表述（cohesive repreation）。 」

　　例如攝影機(jī)的原始影像（2D）、光達(dá)的點云（point cloud，為3D）以及雷達(dá)的ADC輸出，這些都必須被融合到符合時間/空間的3D環(huán)境圖；而第三，如Perry所言，必須要被統(tǒng)整的：「是真正很龐大的數(shù)據(jù)流。 」針對未指明的3D數(shù)據(jù)集，Mentor還開發(fā)了取得專利的算法，能實現(xiàn)將光達(dá)的空間位置數(shù)據(jù)、來自雷達(dá)的車輛速度數(shù)據(jù)，以及視覺裝置的物體偵測數(shù)據(jù)之融合。

　　Perry表示，過去在分布式的傳感器數(shù)據(jù)模塊中，每個傳感器通常會丟棄一大堆數(shù)據(jù)；但集中化的解決方案采用未過濾之傳感器數(shù)據(jù)，能確保精確度與可靠度的強化；他強調(diào)Mentor花費兩年的時間進(jìn)行該平臺的開發(fā)：「對于系統(tǒng)效益的改善，我們自己都很驚訝──包括延遲的降低與處理性能的增加，都是由原始數(shù)據(jù)融合的算法所實現(xiàn)。 」

　　而產(chǎn)業(yè)專家認(rèn)為，原始數(shù)據(jù)融合可望在未來催生更「開放」的智能車輛平臺，取代目前比較像是「子」的方案。。.

　　產(chǎn)業(yè)顧問機(jī)構(gòu)Vision Systems Intelligence創(chuàng)辦人暨首席顧問Phil Magney將原始傳感器數(shù)據(jù)融合稱為「產(chǎn)業(yè)界的發(fā)展方向」，他認(rèn)為：「其他的技術(shù)進(jìn)展也能搭配原始數(shù)據(jù)融合；舉例來說，神經(jīng)網(wǎng)絡(luò)將能因為不同來源的原始數(shù)據(jù)而提升性能。 」

　　而分析師們也認(rèn)為，Mentor Graphics之DRS360平臺相對較大的「開放性」，會是其優(yōu)勢之一；如Strategy Analytics分析師Ian Riches表示：「該平臺能提供一線汽車零組件供貨商或車廠最大的靈活性，來設(shè)計他們自己的解決方案并帶來自有價值。 」

　　Riches進(jìn)一步指出，現(xiàn)在像是Mobileye的系統(tǒng)通常就是個“黑盒子”，一線汽車零組件供貨商要利用其方案打造自己的產(chǎn)品，就不得不用成本來競爭，因為他們無法自己調(diào)整系統(tǒng)的核心算法，Mobileye將算法視為IP。

　　不過DRS360無論在使用的芯片或是執(zhí)行的算法上都有彈性，Magney表示：「到目前為止，大多數(shù)ADAS應(yīng)用程序都是透過對象數(shù)據(jù)（object data）來完成，也就是傳感器模塊會做所有事情，例如偵測并針對場景中的相關(guān)對象進(jìn)行分類。 」

　　Maney同意Riches的說法，認(rèn)為Mobileye的解決方案就像是“黑盒子”；而他進(jìn)一步指出：ADAS應(yīng)用程序是可以采用「邊緣處理（Edge processing）」，但對車輛來說，將處理程序整并在一起更實際。

　　DRS360的可擴(kuò)展性也很重要，廠商可以不必為不同ADAS或自動駕駛車輛各自開發(fā)平臺，而是以DRS360平臺進(jìn)行擴(kuò)充，開發(fā)自己的解決方案；許多車廠認(rèn)為這才是利潤所在。

　　但是一個平臺有FPGA又有SoC與MCU，對廠商來說在成本上負(fù)擔(dān)不會太大嗎？ Riches并不認(rèn)為：「一輛車子會有大量的標(biāo)配ADAS功能與傳感器，像是DRS360這種集中化的架構(gòu)在理論上反而能省錢；」他解釋：「沒錯，你需要添加器，但可以不必在每個傳感器配備搭配車輛的多個較小型處理單元。 」

　　誰能因為采用集中化平臺而獲益？

　　Strategy Analytics的Riches表示，對于希望最終產(chǎn)品包含自家獨特IP的廠商來說，DRS360平臺可提供顯著優(yōu)勢，但這對于想要統(tǒng)包式（turnkey）解決方案的人來說卻是缺點，因為意味著要讓產(chǎn)品上市，得做更多事。

　　Mentor Graphics副總裁暨系統(tǒng)部門總經(jīng)理Glenn Perry表示：「每家廠商──無論他們是不是專家──都會有特定需求，需要某些客制化元素；」在這方面，他認(rèn)為DRS360可以滿足那些需求，如果車廠真的沒有專家、不知道該怎么找到想要的功能，一線汽車零組件供貨商就可以利用該平臺自行做技術(shù)上的調(diào)整，再提供給車廠。

　　另一家市場研究機(jī)構(gòu)IHS Markit的市場首席分析師Luca De Ambroggi認(rèn)為，DRS360對供應(yīng)鏈上許多廠商來說都有利，從正在尋找開發(fā)平臺的系統(tǒng)業(yè)者到芯片供貨商，還有那些不想或不能自己開發(fā)軟件、系統(tǒng)安全性或AI等功能的人。

　　跟芯片供貨商搶生意？

　　但最大的問題是，Mentor推出DRS360平臺是準(zhǔn)備跟Mobileye/Intel與Nvidia等積極搶進(jìn)汽車市場的芯片廠商搶生意嗎？

　　對此Riches指出，傳感器模塊可能是受沖擊最大的廠商，因為很多這些業(yè)者是以搭配傳感器的處理性能與算法做為產(chǎn)品附加價值，但DRS360平臺的集中化架構(gòu)，讓傳感器廠商被「降級」，只需要提供原始數(shù)據(jù)。

　　「Mentor不是芯片供貨商，我猜他們也會保持平臺的非關(guān)芯片，但或許Mobileye/Intel與Nvidia的想法會不一樣；」IHS Markit的De Ambroggi表示，Mentor的觀點是從架構(gòu)與設(shè)計支持、軟件平臺出發(fā)，并非是推銷特定芯片。

　　Mentor的Perry坦承，央處理原始數(shù)據(jù)融合，芯片供貨商可能有自己的方法，例如利用的TFLOP等級處理性能：「通常是擁有硬件與軟件的人，會有做這種生意的動機(jī)；」他表示，Mentor認(rèn)為DRS360與其他解決方案的差異，在于能以最少的處理性能做到原始數(shù)據(jù)融合。

　　雖然對于透露DRS360平臺以FPGA、SoC與MCU實現(xiàn)的處理性能細(xì)節(jié)有所顧慮，Perry聲稱該平臺能打造全自動駕駛車輛，而且僅需100瓦的功率；具體來說，他指出FPGA約24瓦，兩顆SoC各15瓦，安全微控制器功耗則是5W。

　　Perry并指出，采用FPGA執(zhí)行原始數(shù)據(jù)融合算法，是因為其高性能與高容量，能直接處理原始數(shù)據(jù)，數(shù)據(jù)封包不需要從內(nèi)存進(jìn)進(jìn)出出；此外：「你可以直接將FPGA與來自不同類型的傳感器數(shù)據(jù)流鏈接，這是有彈性的，能適應(yīng)供貨商指定的不同種類傳感器實體接口。

　　Strategy Analytics的Riches表示：「對ADAS/自動駕駛車輛來說，這種彈性會很實用，而且因為傳感器并沒有標(biāo)準(zhǔn)組合，移動那些傳感器數(shù)據(jù)的標(biāo)準(zhǔn)方式也還沒出現(xiàn)。 」