電子后視鏡(Camera Monitor Systems, CMS)是由攝像機與監視器組成的系統,在規定視野內需要看清車輛后方、側方視野,是一種新型間接視野裝置,新版GB15084標準稱之為“攝像機-監視器系統(camera-monitor system)”,簡稱CMS。電子后視鏡的優點是消除了傳統光學后視鏡受限于鏡面曲率、形狀、大小角度等因素造成的視野限制,視野盲區相對小很多,整個視野更加寬闊,這樣一來,駕駛員可以看到更多的細節,提升行駛過程中的安全性。
隨著電子技術的高速發展,以計算機技術為基礎的視頻圖像處理系統在圖像處理速度、集成度和穩定性方面都得到了較大提升,為汽車電子后鏡的智能化發展創造了條件。國內外汽車廠商紛紛啟動了CMS研發計劃,特別是造車新勢力中的新能源汽車更是熱衷于率先應用CMS,以便提升汽車的視覺性能。
CMS與行程記錄儀具有相似之處,都能實時顯示汽車行駛過程中的周圍環境,即圖像顯示。不同的是,電子后視鏡需要具備實時特性,才能確保安全監測周圍行人、同/逆方向行駛汽車、靜止/運動物體等。《道路車輛-攝像機監控系統的人體工程學和性能方面-要求和測試程序》(ISO 16505-2019)中規定CMS的延時應足夠短,以便幾乎同時渲染場景,在(22±5)℃的室溫下,延時應小于200ms。聯合國R046關于輪式車輛安裝及/或用在輪式車輛上的裝備及零部件采用統一的技術法規,以及滿足這些法規認證相互認可的條件。
一、CMS 延時產生的距離差
由于具備實時性的特點,汽車物理后視鏡沒有延時的技術問題,駕駛員坐在駕駛室座位上直接獲取汽車后方、側方和下方等外部信息。但是CMS 需要經過圖像信息處理,產生了圖像視頻信息的延時。在高速公路上行駛車輛的延時距離如圖所示。陰影部分為ISO 16505 中的III 類車后視鏡。
高速公路上行駛車輛的延時距離
駕駛員應能在水平路面上清晰的視野,能夠觸及到4米寬、后方20米處延伸至地平線的區域。當汽車在高速公路上行駛時,特別是在特殊情況下慢車道行駛的汽車通過視鏡觀察左側車輛時,由于CMS的延時效應,顯示屏上觀察到的左側高速行駛車輛位置與實際位置之間可能存在距離差。
具體來說,當一輛以極低速度行駛的汽車與另一輛以120 km/h(即0.0333 m/s)的速度行駛、對應延時200 ms的汽車相對而行時,根據下表中的數據,它們之間的距離差為6.66米。因此,當汽車駛入高速公路主道時,必須充分考慮并預留足夠的安全距離,以確保行車安全。? ? ? ??
CMS 延時與行駛距離關系
二、 高速公路汽車行駛速度與距離
當汽車由低速道路行駛至高速公路時,由于各個車道的速度不同,CMS延時所產生的距離差也各不相同。如下圖所示,因此,在駕駛車輛時需要判斷并應對不同車道高速行駛車輛的車速和CMS延時對應的距離差異。
車輛駛入高速公路的預留安全距離
當汽車行駛在三車道高速公路上時,各個車道的行駛速度有所差異,即120~100 km/h、100~80 km/h和80~60 km/h。駕駛員通過CMS觀察后方行駛車輛時,需預留適當的緩沖時間,以應對相應的汽車瞬間行駛距離,具體數據如下表所示。??
高速路行駛汽車CMS 延時與距離關系
三、視覺感知的時間延遲對汽車行駛間距的影響
根據視覺時間特性,人眼對外來光線的亮度感覺屬于能量積累型,即從光線接收到產生亮度感覺并非瞬時,兩者間的延時差稱為視覺延時。研究結果證實,視覺時間特性的存在會導致位置誤差,并指出這個誤差與目標物運動的速度以及視覺系統延時有關。實驗驗證了視覺時間特性與定位空間誤差距離之間的關系。
通過實驗測試視覺系統對亮影像動態響應特性的影響研究,得到了具體的視覺延時數據。即用最小二乘法擬合數據得到的常數近似于一階系統響應特性曲線的指數函數,從而建立了視覺系統的動態響應數學模型。將適用于特定環境下的特性模型進行推廣。首次通過行為實驗測試得到視覺感知亮度與激勵時間的對應關系,并分析發現視覺系統對亮度的響應過程就是亮影像的建立過程(暗影的消退過程)。這一結果有力地證實了視覺系統的延時、影像殘留等一些說法的真實性,同時能夠詳細地給出響應時間與響應亮度的關系。
視覺系統的時域動態特性如同動態信號有時域和頻域描述一樣,系統的動態特性也有時域與頻域之分。通過從時域和頻域兩個不同的角度考察和描述系統的動態特性,分別得到時域動態特性和頻域動態特性,如下表所示。
CMS 延時+視覺感知延時距離差
根據研究和實驗證據,我們可以得知人類視覺系統對亮度影像的動態響應特性。視覺感知的延時時間通常在5到7毫秒之間,也就是說,人們在識別圖像信息時具有一定的延遲效應。當駕駛員觀察電子后視鏡的顯示屏幕時,也需要考慮到這個視覺延時。
當我們在高速公路、城市道路和鄉村道路上以每小時120公里、60公里和30公里的速度行駛時,CMS系統的自身延時會產生距離差。因此,考慮到視覺延時,駕駛員觀察CMS屏幕時的延時時間應增加約5毫秒。這種延時距離差的具體數值如上表所示。
四、電子后視鏡結構設計與延時分析
4.1 CMOS 圖像傳感器性能
互補型金屬氧化物半導體(Complementary Metal Oxide Semiconductor, CMOS)圖像傳感器的種類相當豐富,其中索尼的IMX490圖像傳感器適用于高級駕駛輔助系統(Advanced Driving Assistance System, ADAS)多媒體攝像頭。背照式和疊加式CMOS設備選用該圖像傳感器,能夠同時拍攝高動態范圍圖像(High Dynamic Range, HDR)和發光二極管(Light Emitting Diode, LED)閃爍,具備2896(高)×1876(水平)像素,實現ADAS/自動駕駛的廣角鏡頭拍攝。其動態范圍HDR達到120 dB的功能是常規設備的三倍,再加上運動偽影緩解和高靈敏度,性能卓越。
索尼的IMX290圖像傳感器則在黑暗條件下也能捕捉到高分辨率的彩色圖像,采用背照式結構并擴大了光電二極管面積,相比現有相同像素的產品,靈敏度提高了100%以上。它內置可編程的增益放大器,能夠將電信號放大到72 dB。當與兼容的圖像信號處理器(Image Signal Processor, ISP)結合時,通過設置2或3個多次曝光時間,支持HDR系統,包括一個對近紅外光有更高靈敏度的像素結構及推薦的記錄像素數量,因此與傳統型號相比大大擴展了動態范圍。
這款傳感器具有1920(高)×1080(水平)像素,全高清1080 P模式下的最大幀率為120 f/s。芯片上的10位/12位A/D轉換器具備相關雙取樣電路(Correlated Double Sampling, CDS)/可編程增益放大器(Programmable Gain Amplifier, PGA)功能、支持輸入/輸出切換、邏輯并行輸出、低電壓差分信號(Low Voltage Differential Signaling, LVDS),以及多種數據速率(Double Data Rate, DDR)輸出、CSI-2串行數據輸出、2 Lane/4 Lane, RAW10/RAW12輸出等特性。此外,它還通過了AEC-Q100等級為2的測試認證。
4.2 電子后視鏡電路結構
CMS電子基于ARM嵌入式系統、系統級芯片(System on Chip, SoC)、現場可編程邏輯門陣列(Field Programmable Gate Array, FPGA)等多種結構,由光學透鏡組、CMOS圖像傳感器、ISP、Soc中央處理器、DDR3存儲器、TF卡存儲器、17.78 cm(7寸)薄膜晶體管(Thin Film Transistor, TFT)顯示屏和控制器局域網(Controller Area Network, CAN)總線接口組成,如下圖所示。
電子后視鏡系統CMS 結構
通過分析電子后視鏡的電路結構可以得出系統的延時特性,以下具體分析硬件電路及軟件控制所產生的系統延時:
1)圖像傳感器構成的延時:CMOS圖像傳感器通常情況下,輸出接口有LVDS及Mipi等輸出形式,從CMOS傳感器角度評估為60 f/s,其對應延時為1/60=16.66 ms,電子后視鏡CMS的初始延時為固定值。 2)17.78 cm(7寸)TFT顯示屏構成的延時:Soc中央處理器通過LVDS輸出接口將圖像信息傳送到17.78 cm(7寸)TFT顯示屏,幀率為60 f/s,對應延時為1/60=16.66 ms,CMS的最后一環節延時為固定值。
3)SoC中央處理器構成的延時:電子后視鏡CMS與行車記錄儀在功能上有相同之處。行車記錄儀配置一個攝像的鏡頭,在汽車行駛的過程中,通過鏡頭拍攝視頻信息傳送到主機內部,保存到視頻存儲器或者TF存儲卡,通過行車記錄儀可以查看記錄的視頻,或者通過手機、平板設備或電腦讀取保存的視頻信息已經得到廣泛應用,行車記錄儀產品型號眾多,技術相對比較成熟。
CMS相應有國際標準ISO 16505、聯合國R046標準和中國標準的詳細的技術要求,對應有亮度調節和對比度復現、灰度等級復現、色彩還原、彌散、光暈和眩光、點光源、幾何畸變、閃爍、幀率、系統延時、平均放大倍數、分辨率、放大倍數縱橫比、景深等等技術參數。
4.3 電子后視鏡延時特性分析和探討
攝像頭作為電子后視鏡的主要硬件組成部分,由光學透鏡和CMOS圖像傳感器組合而成。其輸出接口通常采用Mipi或LVDS形式,而幀率的最高參數為60 f/s,即延遲為16.66毫秒。另外,電子后視鏡的SoC處理器負責圖像補償、圖像畸變矯正和系統功能控制,所產生的總體延時約為40毫秒。此外,電子后視鏡還配備了一塊17.78厘米(7寸)TFT顯示屏,其接收接口同樣采用Mipi或LVDS形式,幀率為60 f/s,顯示所產生的延遲為16.66毫秒。綜合考慮系統總延時,計算得出結果為73.33毫秒。
為了優化技術方案,電子后視鏡CMS采用了圖像信號處理器ISP專用芯片。該類芯片利用硬件電路進行圖像補償和圖像畸變矯正,因此可以忽略其產生的延遲。相比之下,SoC處理器僅負責系統功能控制,這在很大程度上節省了圖像數據處理時間。因此,電子后視鏡CMS的總延時等于CMOS圖像傳感器(60 f/s)加上TFT顯示屏的延遲,其中60 f/s相當于1/60+1/60=33.33毫秒。
五、總結
根據對電子后視鏡CMS的硬件電路結構分析,我們從電路硬件的角度得出了最小延時為33.33毫秒的結論。在考慮了硬件電子電路延時、圖像信息處理和系統控制等因素后,我們得出了CMS的總延時為43.33毫秒。因此,我們可以得出結論,CMS最理想的總延時范圍應在33.33~43.33毫秒之間。? ??
CMS的動態技術和性能對其產品的推廣應用具有重要影響。根據ISO 16505的規定,CMS的延時應為200毫秒。結合上述分析,我們可以推斷,在高速公路上,當汽車靜止或以低速進入高速公路時,大約有6.83毫秒的距離差。這也可以理解為,當低速行駛的汽車與行駛速度為120公里/小時的車輛交會時,車輛行駛了6.83米的距離,而低速車輛才看到高速行駛的汽車。?
從另一個角度來看,這意味著當低速行駛的汽車駕駛員看到相鄰的高速行駛汽車時,高速行駛的汽車已經超越了低速行駛的汽車。也就是說,200毫秒的延時存在安全問題。因此,制定合理且安全的電子后視鏡CMS延時參數顯得尤為重要。?
編輯:黃飛
?
評論