標定傳感器是自動駕駛感知系統中的必要環節，是后續傳感器融合的必要步驟和先決條件，其目的是將兩個或者多個傳感器變換到統一的時空坐標系，使得傳感器融合具有意義，是感知決策的關鍵前提。任何傳感器在制造、安裝之后都需要通過實驗進行標定，以保證傳感器符合設計指標，保證測量值的準確性。

傳感器在安裝到自動駕駛汽車上之后，需要對其進行標定；同時，在車輛行駛過程中，由于震動等原因，會導致傳感器位置與原位置產生偏離，因此有必要每隔一定的時間對傳感器進行校準。自動駕駛汽車通過多種類型的傳感器同時工作以進行環境感知與自感知，傳感器的健壯性和準確性在自動駕駛汽車感知環節中尤為重要。

01攝像頭標定

車載攝像頭以一定的角度和位置安裝在車輛上，為了將車載攝像頭采集到的環境數據與車輛行駛環境中的真實物體相對應，即找到車載攝像頭所生成的圖像像素坐標系中的點坐標與攝像機環境坐標系中的點坐標之間的轉換關系，需要進行攝像頭標定。

1.攝像頭內參數標定

1.1攝像頭模型的建立

通過環境坐標系、攝像頭坐標系、圖像物理坐標系、圖像像素坐標系的相互轉換關系，我們可以求出環境坐標系與圖像像素坐標系之間的轉換關系，即

對現實世界的的點P。其在環境坐標系下的坐標為( Xw, Yw, Zw )，在圖像中的位置為(u，v)，兩者有如下的關系：

環境坐標系與圖像像素坐標系之間的轉換關系

對內參矩陣,其四個常量fx,fy,Uo,Vo。與攝像機的焦距、主點以及傳感器等設計技術指標有關，而與外部因素（如周邊環境、攝像機位置）無關，因此稱為攝像頭的內參。內參在攝像頭出廠時就是確定的。然而由于制作工藝等問題，即使是同一生產線生產的攝像頭，內參都有著些許差別，因此往往需要通過實驗的方式來確定攝像頭的內參。對單目攝像頭的標定，通常就是指通過實驗手段確定攝像頭的內參。

外參矩陣包括旋轉矩陣和平移矩陣，旋轉矩陣和平移矩陣共同描述了如何把點從世界坐標系轉換到攝像機坐標系。在計算機視覺中，確定外參矩陣的過程通常稱為視覺定位。自動駕駛汽車在車載攝像頭安裝之后，需要標定在車輛坐標系下的攝像頭位置。此外，由于汽車行駛的顛簸和震動，車載攝像頭的位置會隨著時間進行緩慢的變化，因此自動駕駛汽車需要定期對攝像頭位置進行重新標定，這一過程稱為校準。

1.2 攝像頭畸變矯正

在實際使用中，攝像頭并不能完全精確地按照理想的針孔攝像機模型進行透視投影，通常會存在透鏡畸變，即物點在實際的攝像頭成像平面上生成的像與理想成像之間存在一定光學畸變誤差，其畸變誤差主要是徑向畸變誤差和切向畸變誤差。

徑向畸變（radial distortion）:由于透鏡的特性，光線容易在相機鏡頭的邊緣出現較小或者較大幅度的彎曲，稱之為徑向畸變。這種畸變在普通廉價的鏡頭中表現更加明顯，徑向畸變主要包括桶形畸變和枕形畸變兩種。桶形畸變則是由于鏡頭中透鏡物以及鏡片組結構引起的成像畫面呈桶形膨脹狀的失真現象。通常在使用廣角鏡頭或使用變焦鏡頭的廣角端時，較容易察覺桶形失真現象。枕形畸變是由鏡頭引起的畫面向中間“收縮”的現象。人們在使用長焦鏡頭變焦鏡頭的長焦端時，較容易察覺枕形失真現象。

切向畸變（tangential distortion）：是由于透鏡本身與相機傳感器平面（成像平面）或圖像平面不平行而產生的，這種情況多是由于透鏡被粘貼到鏡頭模組上的安裝偏差導致。

在計算機視覺中，徑向畸變對場景重建有著非常重要的影響。自動駕駛系統對環境的感知，要求攝像頭能夠實現對周邊環境的高精確度重建，如果不對畸變加以矯正，就無法到精確的環境信息。例如，環境中的目標可能出現在圖像的任何區域，如果不對畸變加以正，那么通過視覺技術得到的目標位置和大小往往是不準確的，這會直接影響自動駕駛汽車的行駛安全。此外，自動駕駛汽車安裝有多個攝像頭，且在不同位置，若不考慮徑向畸變，在圖像拼接過程中，就會因對應特征的誤匹配從而導致拼接圖像的模糊效應。

對一般的攝像頭來講，圖像的徑向畸變往往描述為一個低階多項式模型。設（u,v)是糾正后的點的坐標，（u',u')是未糾正的點的坐標,則二者之間的變換可以通過以下公式確定：

徑向畸變低階多項式模型

另一方面，對于切向畸變，可以使用另外的兩個參數p1,p2來進行糾正：

切向畸變低階多項式模型

1.3攝像頭內參標定方法

在現階段，畸變參數的標定一般與其余內參同時進行。目前應用最廣泛的是張正友于2000年提出的張正友標定法。張正友標定法通過在不同位置拍攝棋盤標定板的方式，在每個圖像中找到棋盤標定板的內角點，通過內角點之間的對應關系建立對矩陣

的約束，從而恢復內參矩陣K。

2.攝像頭間外參的標定

自動駕駛汽車中，為了盡可能減少感知盲區，往往采用多攝像頭的模式。確定多攝像頭之間的相對位置關系，這個過程稱為攝像機的外參標定。

從另一個角度來說，攝像機的外參標定也可以稱為“姿態估計”問題。兩個攝像頭之間相對位姿[R|t]有6個自由度（空間位置與旋轉關系),從理論上來講，只要兩個攝像頭同時獲取空間中3個點即可恢復二者之間的相對姿態。從三對對應點恢復攝像頭之間的相對姿態的問題，稱為“透視三點問題”（Perspective-3-Point-Problem,P3P)。在現實中，常常使用3個以上的點來恢復相對姿態，以提高魯棒性，P3P問題被推廣為PnP問題。

最初研究者使用直接線性法（Direct Linear Transform,DLT)解決PnP問題，之后為了提升精度，研究者們提出了魯棒線性化的重投影誤差，開始采用選代的方法來求解PnP問題，并由此提出了姿態估計中著名的光束平差法（Bundle Adjustment,BA)。

02激光雷達的標定

激光雷達自動駕駛平臺的主要傳感器之一，在感知、定位方面發揮著重要作用。 同攝像頭一樣，激光雷達在使用之前也需要對其內外參數進行標定。 內參標定指的是其內部激光發射器坐標系與雷達自身坐標系的轉換關系，在出廠之前已經標定完成，可以直接使用。 自動駕駛系統需要進行的是外參標定，即激光雷達自身坐標系與車體坐標系的關系。

激光雷達與車體為剛性連接，兩者間的相對姿態和位移固定不變。 為了建立激光雷達之間以及激光雷達與車輛之間的相對坐標關系，需要對激光雷達的安裝進行標定，并使激光雷達數據從激光雷達坐標系轉換至車體坐標系上。

車體坐標系與激光雷達坐標系

通過實驗采集同一個點在兩個坐標系下的真實坐標，即同名點，建立一系列的方程可以求出這16個未知參數。 另外，在自動駕駛汽車上，通常需要將激光雷達與慣性導航單元（IMU)坐標系進行標定，建立激光雷達與車體坐標系之間的關系。

1.激光雷達和激光雷達之間的標定

對自動駕駛汽車來說，有時會存在多個激光雷達的情況，每一個激光雷達獲取的外部境都必須準確地映射到車體坐標系下。 因此，當存在多個激光雷達時，需要對多個激光雷的相對位置進行標定和校準。

激光雷達之間的外參標定有多種思路，其中較為常用的是通過不同激光雷達與車體之間的坐標轉換關系來間接推導出激光雷達之間的坐標轉換關系。

2.激光雷達與攝像機的標定

在自動駕駛車輛上，激光雷達與無人駕駛汽車為剛性連接，兩者間的相對姿態和位移固定不變，因此，激光雷達掃描獲得的數據點，在環境坐標系中有唯一的位置坐標與之對應。 同樣，攝像機在環境坐標系中也有唯一的位置坐標，因此，激光雷達與攝像機之間存在著固定的坐標轉換。 激光雷達與攝像機的聯合標定，就是通過提取標定物在單線激光雷達和圖像上的對應特征點，完成單線激光雷達坐標、攝像機坐標、圖像像素坐標等多個傳感器坐標的統一，實現激光雷達與攝像機的空間校準。

當完成攝像機外參標定、激光雷達外參標定之后，二者之間的關系其實就可以完全確定，激光雷達掃描點可投影到圖像像素坐標系。

同相機的內參標定方法一樣，激光雷達與攝像機的外參標定也可以使用標定板的標定方法。

來源：智駕最前沿