大唐進士的重生（魚眼相機備戰科考的）

2023-10-16 21:58:40 1

「800萬像素」，「250m測距能力」等字眼頻繁出現在自動駕駛相關的宣傳報導中，這源於自動駕駛對感知能力「更遠、更強」的不懈追求。車上不裝十幾個攝像頭，主機廠市場部小姐姐都沒底氣宣傳新車具備真正的高級輔助駕駛功能。而按照這種硬體堆疊的思路，在走到了自動駕駛量產落地的那一刻，平平無奇的車身不知道會不會更名為「攝像頭車身」。

電子電氣架構的分久必合，正在將車內幾十個ECU往融合為個位數的域控制器方向發展，直至最終演變為一兩個高性能計算單元。而智駕域內的傳感器大佬闊太太們，雖仍處在數量和性能同時無序增長的階段，但在可預見的時間節點，也終將走向融合與集中的發展道路。

對於相機一類傳感器來說，如果視場角足夠大，感知距離也在場景的需求範圍內，那麼再搭配上訓練有素的感知算法，勢必將大大減少此種場景下相機的需求數量，同步提高獲取感知關聯數據的能力。而可能具有此種潛質的選手，便是魚眼相機，一種已經在環視和泊車場景中成熟應用，並在ADAS場景中嶄露頭角的希望之星。

在環視場景中，魚眼相機通過將大角度範圍（180°）內的光線，進行壓縮、扭曲之後提供大角度範圍內車輛周邊環境數據，並通過將多個相機圖像的拼接，去扭和變形之後實現低速場景下非常實用的360°全景影像功能。而在泊車場景下，通過和超聲波雷達融合，完成對停車線的識別，障礙物的檢測，從而實現不同等級的泊車功能。

伴隨著魚眼相機自身內力的提升（支持光流及多目標檢測等）、針對魚眼相機感知算法的突破，以及自動駕駛到了拼價格刺刀的時候，魚眼相機有希望迎來在自動駕駛舞臺上的「鯉魚躍龍門」時刻。自動駕駛圈黑話第二十二期，延續作者以往的風格，選取當前平平無奇，但有希望在未來一鳴驚人的魚眼相機來進行一番吹噓。

成像原理

在前面介紹單目相機和雙目相機的文章中，我們了解到這兩位仁兄都是基於透鏡成像原理工作的。在對相機建模時，通常使用形象通俗的小孔成像模型進行描述。

在小孔成像模型中，遵循相似成像準則。物體在經過射影變換之後成的像，保持了絕大部分幾何性質不變。比如直線經過變換之後仍是直線，曲線經過變換之後仍是曲線，兩線交點變換過來後仍是兩線交點等等。而由於透鏡製造工藝誤差等原因引入的圖像畸變，我們總是想方設法校正掉。

另一方面，在小孔成像模型中，如果焦距一定，那麼圖像傳感器像素平面的面積直接決定了相機視場角的大小，超過這個視場角範圍的物體不會被鏡頭獲取到。因此基於透鏡成像原理的相機，視場角無法做到足夠大，水平視場角一般小於140°。

但是在一些領域，比如氣象科學（這也是魚眼相機誕生的地方），科技工作者需要對天空天象變化進行觀測，需要有一種相機能將整個半球形天空一次性拍攝下來。而在安防監控領域，安保團隊期望有一種相機能從俯視角度一次性拍攝整個監控區域。而為了實現這些目的，就需要相機具有水平180°甚至更大的視場角能力。

就在科研人員陷入苦苦思索的時候，這個時候仿生學義無反顧站了出來。科學家們發現魚的眼睛在往上看的時候，可以看到水面上整個半球形空間。細究原因，科學家發現由於水的折射率比空氣大，光線由空氣進入水中後會發生折射，且折射角比入射角要小。同時隨著入射角增加，折射角變小的程度也增加。基於這個特性，水面上180°半球形空間的物體就可以被扭曲、壓縮到一個有限的成像平面上。

光學上有一個專業的術語來描述這種現象，叫「斯內爾窗」。斯內爾窗更準確的描述為：從水下往上看，180°的視角會被壓成96°的光錐。受此現象啟發，人們發明了魚眼鏡頭，一種利用光的折射規律可以將很大範圍內光線進行壓縮和扭曲到一個相對較小空間內的鏡頭，從而可以被後面相機圖像傳感器記錄下來，後續再通過去畸變，還原真實的圖像比例。

魚眼鏡頭設計的中心思想就是：擁有更大的球面弧度（超廣角），成像平面離透鏡更近（短焦距）。魚眼鏡頭視場角可以達到或者超過180°，因其視角超大，最終成像會有非常大的桶形畸變。魚眼鏡頭一般是由十幾個不同的透鏡組合而成，最前面的幾個透鏡直徑短且呈拋物狀，朝鏡頭前部凸出，主要負責折射，使入射角減小。其餘的鏡頭相當於一個成像鏡頭。

所以，魚眼相機是源於斯內爾現象而發明出來的。但在魚眼鏡頭被設計出來後，人們發現極凸的造型非常像魚的眼睛。漸漸地，大家一聽到魚眼相機、魚眼鏡頭都以為是仿照魚的眼睛而設計的，可以說是一個美麗的巧合。

成像模型

前文提到，普通單目/雙目相機成像遵循的是相似成像準則，真實世界中的直線仍被投影為圖像平面上的直線。而魚眼相機為了將儘可能大的真實世界投影到有限的成像平面內，魚眼相機允許了畸變的存在，遵循的是非相似成像準則。

在研究魚眼相機成像模型時，一般分解為兩個步驟。第一個步驟，將真實世界中的點投影到一個虛擬單位半球面上（如下圖中的w點投影到q點），球心與魚眼鏡頭坐標系的原點重合；第二個步驟，將單位半球面上的點投影到相機成像平面上，這是一個非線性過程（如下圖q點到rd點）。

從相機成像模型示意圖可以看到，由於單位半球面上的q點投影到相機成像平面上的rd點是一個非線性過程，折射角θd小於入射角θ。而投影模型要表徵的就是成像平面的像高rd和入射角θ之間的映射關係。前人在不斷失敗試錯中，總結出了幾種投影模型，每種投影模型均對應一種魚眼鏡頭類型。常用的投影模型有四種，分別是等距投影模型、等立體角投影模型、體視投影模型和正交投影模型。

和小孔成像模型一樣，為了便於數學分析，在投影模型中我們將成像平面對稱到鏡頭坐標系上方區域。在下文介紹中，f為魚眼相機的焦距，θ為物體在空間中與光軸所成的入射角，rd為成像點到成像平面中心的成像高度。

（1）等距投影模型。這是最簡單的一種投影模型，成像點到成像平面中心的成像高度rd與入射角度θ成正比，這個比例係數就是鏡頭焦距f，用公式表達即為 rd=f*θ。在這種投影模型中，入射光線之間的角度相同時，保持其對應各投影點之間的間距相同，這也是這個投影模型名稱的來源。同時這種模型還可以解決在小孔成像下入射角90°時圖像無限拉伸的問題。畸變量適中，在工程領域被廣泛應用。

（2）等立體角投影模型。這是魚眼相機常用的一種投影模型，從名字就能領會此種投影模型真諦的一二。在虛擬單位半球形面上兩個相等立體角的入射面，在成像平面上的兩個像的面積相同。用公式表達為rd=2f*sin(θ/2)。

（3）體視投影模型。這是一種保角不變投影模型，球形物面上的微小面元經過體視投影后，其像仍然是一個小圓。因此這種投影模型對微小物體成像具有相似性。但是相似性帶來視場角不足的影響。用公式表示為rd=2f*tan(θ/2)。

（4）正交投影模型。這種投影方式帶來的畸變最大，對邊緣物體壓縮最厲害近180°處的圖像信息幾乎全部丟失，且無法對180°以外的場景區域進行描述，因此實際上很少使用。但這種投影模型不會產生透射映射的近大遠小結果。用公式表達就是rd=f*sin(θ)。

畸變校正

對於相機類傳感器來說，畸變是必然存在的。而畸變校正就是尋找一個重映射矩陣來將原始圖像中的部分像素點或插值點進行重新排列。當然，不同的需求往往對應不同的畸變校正方案。

對於單目相機來說，為了得到相機像素坐標系和三維世界坐標系的對應關係，我們需要對相機的桶形畸變和枕形畸變進行矯正。而對於雙目相機來說，為了做極線對齊，實現深度估計。我們需要將兩個相機，輸出變換到同一個坐標系下。張正友老師的棋盤標定法是目前上述兩類相機，矯正效果最好的方法。

而對於魚眼相機來說，徑向畸變太為嚴重，以至於我們都可以忽略其他方向的畸變。棋盤標定法、橫向展開法、經緯度法是魚眼相機常用的三種畸變校正方法。棋盤標定法只能校正魚眼圖像中間的一部分，靠近圓周的區域會被拉伸的很嚴重導致視覺效果變差。所以棋盤標定法一般用作簡單測量或圖像拼接的前置任務。

橫向展開法將俯視視角變為正視視角，因此可以根據區域功能，進行切片，再用普通視角的檢測模型，做後續任務。但是缺點也一目了然，比如展開圖的左右兩側，在真實世界中應該是連通的。所以當有目標在魚眼圖中穿過分界線時，在展開圖中該目標會從左側消失，右側出現（或者倒過來），看起來不是很自然。

經緯度法包含經度和緯度兩個方面，對經度進行校正時，只對豎直方向進行了校正，水平方向依然是扭曲的。而對緯度進行校正時，水平方向可實現較好的校正，但豎直方向依然是扭曲的。這種方法可謂是魚和熊掌不可兼得。

行業進展

2020年，華為推出的800萬像素超級魚眼攝像頭，採用自主視覺算法 玻璃模壓非均勻鏡頭，相比市面上200萬像素魚眼攝像頭，檢測距離翻倍、解析度更高。官方宣稱，4個超級魚眼攝像頭，可以替代傳統4個側視 4個環視的高階360度感知方案，支持大FOV視角以及80米的環視檢測距離。

2021年7月，三星發布適用於車載環視系統或後視攝像頭的專用圖像傳感器ISOCELL Auto 4AC。該款圖像傳感器採用1/3.7英寸感光面積，120萬像素解析度(1280x960) ，3.0μm像素尺寸，並內置ISP圖像處理功能，可輸出YUV422，RGB888，RGB565圖像數據。同時支持120分貝高動態範圍圖像，支持發光二極體閃爍抑制功能，可為自動駕駛系統辨識車燈、交通信號燈提供更加準確的數據。

2021年11月，法雷奧公司發布了世界上第一個面向量產的魚眼相機開源數據集WoodScape，整個數據集含10000多張圖片，旨在通過提供足夠的相關數據，推動適應自動駕駛行車和泊車領域的魚眼相機視覺算法的深度開發，而不再停留在傳統的校正算法。

數據集是由幾輛法雷奧汽車在歐洲不同地理位置拍攝，每輛車上配備了四個魚眼相機，每個魚眼相機提供100萬像素24位解析度，30幀/秒的圖像數據。數據集經過人工標註後可用於語義分割、深度估計、2D物體檢測、視覺測距、運動分割、汙垢檢測以及端到端駕駛等任務訓練。

小結

未來，伴隨著魚眼相機在像素、視場角、感知距離等性能參數方面的不斷突破，我相信沒有廠家願意拒絕由此帶來的硬體成本較低和算力資源需求降低。魚眼相機在高速場景的江湖地位還不可預測，但在低速場景的領導能力，已經開始凸顯。

往期精彩：

車載紅外相機

車載單目相機，自動駕駛的「眼睛」

車載雙目相機，老兵的二次出徵

參考文獻：

魚眼鏡頭是怎麼「魚眼」的？

https://zhuanlan.zhihu.com/p/29273352

一文詳解分析魚眼相機投影成像模型和畸變模型

https://mp.weixin.qq.com/s/TffJXlFjGwOKC1kIFs3sjQ

環視魚眼拒絕「被邊緣」，如何破解市場「窪地效應

」https://mp.weixin.qq.com/s/-WT2YuOANeNbsQkpK6XVNg

一文講透魚眼相機畸變矯正，及目標檢測項目應用

https://mp.weixin.qq.com/s/azoQTrSlmk5Vy4-s5B6dOw