一種基於多步校正的魚眼圖像校正方法

2023-10-19 15:40:27 2

一種基於多步校正的魚眼圖像校正方法
【專利摘要】本發明介紹了一種基於多步校正的魚眼圖像校正方法，針對現有的常規校正模型造成的圖像放大、邊緣信息丟失等不足，採用多步校正的思想構建校正模型，該校正模型構建的關鍵點在於：建立基於多項式模型的魚眼圖像尺寸縮放因子，利用魚眼圖像尺寸縮放因子，對魚眼圖像進行第一次校正；採用鄰域插值法對第一次校正圖像進行插值處理；建立基於向後映射法的除法模型，利用該除法模型，對插值處理後的第一次校正圖像進行第二次校正，得到第二次校正圖像。校正模型對魚眼圖像的校正解決了校正圖像邊緣信息缺失、圖像擴大、畸變校正不徹底等問題，使得魚眼鏡頭的絕大部分信息都完整地保留了下來，並改善了圖像邊緣模糊的情況。
【專利說明】一種基於多步校正的魚眼圖像校正方法
【技術領域】
[0001]本發明涉及圖像處理和機器視覺領域，具體涉及一種基於多步校正的魚眼圖像校正方法。
【背景技術】
[0002]魚眼鏡頭是一種特殊的廣角鏡頭，其視場角接近、等於甚至大於180度，能將半球空域甚至是超半球空域的物體成像在像面有限的範圍內。從光學設計的角度看，魚眼鏡頭所採用的透鏡具有很大的球面弧度，並且距離成像平面更近。這種特殊的結構特點和成像特點，一方面使得魚眼相機可以獲得很大視野範圍，在機器人導航、視頻會議、實時監控、全景攝影和天文觀測等需要較大視場的現實場景中得以廣泛應用；另一方面，由於引入了很大的桶形畸變，使得魚眼鏡頭在成像模型的構建、理論計算以及畸變校正等方面與常規鏡頭有著顯著的不同。
[0003]目前，計算機視覺領域在攝像頭的成像原理建模方面還是普遍使用線性針孔模型，但是該模型並不足以刻畫魚眼鏡頭的成像原理。魚眼鏡頭光學系統在引入了強烈的光學畸變的同時也帶來了大範圍的場景信息，為了能夠有效利用這些大畸變圖像中的透視投影信息，需要將畸變圖像校正為理想的線性透視投影圖像，即將魚眼鏡頭的成像模型映射到線性針孔模型，反映在圖像上，便是需要尋找魚眼圖像和它所對應的常規圖像之間像素點對的映射關係。雖然魚眼鏡頭的設計和製造遵循一定的數學模型，但是由於現實中存在的許多不可預知的因素，比如鏡頭的弧度偏差、裝配誤差等，導致實際的成像過程與製造鏡頭所遵循的數學模型之間存在著一定的差異，有時候這種差異甚至是巨大的。因此針對不同特點的魚眼鏡頭和不同的應用場景，許多學者提出了各種不同的方法來校正魚眼圖像，力圖獲得清晰的目標圖像，以儘可能多的獲取有效信息。
[0004]魚眼圖像校正本質上是圖像的空間變換處理，最終目的是建立魚眼圖像和校正圖像中對應像素點對位置關係的函數，過程是圖像像素點空間位置的再分布。隨著魚眼鏡頭的廣泛使用，關於魚眼校正的新算法不斷出現，這些算法總體上可以分為三大類，第一類是通過曲線擬合的方式尋找目標函數，第二類是通過球面透視投影等幾何約束尋找目標函數，第三類則是通過神經網絡等的訓練建立自適應的目標函數。從目前的工程實際來看，這些算法雖然能夠在不同的程度上實現畸變校正，但是對於魚眼圖像等大畸變圖像的校正往往是局部性的，也就是說存在著圖像邊緣信息丟失，圖像局部放大等缺點，這違背了人們使用魚眼鏡頭的初衷，一定程度上削弱了廣角鏡頭的優勢。

【發明內容】

[0005]針對現有技術存在的不足，本發明提供一種基於多步校正的魚眼圖像校正方法。
[0006]本發明的技術方案是:
[0007]一種基於多步校正的魚眼圖像校正方法，包括以下步驟:
[0008]步驟1、對魚眼攝像機的鏡頭進行標定，獲取攝像機鏡頭的內參矩陣，包括魚眼圖像畸變中心坐標、像素尺寸因子和相機焦距；
[0009]步驟2、建立基於多項式模型的魚眼圖像尺寸縮放因子，該尺寸縮放因子用來描述魚眼圖像中的像素點到魚眼圖像畸變中心的距離與校正圖像中的像素點與校正圖像中心的距離的線性關係，根據不同角度下拍攝的棋盤格魚眼圖像中棋盤角點的坐標，採用張正友標定法得到多項式模型的多項式係數，進而得到魚眼圖像尺寸縮放因子；
[0010]步驟3、利用魚眼圖像尺寸縮放因子，對待校正的魚眼圖像進行校正，以魚眼圖像畸變中心坐標作為坐標原點，對魚眼圖像中每一個像素點的橫坐標、縱坐標分別乘以魚眼圖像尺寸縮放因子，得到各像素點在校正圖像中的坐標，然後將得到的各坐標對應的像素點填充得到各坐標值處，得到第一次校正圖像；
[0011]步驟4、採用鄰域插值法對第一次校正圖像進行插值處理；
[0012]步驟5、建立基於向後映射法的除法模型，該模型用來描述第一次校正圖像中的像素點到第一次校正圖像中心的距離與校正圖像中的像素點與校正圖像中心的距離的線性關係，該模型的輸入為第一次校正圖像中像素點的坐標，該模型的輸出為基於向後映射法的除法模型的校正算子；
[0013]步驟6、利用基於向後映射法的除法模型，對插值處理後的第一次校正圖像進行第二次校正，得到第二次校正圖像；
[0014]步驟6-1、建立與第一次校正圖像大小相同的空白圖像；
[0015]步驟6-2、利用基於向後映射法的除法模型，計算出校正算子；
[0016]步驟6-3、在空白圖像中以第一次校正圖像中心坐標為坐標原點，對每一個像素點的橫坐標、縱坐標均乘以校正算子，得到各像素點要填充的像素坐標值；
[0017]步驟6-4、利用步驟6-3得到的各像素點要填充的像素坐標值，從插值處理後的第一次校正圖像中找到對應的像素值並填充到空白圖像中，得到第二次校正圖像；
[0018]步驟7、檢驗校正的圖像精度，若第二次校正的圖像中的弧線都已經校正為直線並且該圖像中的景物滿足透視投影關係，則當前校正圖像為最終校正圖像，得到原始魚眼圖像與最終校正圖像之間的像素位置映射關係，否則返回步驟2。
[0019]本發明的有益效果在於，採用多步校正、細化插值的思路，解決了校正圖像邊緣信息缺失、圖像擴大、畸變校正不徹底等問題，使得魚眼鏡頭的絕大部分信息都完整地保留了下來，並改善了圖像邊緣模糊的情況。同時，使用校正模型計算出的結果使用表格記錄圖像像素的位置變動情況，將延拓模型複雜的校正過程同工程實際應用隔離開，最大程度地提高了魚眼圖像校正的實時性，保證了嵌入式設備對實時性的要求。
【專利附圖】

【附圖說明】
[0020]圖1為本發明【具體實施方式】的基於多步校正的魚眼圖像校正方法的流程圖。【具體實施方式】
[0021]下面結合附圖對本發明【具體實施方式】進行詳細說明。
[0022]本實施方式採用作業系統為WIND0WS7，軟體平臺為MATLAB2010a，處理器為第二代酷睿i 5-2410。
[0023]如圖1所示，本發明【具體實施方式】的基於多步校正的魚眼圖像校正方法，包括以下步驟:
[0024]步驟1、對魚眼攝像機的鏡頭進行標定，獲取攝像機鏡頭的內參矩陣，包括魚眼圖像畸變中心坐標、像素尺寸因子和相機焦距。
[0025]首先從不同的角度用魚眼攝像機對標定板進行拍攝，採集6~8幅圖片並保證至少有8*8的圓陣列處於視野範圍內，得到的魚眼攝像機拍攝的魚眼圖像。
[0026]採用以Kannala J的通用攝像機模型為理論基礎的通用標定工具箱進行魚眼攝像頭的標定試驗，本次試驗所使用的具體模型為Catadioptric-Model,試驗選取的魚眼圖像解析度為720*576像素，共包含19*15個特徵點。
[0027]獲得攝像機鏡頭的內參矩陣，包括魚眼圖像畸變中心坐標(U(l、v0)(以感光晶片陣列的左上定點為坐標原點，反映在魚眼圖像上就是以圖像左上角定點為原點)、像素尺寸因子(dx、dy)、相機焦距f。
[0028]其中魚眼攝像機的鏡頭的型號是PC1030，解析度為640*480，得到的標定內參矩陣如下:
【權利要求】
1.一種基於多步校正的魚眼圖像校正方法，其特徵在於，包括以下步驟: 步驟1、對魚眼攝像機的鏡頭進行標定，獲取攝像機鏡頭的內參矩陣，包括魚眼圖像畸變中心坐標、像素尺寸因子和相機焦距； 步驟2、建立基於多項式模型的魚眼圖像尺寸縮放因子，該尺寸縮放因子用來描述魚眼圖像中的像素點到魚眼圖像畸變中心的距離與校正圖像中的像素點與校正圖像中心的距離的線性關係，根據不同角度下拍攝的棋盤格魚眼圖像中棋盤角點的坐標，採用張正友標定法得到多項式模型的多項式係數，進而得到魚眼圖像尺寸縮放因子； 步驟3、利用魚眼圖像尺寸縮放因子，對待校正的魚眼圖像進行校正，以魚眼圖像畸變中心坐標作為坐標原點，對魚眼圖像中每一個像素點的橫坐標、縱坐標分別乘以魚眼圖像尺寸縮放因子，得到各像素點在校正圖像中的坐標，然後將得到的各坐標對應的像素點填充得到各坐標值處，得到第一次校正圖像； 步驟4、採用鄰域插值法對第一次校正圖像進行插值處理； 步驟5、建立基於向後映射法的除法模型，該模型用來描述第一次校正圖像中的像素點到第一次校正圖像中心的距離與校正圖像中的像素點與校正圖像中心的距離的線性關係，該模型的輸入為第一次校正圖像中像素點的坐標，該模型的輸出為基於向後映射法的除法模型的校正算子； 步驟6、利用基於向後映射法的除法模型，對插值處理後的第一次校正圖像進行第二次校正，得到第二次校正圖像； 步驟6-1、建立與第一次校正圖像大小相同的空白圖像； 步驟6-2、利用基於向後映射法的除法模型，計算出校正算子； 步驟6-3、在空白圖像中以第一次校正圖像中心坐標為坐標原點，對每一個像素點的橫坐標、縱坐標均乘以校正算子，得到各像素點要填充的像素坐標值； 步驟6-4、利用步驟6-3得到的各像素點要填充的像素坐標值，從插值處理後的第一次校正圖像中找到對應的像素值並填充到空白圖像中，得到第二次校正圖像； 步驟7、檢驗校正的圖像精度，若第二次校正的圖像中的弧線都已經校正為直線並且該圖像中的景物滿足透視投影關係，則當前校正圖像為最終校正圖像，得到原始魚眼圖像與最終校正圖像之間的像素位置映射關係，否則返回步驟2。
【文檔編號】G06T3/40GK103996172SQ201410191291
【公開日】2014年8月20日 申請日期:2014年5月8日 優先權日:2014年5月8日
【發明者】張雲洲, 朱德龍, 鍾惟林, 廖峭 申請人:東北大學