基於特徵直線的船載攝像系統電子穩像方法
2023-08-11 00:43:11 2
專利名稱：基於特徵直線的船載攝像系統電子穩像方法
技術領域：
本發明屬於圖像處理技術領域，特別是涉及一種電子穩像的方法，可應用於船載 攝像系統的穩像技術。
背景技術：
電子穩像技術已經在穩像領域得到了驗證和廣泛應用，作為攝像系統載體的艦船 常常受風浪的影響，造成船體姿態變化大，船體振動劇烈，使得在監視器上獲得的圖像信息 不穩定、模糊現象十分嚴重，因此船載電子穩像技術也應運而生。現階段電子穩像的方法有許多，如公開的「電子穩像方法與系統」專利申請(公開 號是CN101692692A)，該方法主要是在參考幀和當前幀中截取運算區域和參考區域，再採用 搜索窗對運算區域進行螺旋搜索得到最匹配塊，從而得到每個參考塊的運動矢量，由此計 算出當前幀圖像的幀間運動矢量，對其進行平滑並累加得到每幀圖像的抖動運動矢量，並 與設定的閾值進行比較判斷是否要進行運動補償。由於該方法的運算量較大導致無法保證 實時性，在實際操作中設備很難設定閾值。同時，由於該方法需要對圖像特徵進行匹配，所 以需要選擇較多的圖像特徵，從而導致該方法很難適用於畫面變化不大、圖像特徵較少的 航海攝像系統中。近年來也公開了一些關於船載電子穩像的方法，如楊常青等人發表的「艦載光電 成像系統的電子穩像技術研究」論文(中國科協第四屆優秀博士生學術年會，2006年，第 1328-1333頁)，該論文公開的方法是將傳統的光流場求解技術與特徵匹配相結合，通過粗 解析度下光流場求解，可以得到粗略的運動分量。再將這些分量作為特徵點匹配的概略指 導，即優先在該方向下求取特徵點的匹配點對。然後，利用匹配點求取的精確的運動分量， 返回去指導光流場精確計算。該方法在解決光流法的實時性問題上採用了矢量塊分割方 法，保證了一定的實時性，但是仍然存在許多不足之處其一，該算法中利用了特徵點匹配， 當特徵點選擇較少時，雖然減少了過程中的計算量，卻無法保證匹配的高準確率，從而導致 參數求解精度不高；當特徵點選擇較多時，在匹配過程中計算量會大大增加。其二，該算法 中同時利用了光流場，光流場求解技術很難保證穩像的實時性。該算法中採用了矢量塊分 割方法來緩解光流場帶來的實時性問題，但實時性問題依然存在。
發明內容
本發明的目的在於克服現有技術的不足，提出一種利用航海攝像系統中的圖像背 景特徵和hough變換提取海天線，並以海天線作為特徵直線代入特徵直線關係式求出其特 徵參數得到旋轉角和Y方向的偏移量，實現運動補償的穩像方法。為了實現上述目的，本發明的步驟如下(1)選取參考幀、讀入當前幀。對正在進行拍攝的視頻圖像，從其中選取一幀平穩 的圖像作為參考幀，依次讀入正在進行拍攝的視頻圖像序列作為當前幀。(2)圖像二值化。
2a)分別將每幀中所有像素點求和，將該和值除以總像素的個數得到的圖像平均 灰度值即為該幀圖像的二值化閾值。2b)將步驟(1)中選取的參考幀和當前幀每一點的像素與步驟2a)中獲取的閾值 進行比較，所有像素點比較後得到的結果構成二值化圖像。(3)邊緣檢測。對步驟(2)得到的參考幀和當前幀二值圖像進行SObel算子邊緣 檢測，得到參考幀和當前幀二值圖像的邊緣檢測圖像。(4)提取不連續的海天線。利用Hough變換提取出步驟(3)的邊緣檢測圖像中不 連續的海天線。(5)擬合參考幀、當前幀海天線。採用最小二乘法將步驟⑷中提取出來的不連續 海天線擬合成連續的特徵直線，輸出擬合好的參考幀、當前幀海天線。(6)水平投影參考幀、當前幀海天線。將步驟(5)輸出的參考幀、當前幀海天線分 別進行水平投影，在坐標軸上得到所有點的縱坐標，再將所有點的縱坐標求和，將該和值除 以投影點的總個數，得到參考幀、當前幀海天線的平均坐標值。(7)求解直線方程。分別在步驟(5)輸出的參考幀、當前幀海天線上任意取3點， 將該3點的橫縱坐標對應的χ、y數值分別代入直線方程ax+by+c = 0中，方程聯立求解得 到參考幀、當前幀的海天線直線方程參數a、b、C。(8)計算平移量。將步驟(6)得到的參考幀海天線的平均坐標值與當前幀海天線 的平均坐標值相減，得到垂直方向的平移量Ay。(9)求偏轉角。將由步驟(7)得到的參考幀海天線的直線方程參數和當前幀海天 線的直線方程參數代入旋轉角和特徵直線參數之間的對應關係式，得到偏轉角Δ θ。(10)平移並旋轉。對步驟⑴的當前幀圖像垂直平移Ay數值，將平移後的圖像 再旋轉Δ θ，得到穩像圖像並輸出。本發明與現有技術相比具有以下優點1、由於本發明充分利用了航海攝像系統中始終存在海天線這一特徵，因此無需再 選取其他特徵，減少了過多的特徵選取，圖像穩像所需時間少。2、由於本發明只需通過對參考幀和當前幀海天線進行水平投影，並求解其直線方 程參數，無需進行特徵匹配運算，節省了穩像的時間，同時，也使得本發明的計算複雜度低， 易於實現，具有良好的實時性。
圖1是本發明步驟⑴ (5)的流程示意圖。圖2是本發明步驟(6) (10)的流程示意圖。圖3是本發明穩像前後圖像效果的對比圖。圖4是本發明穩像前後峰值信噪比的對比圖。
具體實施例方式下面結合附圖，對本發明做進一步的描述。步驟一、選取參考幀、讀入當前幀。為了消除由於攝像系統的抖動造成圖像的偏移和旋轉，實現每幀圖像在攝像系統上的穩定，需要從攝像系統正在進行拍攝的視頻圖像中選取一幀平穩的圖像，將其作為穩 像處理中平移和旋轉的參考幀。將正在進行拍攝的視頻圖像序列按前後順序一幅一幅地讀 入到穩像系統中，作為待穩像的當前幀。步驟二、圖像二值化。在航海過程的視頻圖像中大海和天空佔據絕大部分面積，並且大海的灰度和天空 的灰度存在比較明顯的差異，採用圖像二值化的方法，增強大海和天空的灰度差別，需要找 到一個臨界值作為二值化閾值。2a)求二值化閾值。穩像系統分別將每幀圖像中所有像素點求和，再將該和值除以 總像素的個數，得到的圖像平均灰度值即為該幀圖像的二值化閾值。2b) 二值化。參考幀二值化將步驟一中選取的參考幀每一點的像素灰度值與步驟2a)中求得 的二值化閾值進行比較，若該點的像素值大於或等於閾值，則將該點的像素值置為1，否則， 將該點的像素值置為0，將所有像素點比較後得到的結果，按步驟一中選取的參考幀像素點 的順序，構成所需的參考幀二值化圖像。當前幀二值化將步驟一中讀入的當前幀也按上述處理參考幀的方法進行二值化 處理，得到所需的當前幀二值化圖像。步驟三、邊緣檢測。在視頻圖像上大海和天空的分界線就是海天線，經過步驟二成功獲得的參考幀和 當前幀二值化圖像使其顯示的海天線更加清晰。在二值化圖像中，大海所有像素點的像素 值均為0即為黑色，天空所有像素點的像素值均為1即為白色，所以大海和天空的分界線非 常明顯，使提取海天線更加容易。為了提取海天線，穩像系統利用圖像處理中常用的SObel 算子對步驟二中參考幀和當前幀的二值化圖像進行邊緣檢測，得到幀圖像中含有海天線的 所有邊緣輪廓。步驟四、提取不連續的海天線。由於步驟三檢測得到的邊緣輪廓圖像中，邊緣線並不只有海天線，還檢測出了許 多來自其他自然景物或者艦船的邊緣輪廓，而這些輪廓大部分都是曲線，或者無用的短線 段，穩像系統利用圖像處理中常用的Hough變換提取直線的方法，將其中不連續的海天線 提取出來。步驟五、擬合參考幀、當前幀海天線。由於步驟四中提取出來的海天線不是連續的，無法得到其直線方程，所以穩像系 統利用常用的最小二乘數學方法，將不連續的海天線上所有的坐標點擬合成為連續的特徵 直線，並輸出擬合後的參考幀、當前幀海天線，便於後面對其進行直線方程參數的求解。
步驟六、水平投影參考幀、當前幀海天線。由於海天線只存在垂直方向上的偏移，將步驟五中輸出的參考幀、當前幀海天線 進行水平投影，而擬合後的參考幀和當前幀海天線的長度並不相同，所以只需選取部分海 天線進行投影。在參考幀中選取海天線橫坐標相同的點進行水平投影，對在坐標軸上得到的所有 投影點縱坐標值進行求和，再將該和值除以投影點的總個數，得到參考幀海天線的平均坐 標值。按求解參考幀海天線平均坐標值的步驟，對當前幀海天線的平均坐標值進行求解。
步驟七、求解直線方程。步驟五輸出的參考幀與當前幀海天線的存在一定量的角度差值，該差值可以通過 偏轉角與特徵直線參數之間的對應關係得到，所以在參考幀、當前幀海天線上任意取3點， 假設這3點的橫縱坐標分別為(xl，yl)、(x2, y2)和(x3, y3)，分別將這3點代入直線方程 ax+by+c = 0，方程聯立求解得到參考幀直線方程參數am、bm、cm，當前幀直線方程參數an、bn、
Cn°步驟八、計算平移量。為了得到步驟五輸出的參考幀與當前幀海天線在垂直方向的偏移量，將步驟六得 到參考幀和當前幀的平均坐標值相減，所得到的差值就是海天線在垂直方向上的平移量 Ay。步驟九、求偏轉角。為了得到步驟五輸出的參考幀與當前幀海天線之間的角度差，需要通過偏轉角與 特徵直線參數之間的對應關係來求得。由步驟八得到的參考幀特徵直線的直線方程為afflxffl+bfflyffl+cffl = 0(公式 1)當前幀特徵直線的直線方程為anxn+bnyn+cn = 0(公式 2)由公式1和公式2經過變換得到偏轉角Δ θ與特徵直線參數am、bm、an、bn之間的 對應關係
權利要求
1.一種基於特徵直線的船載攝像系統電子穩像方法，包括如下步驟(1)選取參考幀、讀入當前幀，對正在進行拍攝的視頻圖像，從其中選取一幀平穩的圖 像作為參考幀，依次讀入正在進行拍攝的視頻圖像序列作為當前幀；(2)圖像二值化2a)分別將每幀中所有像素點求和，將該和值除以總像素的個數得到的圖像平均灰度 值即為該幀圖像的二值化閾值；2b)將步驟(1)中選取的參考幀和當前幀每一點的像素與步驟2a)中獲取的閾值進行 比較，所有像素點比較後得到的結果構成二值化圖像；(3)邊緣檢測，對步驟(2)得到的參考幀和當前幀二值圖像進行sobel算子邊緣檢測， 得到參考幀和當前幀二值圖像的邊緣檢測圖像；(4)提取不連續的海天線，利用Hough變換提取出步驟(3)的邊緣檢測圖像中不連續的 海天線；(5)擬合參考幀、當前幀海天線，採用最小二乘法將步驟(4)中提取出來的不連續海天 線擬合成連續的特徵直線，輸出擬合好的參考幀、當前幀海天線；(6)水平投影參考幀、當前幀海天線，將步驟(5)輸出的參考幀、當前幀海天線分別進 行水平投影，在坐標軸上得到所有點的縱坐標，再將所有點的縱坐標求和，將該和值除以投 影點的總個數，得到參考幀、當前幀海天線的平均坐標值；(7)求解直線方程，分別在步驟(5)輸出的參考幀、當前幀海天線上任意取3點，將該3 點的橫縱坐標對應的χ、y數值分別代入直線方程ax+by+c = O中，方程聯立求解得到參考 幀、當前幀的海天線直線方程參數a、b、c ；(8)計算平移量，將步驟(6)得到的參考幀海天線的平均坐標值與當前幀海天線的平 均坐標值相減，得到垂直方向的平移量Ay ；(9)求偏轉角，將由步驟(7)得到的參考幀海天線的直線方程參數和當前幀海天線的 直線方程參數代入旋轉角和特徵直線參數之間的對應關係式，得到偏轉角△ θ ；(10)平移並旋轉，對步驟(1)的當前幀圖像垂直平移Ay數值，將平移後的圖像再旋轉 Δ θ，得到穩像圖像並輸出。
2.根據權利要求1所述的基於特徵直線的船載攝像系統電子穩像方法，其特徵在於 所述步驟2b) 二值化閾值與所有像素點比較時，若該點的像素值大於或等於閾值時，則該 點的像素值置為1，否則，該點的像素值置為O。
3.根據權利要求1所述的基於特徵直線的船載攝像系統電子穩像方法，其特徵在於 所述步驟(6)中海天線的水平投影是選取參考幀和當前幀海天線上橫坐標相同的點進行 水平投影。
4.根據權利要求1所述的基於特徵直線的船載攝像系統電子穩像方法，其特徵在於 所述步驟(9)中的對應關係式是指
全文摘要
本發明公開了一種圖像處理技術領域的基於特徵直線的船載攝像系統電子穩像方法，解決了船載攝像系統在艦船航行過程中的視頻圖像失穩問題。具體步驟為(1)選取參考幀和讀入當前幀；(2)圖像二值化；(3)用sobel算子對二值化圖像進行邊緣檢測；(4)用hough變換將圖像中不連續的海天線提取出來，再利用最小二乘法將其擬合成連續的特徵直線；(5)對特徵直線進行水平投影；(6)求解直線方程；(7)計算偏移量Δy；(8)計算偏轉量Δθ；(9)將當前幀垂直平移Δy、旋轉Δθ實現穩像。本發明充分利用了航海過程中始終存在海天線這一特徵，減少了過多的特徵選取和特徵匹配，具有良好的實時性、易於實現、計算複雜度低等特點。
文檔編號H04N5/21GK102006398SQ20101052802
公開日2011年4月6日 申請日期2010年10月29日 優先權日2010年10月29日
發明者劉洋, 初秀琴, 盧珊, 李偉哲, 秦俊, 胡樂, 範振軍 申請人:西安電子科技大學