一種基於慣導信息的電子穩像方法
2023-05-17 08:32:41 1
專利名稱：一種基於慣導信息的電子穩像方法
技術領域：
本發明涉及數位訊號處理領域，具體涉及一種基於慣導信息的電子穩像方法。
背景技術：
攝像機在拍攝過程中，如果攝像機未固定在穩定的三角架或其他固定裝置上，所拍攝的圖像將會出現抖動現象。例如在飛機航行過程中，由於受到氣流的影響而顛簸，機載的可見光或者紅外傳感器所拍攝圖像出現抖動現象；在道路交通監測中，由於易受大風雨雪等自然條件影響，攝像頭的晃動也將導致所拍攝圖像也非常不穩定；手持相機拍攝的過程中，由於人手的抖動導致所拍攝圖像出現晃動都將影響所拍攝視頻的觀看質量。由於這種隨機抖動導致圖像中所要關注的目標在顯示窗口內來回晃動，這會使觀察者產生疲勞感，從而導致誤判和漏判，也會給自動化系統對有效信息的提取和應用帶來困難。 由此，穩像技術對於提高攝像機的拍攝質量起著至關重要的作用。傳統的穩像方式有機械穩像、光學穩像、還有電子穩像。前兩種穩像方式都需要藉助複雜的硬體實現，機械穩像對大幅度劇烈運動可起到較好穩像效果，但是由於設備的摩擦等因素，精度不高，穩定效果還需要進一步處理。而光學穩像技術只能補償輕微的抖動，而且只有在平行光下才能達到較好的效果，應用場合受到極大地限制。電子穩像技術以其不依賴複雜的外部硬體，應用靈活廣泛而備受關注。但是，傳統的電子穩像也存在很大的技術瓶頸，傳統電子穩像的方法都是單純利用圖像信息對所拍攝的視頻圖像進行穩像處理，但是由於場景過於複雜，則會導致穩像失效。
發明內容
本發明旨在至少在一定程度上解決上述技術問題之一或至少提供一種有用的商業選擇。為此，本發明的目的在於提出一種附加設備簡單、運算精度高的電子穩像方法。根據本發明實施例的基於慣導信息的電子穩像方法，包括以下步驟:A、提取視頻中的每幀圖像的特徵點；B、對相鄰兩幀圖像的所述特徵點進行匹配，並求取匹配成功的特徵點對的運動信息；C、將所述匹配成功的特徵點對代入全局運動模型並進行擬合，並判斷擬合程度是否達到預定閾值，若達到預定閾值則直接進入到步驟E，若未達到預定閾值則進入到步驟D ;D、根據慣導測量參數計算慣導預測運動信息，參照所述慣導預測運動信息對所述匹配成功的特徵點對進行校驗，提取出符合慣導預測運動信息的特徵點對；E、將所述符合慣導預測運動信息的特徵點對的運動信息與慣導預測運動信息進行融合，並進行運動濾波，獲得攝像機的抖動位移分量；F、利用相鄰兩幀圖像的所述特徵點對的坐標對應關係，求取相鄰兩幀旋轉分量，並對視頻進行運動補償；以及G、結合所述特徵點對的運動信息和慣導預測運動信息對視頻的每幀圖像進行圖像復原處理，提高圖像質量。根據本發明實施例的基於慣導信息的電子穩像方法無需複雜的硬體，提高了運算精度，電子穩像效果好，可適用於解決室內、室外燈移動場景下攝像機或其他攝像設備的不平穩造成的視頻圖像序列抖動模糊的問題，以及對幀內圖像模糊也有一定改善。
另外，根據本發明上述的基於慣導信息的電子穩像方法還可以具有如下附加的技術特徵在本發明的一個實施例中，採用尺度旋轉不變特徵變換方法，提取視頻中的每幀圖像的特徵點。在本發明的一個實施例中，所述步驟B進一步包括B1.提取相鄰兩幀圖像，當前幀和前一幀分別記為f。和fp ;B2.對所述f。和fp中的特徵點進行匹配，匹配成功的特徵點對的記為Pairi,其中i表示匹配的特徵點對的序號，i=l, 2，…，IiuPairi包含當前巾貞的匹配特徵點Fcd和前一幀的匹配特徵點Fpi ;以及B3.計算匹配成功的特徵點對Pairi的運動方
向Di,其中
權利要求
1.本發明提出一種基於慣導信息的電子穩像方法，其特徵在於，包括以下步驟 A、提取視頻中的每幀圖像的特徵點； B、對相鄰兩幀圖像的所述特徵點進行匹配，並求取匹配成功的特徵點對的運動信息； C、將所述匹配成功的特徵點對代入全局運動模型並進行擬合，並判斷擬合程度是否達到預定閾值，若達到預定閾值則直接進入到步驟E，若未達到預定閾值則進入到步驟D ; D、根據慣導測量參數計算慣導預測運動信息，參照所述慣導預測運動信息對所述匹配成功的特徵點對進行校驗，提取出符合慣導預測運動信息的特徵點對； E、將所述符合慣導預測運動信息的特徵點對的運動信息與慣導預測運動信息進行融合，並進行運動濾波，獲得攝像機的抖動位移分量； F、利用相鄰兩幀圖像的所述特徵點對的坐標對應關係，求取相鄰兩幀旋轉分量，並對視頻進行運動補償；以及 G、結合所述特徵點對的運動信息和慣導預測運動信息對視頻的每幀圖像進行圖像復原處理，提高圖像質量。
2.如權利要求I所述的基於慣導信息的電子穩像方法，其特徵在於，採用尺度旋轉不變特徵變換方法，提取視頻中的每幀圖像的特徵點。
3.如權利要求I所述的基於慣導信息的電子穩像方法，其特徵在於，所述步驟B進一步包括 BI.提取相鄰兩幀圖像，將當前幀和前一幀分別記為f。和fp ； B2.對所述f。和fp中的特徵點進行匹配，匹配成功的特徵點對的記為Pairi，其中i表示匹配的特徵點對的序號，i=l，2，-,m, Pairi包含當前幀的匹配特徵點Fcd和前一幀的匹配特徵點Fpi ; 以及
4.如權利要求I所述的基於慣導信息的電子穩像方法，其特徵在於，採用隨機採樣一致性方法，將所述匹配成功的特徵點代入全局運動模型並進行擬合，其中，所述全局運動模型滿足仿射變換。
5.如權利要求1-4中任一項所述的基於慣導信息的電子穩像方法，其特徵在於，所述步驟D進一步包括 Dl.根據加速度計測得的X軸加速度ax、y軸加速度ay和z軸加速度az,進行積分運算，獲得X軸方向的運動位移dx、y軸方向的運動位移dy和z軸方向的運動位移dz,並且根據陀螺儀測得的旋轉角速度ωρ、俯仰角速度cot和滾轉角速度ωρ進行積分計算，獲得旋轉角θρ、俯仰角91和滾轉角 D2.根據所述dx和dy計算慣導預測運動方向Dg，其中
6.如權利要求5所述的基於慣導信息的電子穩像方法，其特徵在於，所述步驟E進一步包括 El.對所有的所述符合慣導預測運動信息的特徵點對Couple^的x和y方向位移求平均值，得到全局平均位移(^, dy); E2.對所述全局平均位移( , )進行卡爾曼濾波，得到平滑運動位移(kdx，kdy)； E3.對所述平滑運動位移(kdx，kdy)進行求導並歸一化，得到基於圖像的沿X和y方向的移動速度(vtx, vty)； E4.對所述加速度計測得的X軸加速度ax和y軸加速度ay積分求速度並歸一化，得到基於慣導信息的沿X和I方向的移動速度(vx，vy)； E5.對所述(vtx，vty)和所述(vx，vy)進行加權平均，得到平穩全局速度信息(vfx，vfy)；E6.對所述平穩全局速度信息(vfx，vfy)對時間進行積分，得到攝像機的有意運動位移(Tx, Ty)；以及 E7.計算所述全局平均位移(Uy)和所述有意運動位移(Tx，Ty)的差值，得到無意抖動位移(Nx，Ny)。
7.如權利要求6所述的基於慣導信息的電子穩像方法，其特徵在於，所述步驟F進一步包括 Fl.在所述符合慣導預測運動信息的特徵點對Couple^，j=l，2，…，m帶入仿射變換矩陣中，求取旋轉矩陣R ;以及 F2.根據所述旋轉矩陣R和所述無意抖動位移(Nx，Ny)，對所述當前幀f。進行變換補償，得到補償後的前一幀圖像fpe = Rfc + (Nx,Ny)T0
8.如權利要求7所述的基於慣導信息的電子穩像方法，其特徵在於，所述步驟G進一步包括 Gl.利用所述相鄰幀的全局平均位移(Uy)·根據運動方向和像素的偏移大小初步估計模糊核Kernel，並對退化的模糊圖像進行恢復；以及 G2.利用圖像的歸一化的梯度幅值作為圖像質量的評價函數來衡量所恢復的圖像的銳化程度，依據此準則使模糊核函數向真值逐步迭代收斂，當G大於預定閾值，圖像無需恢 y IIVZ(^v)II2復，其中，所述評價函數的計算公式為+ t^maX(||V/(A-,>0||,)其中N，M表示圖像的長
全文摘要
本發明提出一種基於慣導信息的電子穩像方法，首先對視頻的每幅圖像提取特徵點，然後利用特徵點匹配算法對相鄰的兩幀進行全局運動估計，如果全局運動估計出現較大誤差，將利用慣導系統所獲得的運動信息對全局運動進行估計，彌補由於單純利用圖像進行全局運動估計的誤差，全局運動估計的模型採用仿射變換模型，然後結合圖像和慣導信息對模型中進行運動濾波，區分出攝像機的有意運動和抖動分量，並且求出由於抖動引入的旋轉分量，再利用所得到的抖動和旋轉分量對原始視頻圖像進行補償，獲得穩定的視頻，以及結合圖像信息和慣導預測運動信息對視頻的每幀圖像進行圖像復原處理，提高圖像質量。該方法無需複雜硬體，提高了運算精度，電子穩像效果好。
文檔編號H04N5/232GK102780846SQ201210240509
公開日2012年11月14日 申請日期2012年7月11日 優先權日2012年7月11日
發明者於昕, 尚忠良, 張利, 張順利, 隨堯 申請人:清華大學