用於穩定圖像的設備和方法
2023-05-31 03:30:36 1
用於穩定圖像的設備和方法
【專利摘要】本發明提供了一種用於穩定圖像的設備和方法。一種用於即使當相機抖動時也輸出穩定圖像的設備和方法。所述方法包括：將第一補償運動應用於圖像，以獲得第一穩定圖像，其中，將第一運動的累加結果逆變換成第一補償運動，其中，在從參考圖像到任意圖像的相鄰圖像之間估計出第一運動中的每一個；並且獲得在參考圖像和第一穩定圖像之間估計出的第二運動，獲得由第一運動的累加結果和第二運動的累加結果逆變換而成的第二補償運動，將第二補償運動應用於圖像，以獲得第二穩定圖像。
【專利說明】用於穩定圖像的設備和方法
[0001] 本申請要求於2013年7月12日提交到韓國知識產權局的第10-2013-0082470號 韓國專利申請的利益，該申請的公開通過引用全部合併於此。
【技術領域】
[0002] 與示例性實施例一致的設備和方法涉及提供一種用於即使當相機抖動時也穩定 地輸出圖像的設備和方法。
【背景技術】
[0003] 隨著多媒體裝置的使用已經增加，對針對在各種環境中捕捉到的數字圖像的圖像 增強技術的需求也已經增加。圖像增強技術的示例包括廣泛應用於拍攝設備(諸如，數字相 機、智慧型電話、家用相機或攝像機、工業監控相機、廣播用相機、軍用相機等）的圖像穩定技 術、圖像模糊的消除和噪音消除。最初，拍攝設備將模擬信號數位化，以形成數字圖像。然 而，現有技術中最近使用的拍攝設備應用了各種類型的線性處理和後處理校正技術，以獲 得具有比模擬圖像更好的圖像質量的數字圖像。
[0004] 在數字圖像校正技術之中，圖像穩定技術是使用最普遍的技術。如果用戶在拍攝 設備移動時捕捉圖像，則發生拍攝設備的抖動。此外，由於諸如機械振動、與地面的摩擦等 的多個環境因素，因此安裝在諸如汽車、飛機、直升機等的運輸工具上的相機不由自主地抖 動。在相機小幅移動的情況下，如果當捕捉圖像時相機正使用高放大率，則屏幕的抖動變得 更加嚴重。如上所述，如果當捕捉圖像時拍攝設備抖動，則圖像穩定技術通過消除捕捉到的 圖像中所發生的不受期望的抖動而獲得清晰圖像。
[0005] 數字圖像穩定技術用於通過輸入圖像信號的幀之間的運動估計來檢測不受期望 的抖動，並從幀存儲器或電荷耦合器件（CCD)讀取運動已經得到補償的圖像數據，以便校正 抖動。數字圖像穩定技術比機械方法更便宜、更準確，並且能夠針對無法通過機械穩定技術 補償的各種運動進行補償。因此，在現有技術中，數字圖像穩定技術已經得到積極的研究。
【發明內容】
[0006] 示例性實施例至少解決以上問題和/或缺點以及以上未描述的其它缺點。此外， 示例性實施例不需要克服上述缺點，並且示例性實施例可不克服任何上述問題。
[0007] -個或更多個示例性實施例提供了一種用於消除在圖像穩定處理後剩餘的漂移 誤差的設備和方法，以減少圖像劣化。
[0008] 附加的方面部分將在下面的描述中被闡述，部分將從所述描述中變得清楚，或者 可通過實踐示例性實施例而學到。
[0009] 根據示例性實施例的方面，提供了一種方法，所述方法包括：將第一補償運動應用 於圖像，以獲得第一穩定圖像，其中，將第一運動的累加結果逆變換成第一補償運動，其中， 在從參考圖像到任意圖像的相鄰圖像之間估計出第一運動中的每一個；並且獲得在參考圖 像和第一穩定圖像之間估計出的第二運動，獲得由第一運動的累加結果和第二運動的累加 結果逆變換而成的第二補償運動，將第二補償運動應用於圖像，以獲得第二穩定圖像。
[0010] 第一穩定圖像可包括針對第一運動的漂移誤差。
[0011] 第二穩定圖像可以是已經由第二補償運動從中消除了漂移誤差的圖像。
[0012] 獲得第一補償運動的步驟可包括：從相鄰圖像的第一圖像提取特性點；在相鄰圖 像的第二圖像內追蹤特性點，以獲得與特性點相應的相應點；通過使用相應點來估計第一 運動中的一個第一運動作為第二圖像針對第一圖像的運動；並且獲得由第一運動中的所述 一個第一運動和其它第一運動逆變換而成的第一補償運動。
[0013] 提取特性點的步驟可包括：縮小第一圖像，並且獲得邊緣圖像；並且響應於在邊 緣圖像的任意塊中存在的邊緣的數量超出閾值，提取所述任意塊作為多個特性點中的一個 特性點。
[0014] 估計第一運動的步驟可包括：估計包括相應點的移動、旋轉、大小改變的第一運 動。
[0015] 獲得第二運動的步驟可包括：從參考圖像提取特性點；在第一穩定圖像內追蹤特 性點，以獲得與特性點相應的相應點；並且通過使用相應點來估計第二運動作為第一穩定 圖像針對參考圖像的運動。
[0016] 提取特性點的步驟可包括：縮小參考圖像，並且獲得邊緣圖像；並且響應於在邊 緣圖像的任意塊內存在的邊緣的數量超出閾值，提取所述任意塊作為多個特性點中的一個 特性點。
[0017] 獲得第二運動的步驟可包括：獲得包括相應點的移動、旋轉、大小改變的第二運 動。
[0018] 根據另一示例性實施例的方面，提供一種用於穩定圖像的設備，所述設備包括：第 一穩定圖像獲取器，被配置為累加第一運動，並且將累加結果作為第一補償運動應用於圖 像，以獲得第一穩定圖像，其中，在從參考圖像到任意圖像的相鄰圖像之間估計出第一運動 中的每一個；第二穩定圖像獲取器，被配置為獲得在參考圖像和第一穩定圖像之間估計出 的第二運動，並且將由第一運動的累加結果和第二運動的累加結果逆變換而成的第二補償 運動應用於圖像，以獲得第二穩定圖像。
[0019] 第一穩定圖像可包括針對第一運動的漂移誤差，並且第二穩定圖像可以是已經由 第二補償運動從中消除了漂移誤差的圖像。
[0020] 第一穩定圖像獲取器可包括：第一補償運動獲取器，被配置為獲得由第一運動的 累加結果逆變換而成的第一補償運動；第一穩定圖像輸出器，被配置為將第一補償運動應 用於圖像，以輸出第一穩定圖像。
[0021] 第一補償運動獲取器還可被配置為：從相鄰圖像的第一圖像提取特性點，在相鄰 圖像的第二圖像內追蹤特性點，以獲得與特性點相應的相應點，通過使用相應點來估計第 一運動中的一個第一運動作為第二圖像針對第一圖像的運動，並且獲得由第一運動中的所 述一個第一運動和其它第一運動逆變換而成的第一補償運動。
[0022] 第二穩定圖像獲取器可包括：第二運動獲取器，被配置為獲得在參考圖像和第一 穩定圖像之間估計出的第二運動；第二補償運動獲取器，被配置為獲得由第一運動的累加 結果和第二運動的累加結果逆變換而成的第二補償運動；第二穩定圖像輸出器，被配置為 將第二補償運動應用於圖像，以輸出第二穩定圖像。
[0023] 第二運動獲取器還可被配置為：從參考圖像提取特性點，在第一穩定圖像內追蹤 特性點，以獲得與特性點相應的相應點，並且通過使用相應點來估計第二運動作為第一穩 定圖像針對參考圖像的運動。
[0024] 第二運動獲取器還可被配置為：縮小參考圖像，獲得邊緣圖像，並且響應於在邊緣 圖像的任意塊內存在的邊緣的數量超出閾值，提取所述任意塊作為多個特性點中的一個特 性點。
[0025] 第二運動獲取器還可被配置為：獲得包括相應點的移動、旋轉、大小改變的第二運 動。
[0026] 根據另一示例性實施例的方面，提供了一種非暫時性計算機可讀記錄介質，所述 介質具有記錄在其上的當由計算機運行時執行一種穩定圖像的方法的程序，其中，所述方 法包括：獲得由第一運動的累計結果逆變換而成的第一補償運動，其中，在從參考圖像到任 意圖像的相鄰圖像之間估計出第一運動中的每一個；將第一補償運動應用於圖像，以獲得 第一穩定圖像；獲得在參考圖像和第一穩定圖像之間估計出的第二運動；獲得由第一運動 的累加結果和第二運動的累加結果逆變換而成的第二補償運動；將第二補償運動應用於圖 像，以獲得第二穩定圖像。
【專利附圖】
【附圖說明】
[0027] 通過下面結合附圖的對示例性實施例的描述，本發明的以上和/或其它方面將變 得更清楚和更容易理解，其中：
[0028] 圖1是示出根據示例性實施例的用於穩定圖像的設備的結構的框圖；
[0029] 圖2是示出根據示例性實施例的用於穩定圖像的圖像幀的示圖；
[0030] 圖3 (A)至（D)是示出提取特徵點的處理的圖像；
[0031] 圖4 (A)和（B)是示出獲得相應點的處理的圖像；
[0032] 圖5 (A)和（B)是示出估計運動的處理的示圖；
[0033] 圖6是根據示例性實施例的穩定圖像的方法的流程圖。
【具體實施方式】
[0034] 在下文中，將參照附圖來詳細描述特定示例性實施例。附圖中的相似的標號始終 指示相似的元件。
[0035] 雖然示例性實施例能夠具有各種修改和替代形式，但是示例性實施例以附圖中的 示例的方式示出，並且將在此被詳細描述。然而，應該理解的是，並不意在將實施例限制為 公開的特定形式，而是恰恰相反，實施例將涵蓋落入本發明構思的範圍內的所有修改、等同 物和替代物。
[0036] 將理解的是，儘管可在此使用術語"第一"、"第二"、"第三"等來描述各種元件、組 件、區域、層和/或區間，但是這些元件、組件、區域、層和/或區間不應該受這些術語限制。 僅使用這些術語來區分一個元件、組件、區域、層或區間與另一元件、組件、區域、層或區間。 在此使用的術語的僅僅是為了描述特定示例性實施例的目的，而並非意在限制示例性實施 例。除非上下文清楚地另有指示，否則在此使用的單數形式意在還包括複數形式。還將理 解的是，當在此說明書中使用術語"包括"和/或"包括……的"時，所述術語指定聲明的特 徵、整體、步驟、操作、元件和/或組件的存在，但並不排除存在或添加一個或更多個其它特 徵、整體、步驟、操作、元件、組件和/或上述項的組合。當在此使用時，術語"和/或"包括 相關聯的列表項中的一個或更多個的任何和所有組合。
[0037] 示例性實施例可被實現為功能塊結構和各種處理操作。這些功能塊可被實現為 各種數量的執行特定功能的硬體和/或軟體結構。例如，示例性實施例可使用可通過控制 一個或更多個微處理器或其它控制設備來執行各種功能的直接電路結構(諸如，存儲器、處 理、邏輯、查詢表等)。示例性實施例的相似的元件可作為軟體程序或軟體元件被執行。示例 性實施例可被實現為包括各種算法的程序或者腳本語目（諸如，C、C++、彙編語目等)，其中， 通過數據結構、處理、例程或其它編程結構的組合來實現所述各種算法。功能方面可被實現 為由一個或更多個處理器執行的算法。此外，示例性實施例可使用現有技術來執行電子環 境設置、信號處理和/或數據處理等。諸如機械結構、元件、部件或結構的術語可廣泛使用， 並且不限於機械或物理結構。所述術語可包括一系列與處理器相關的軟體的例程等。
[0038] 當穩定圖像時，靜態相機計算參考圖像和當前抖動圖像之間的運動，並且在與運 動相反的方向上變換當前圖像，以獲得穩定的圖像。在此，穩定圖像的性能完全取決於計算 參考圖像和當前圖像之間的運動的結果。此外，在變換圖像後，還可執行圖像增強。
[0039] 穩定圖像的性能取決於參考圖像和當前圖像之間的運動的計算的準確性。計算參 考圖像和當前圖像之間的運動的方法被分類為兩種方法。在第一方法中，直接計算參考圖 像和當前圖像之間的運動。換言之，從參考圖像中提取特性點，從當前圖像追蹤與特性點相 應的相應點，或者通過匹配檢測所述相應點，並且通過使用相應點來計算參考圖像和當前 圖像之間的運動。在此，運動指平移、旋轉、縮放等。
[0040] 在第二方法中，計算並且如以下的等式1中那樣累加相鄰圖像(第n-1圖像和第η 圖像）之間的運動(幀間運動）
【權利要求】
1. 一種穩定圖像的方法，所述方法包括： 將第一補償運動應用於圖像，以獲得第一穩定圖像，其中，將第一運動的累加結果逆變 換成第一補償運動，其中，在從參考圖像到任意圖像的相鄰圖像之間估計出第一運動中的 每一個； 獲得在參考圖像和第一穩定圖像之間估計出的第二運動，獲得由第一運動的累加結果 和第二運動的累加結果逆變換而成的第二補償運動，將第二補償運動應用於圖像，以獲得 第二穩定圖像。
2. 如權利要求1所述的方法，其中，第一穩定圖像包括針對第一運動的漂移誤差。
3. 如權利要求2所述的方法，其中，第二穩定圖像是已經由第二補償運動從中消除了 漂移誤差的圖像。
4. 如權利要求1所述的方法，其中，獲得第一補償運動的步驟包括： 從相鄰圖像的第一圖像提取特性點； 在相鄰圖像的第二圖像內追蹤特性點，以獲得與特性點相應的相應點； 通過使用相應點來估計第一運動中的一個第一運動作為第二圖像針對第一圖像的運 動； 獲得由第一運動中的所述一個第一運動和其它第一運動逆變換而成的第一補償運動。
5. 如權利要求4所述的方法，其中，提取特性點的步驟包括： 縮小第一圖像，並且獲得邊緣圖像； 響應於在邊緣圖像的任意塊中存在的邊緣的數量超出閾值，提取所述任意塊作為多個 特性點中的一個特性點。
6. 如權利要求4所述的方法，其中，估計第一運動的步驟包括：估計包括相應點的移 動、旋轉、大小改變的第一運動。
7. 如權利要求1所述的方法，其中，獲得第二運動的步驟包括： 從參考圖像提取特性點； 在第一穩定圖像內追蹤特性點，以獲得與特性點相應的相應點； 通過使用相應點來估計第二運動作為第一穩定圖像針對參考圖像的運動。
8. 如權利要求7所述的方法，其中，提取特性點的步驟包括： 縮小參考圖像，並且獲得邊緣圖像； 響應於在邊緣圖像的任意塊內存在的邊緣的數量超出閾值，提取所述任意塊作為多個 特性點中的一個特性點。
9. 如權利要求7所述的方法，其中，獲得第二運動的步驟包括：獲得包括相應點的移 動、旋轉、大小改變的第二運動。
10. -種用於穩定圖像的設備，所述設備包括： 第一穩定圖像獲取器，被配置為累加第一運動，並且將累加結果作為第一補償運動應 用於圖像，以獲得第一穩定圖像，其中，在從參考圖像到任意圖像的相鄰圖像之間估計出第 一運動中的每一個； 第二穩定圖像獲取器，被配置為獲得在參考圖像和第一穩定圖像之間估計出的第二運 動，並且將由第一運動的累加結果和第二運動的累加結果逆變換而成的第二補償運動應用 於圖像，以獲得第二穩定圖像。
11. 如權利要求10所述的設備，其中，第一穩定圖像包括針對第一運動的漂移誤差，並 且第二穩定圖像是已經由第二補償運動從中消除了漂移誤差的圖像。
12. 如權利要求10所述的設備，其中，第一穩定圖像獲取器包括： 第一補償運動獲取器，被配置為獲得由第一運動的累加結果逆變換而成的第一補償運 動； 第一穩定圖像輸出器，被配置為將第一補償運動應用於圖像，以輸出第一穩定圖像。
13. 如權利要求12所述的設備，其中，第一補償運動獲取器還被配置為：從相鄰圖像 的第一圖像提取特性點，在相鄰圖像的第二圖像內追蹤特性點，以獲得與特性點相應的相 應點，通過使用相應點來估計第一運動中的一個第一運動作為第二圖像針對第一圖像的運 動，並且獲得由第一運動中的所述一個第一運動和其它第一運動逆變換而成的第一補償運 動。
14. 如權利要求10所述的設備，其中，第二穩定圖像獲取器包括： 第二運動獲取器，被配置為獲得在參考圖像和第一穩定圖像之間估計出的第二運動； 第二補償運動獲取器，被配置為獲得由第一運動的累加結果和第二運動的累加結果逆 變換而成的第二補償運動； 第二穩定圖像輸出器，被配置為將第二補償運動應用於圖像，以輸出第二穩定圖像。
15. 如權利要求14所述的方法，其中，第二運動獲取器還被配置為：從參考圖像提取特 性點，在第一穩定圖像內追蹤特性點，以獲得與特性點相應的相應點，並且通過使用相應點 來估計第二運動作為第一穩定圖像針對參考圖像的運動。
16. 如權利要求15所述的方法，其中，第二運動獲取器還被配置為：縮小參考圖像，獲 得邊緣圖像，並且響應於在邊緣圖像的任意塊內存在的邊緣的數量超出閾值，提取所述任 意塊作為多個特性點中的一個特性點。
17. 如權利要求15所述的方法，其中，第二運動獲取器還被配置為：獲得包括相應點的 移動、旋轉、大小改變的第二運動。
【文檔編號】H04N5/21GK104284059SQ201410019534
【公開日】2015年1月14日 申請日期:2014年1月16日 優先權日:2013年7月12日
【發明者】柳然傑, 李活石, 樸相志 申請人:三星泰科威株式會社