用於消除失真的裝置和方法

2023-05-28 20:11:01

用於消除失真的裝置和方法
【專利摘要】提供一種用於消除失真的裝置和方法。所述方法包括：通過在參考圖像與輸入圖像之間的局部運動矢量對指示輸入圖像中的失真量的參數集進行估計，並通過使用估計的參數集來重構輸入圖像。
【專利說明】用於消除失真的裝置和方法
[0001] 本申請要求於2013年8月27日提交到韓國知識產權局的第10-2013-0102021號 韓國專利申請的優先權，所述申請的公開通過引用完全合併於此。

【技術領域】
[0002] 與本發明構思的示例性實施例一致的設備和方法涉及消除相機圖像中的失真，更 具體地講，涉及消除由相機的互補金屬氧化物半導體（CMOS)傳感器中使用的捲簾快門造 成的抖動。

【背景技術】
[0003] 捲簾快門模式是圖像獲取的方法，其中，通過垂直或水平地掃描過圖像幀來記錄 每個圖像幀。在捲簾快門模式中，從頂部到底部依次逐行進行讀出。
[0004] 在捲簾快門模式中，像素的頂行是開始收集光的第一行並且是完成收集光的第一 行。對於每個下面的行的光收集的開始和結束是稍有延遲的，因此造成諸如偏斜或抖動的 失真。
[0005] -種用於消除這樣的由捲簾快門造成的失真的方法包括：針對每個幀計算二維或 三維空間中的相機的位置，通過使用CMOS傳感器的參數（諸如幀速率、讀出時間和幀延遲 時間）來針對每條掃描線確定相機的位置，並校正由捲簾快門造成的失真。然而，該方法具 有以下缺點：在校正捲簾快門失真之前必須對CMOS傳感器進行校準，並且校正的性能受到 CMOS傳感器的校準的準確度的影響。


【發明內容】

[0006] -個或更多個示例性實施例提供一種用於消除由互補金屬氧化物半導體（CMOS) 傳感器中使用的捲簾快門模式造成的諸如偏斜或抖動的失真的裝置和方法。
[0007] 實施例的各方面部分地將在下面的描述中部分地闡明，並且從描述中部分是清楚 的，或者通過本發明的實施可以被理解。
[0008] 根據示例性實施例的一方面，提供一種用於消除失真的裝置，所述裝置包括：拍攝 單元，被配置為通過使用捲簾快門來連續地拍攝多個幀；存儲單元，被配置為存儲拍攝的多 個幀的圖像；局部運動矢量產生器，被配置為產生拍攝的圖像中的參考圖像與輸入圖像之 間的局部運動矢量；參數估計器，被配置為基於局部運動矢量對指示鑑於參考圖像的輸入 圖像中的失真量的參數集進行估計；圖像重構單元，被配置為通過使用估計的參數集和關 於輸入圖像的信息來產生重構的圖像。
[0009] 參數估計器可通過在參考圖像中選擇至少一條掃描線並在輸入圖像中選擇至少 一條相應的線來估計參數集，其中，參數集是表示輸入圖像中的所述相應的線的起點和終 點的坐標的變量的集合。
[0010] 參數估計器可通過在參考圖像中選擇存在於所述掃描線上的至少一個點並在輸 入圖像中的相應的線中選擇至少一個相應的點來估計參數集。
[0011] 參數估計器可基於局部運動矢量來選擇相應的點。
[0012] 參數估計器可通過選擇點和相應的點使得兩個點分別以相同的比例內部地劃分 參考圖像中的掃描線和輸入圖像中的相應的線來估計參數集。
[0013] 參數估計器可通過參考圖像中的掃描線的y-坐標的函數設置相應的線中的所有 點來估計參數。
[0014] 參數估計器可通過使用Ax= b形式的線性方程來計算輸入圖像中的相應的點的 坐標，其中，A是由掃描線的y-坐標的函數表示的矩陣，x是參數集，並且b是輸入圖像中的 相應的點的坐標。
[0015] 圖像重構單元可通過使用估計的參數集來搜索與重構的圖像中的至少一個任意 點相應的輸入圖像中的至少一個點，並通過使用輸入圖像中的所述至少一個點的像素值來 產生重構的圖像。
[0016] 根據另一示例性實施例的一方面，提供一種在用於消除失真的裝置中從輸入圖像 消除失真的方法，所述方法可包括：將由拍攝單元通過使用捲簾快門連續拍攝的多個幀存 儲在存儲單元中；在局部運動矢量產生器中產生拍攝的圖像中的參考圖像與輸入圖像之間 的局部運動矢量；在抖動參數估計器中基於局部運動矢量估計用於確定鑑於參考圖像的輸 入圖像中的失真量的參數集；並在圖像重構單元中通過使用估計的參數集和關於輸入圖像 的信息來產生重構的圖像。
[0017] 在估計參數集的步驟中，可通過在參考圖像中選擇至少一條掃描線並在輸入圖像 中選擇至少一條相應的線來估計參數集，其中，參數集是表示輸入圖像中的相應的線的起 點和終點的坐標的變量的集合。
[0018] 在估計參數集的步驟中，可通過在參考圖像中選擇存在於掃描線上的至少一個點 並在輸入圖像中的相應的線中選擇至少一個相應的點來估計參數集。
[0019] 在估計參數集的步驟中，可基於局部運動矢量來選擇相應的點。
[0020] 在估計參數集的步驟中，可選擇點和相應的點使得兩個點分別以相同的比例內部 地劃分參考圖像中的掃描線和輸入圖像中的相應的線。
[0021] 在估計參數集的步驟中，可通過參考圖像中的掃描線的y_坐標的函數設置相應 的線中的所有點。
[0022] 在估計參數集的步驟中，可通過使用Ax=b形式的線性方程來計算輸入圖像中的 相應的點的坐標，其中，A是由掃描線的y_坐標的函數表示的矩陣，x是參數集，並且b是輸 入圖像中的相應的點的坐標。
[0023] 在產生重構的圖像的步驟中，可通過使用估計的參數集來搜索與重構的圖像中的 至少一個任意點相應的輸入圖像中的至少一個點，並且通過使用輸入圖像中的所述至少一 個點的像素值來產生重構的圖像。
[0024] 根據示例性實施例的用於消除失真的裝置和方法適應於消除可出現在成像裝置 中的所有類型的失真。具體地，所述裝置和方法能夠補償由相機振動和縮放（諸如，三軸旋 轉和3D空間中的平移）造成的平移、平面內的旋轉、縮放、偏斜和投影振動。
[0025] 所述裝置和方法還適應於在不使用關於CMOS傳感器的信息和不執行運動估計的 情況下通過僅使用局部運動矢量來重構由抖動造成失真的圖像。
[0026] 在所述裝置和方法中，可通過使用如Ax= b的線性方程來執行估計參數的處理， 並且偽逆矩陣可用於找到線性方程的解，從而消除對單獨優化方法的需要。因此，可提供封 閉式的參數估計。
[0027] 從而，所述裝置和方法可被應用於使用CMOS相機的各種智能圖像監控系統以從 系統中消除失真。智能圖像監控系統可被用在重要的國家設施（諸如軍用機場、海港、道路 和橋梁、地鐵、公共汽車、建築物的屋頂、場館、停車場、汽車、移動裝置和機器人）中，從而 從系統消除失真。

【專利附圖】

【附圖說明】
[0028] 通過結合附圖進行的以下示例性實施例的描述，這些和/或其它方面將變得清楚 和更容易理解，其中：
[0029] 圖1是示出根據示例性實施例的數字相機的構造的框圖；
[0030] 圖2示出根據示例性實施例的使用捲簾快門的互補金屬氧化物半導體（CMOS)傳 感器中的圖像的獲取；
[0031] 圖3示出經抖動的（woobled)輸入圖像的示例；
[0032] 圖4示出根據示例性實施例的用於消除失真的裝置的內部構造；
[0033] 圖5示出根據示例性實施例的使用捲簾快門的CMOS圖像傳感器的掃描線的第一 特性；
[0034]圖6示出根據示例性實施例的使用捲簾快門的CMOS圖像傳感器的掃描線的第二 特性；
[0035] 圖7示出根據示例性實施例的被估計用於確定與參考圖像中的掃描線相應的經 抖動的輸入圖像中的線的抖動參數集；以及
[0036] 圖8示出根據示例性實施例的使用抖動參數集的圖像的重構。

【具體實施方式】
[0037] 現將詳細參考在附圖中示出的示例性實施例，其中，同樣的附圖標號始終指示同 樣的元件。在這方面，本實施例可具有不同形式並不應被理解為限於本文中所闡述的描述。 因此，以下僅通過參照附圖描述實施例以解釋本描述的多個方面。
[0038] 在此使用的術語僅是為了描述具體實施例的目的，而並非意圖限制本發明構思。 此外，除非在此明確地這樣定義，否則在此使用的技術術語具有與實施例所屬領域的普通 技術人員的一般理解相同的含義，並不會以過於寬泛或狹窄的含義解釋所述術語。
[0039] 還將理解：如果在此使用的技術術語不能準確地表達本發明構思的精神，則使用 可被本領域的普通技術人員理解的正確的技術術語替代錯誤的技術術語。還應該將在此使 用的一般術語解釋為具有常用詞典中定義的或與它們在相關領域的上下文中的含義一致 的含義，並不會以理想的或過於正式的含義解釋所述術語。
[0040] 圖1是示出根據示例性實施例的數字相機100的構造的框圖。
[0041] 參照圖1，數字相機100包括：光單元11，用於接收來自對象的光信號；成像裝置 12,用於將通過光單元11接收的光信號轉換為電信號；輸入信號處理器13,用於對由成像 裝置12提供的電信號執行信號處理操作（諸如降噪和模數（A/D)轉換）；馬達14,用於驅 動光單元11 ;驅動單元15,用於控制馬達14的操作。
[0042] 數字相機100還包括：用戶輸入單元（UI) 20,用於接收用戶的操作信號；同步動態 隨機存取存儲器（SDRAM) 30,用於臨時存儲輸入圖像數據、用於處理操作的數據和處理的結 果；快閃記憶體40,用於存儲數字相機100的操作所需的算法；作為記錄裝置的安全數字（SD) /緊 湊式快閃記憶體（CF)/智能媒體（SM)卡50,用於存儲圖像文件。
[0043] 數字相機100配備有作為顯示單元的液晶顯示器（IXD) 60。數字相機100還可包 括：音頻信號處理器71，用於將聲音轉換為數位訊號或將來自聲源的數位訊號轉換為模擬 信號並產生音頻文件；揚聲器SPK72,用於輸出聲音；麥克風MIC73,用於輸入聲音。數字 相機100還包括用於控制數字相機的操作的數位訊號處理器（DSP)80。
[0044] 現將更詳細地描述每個組件的構造和功能。
[0045] 光單元11可包括：鏡頭單元，用於聚焦光信號；光圈，用於調整光信號的幅度（強 度）；快門，用於控制光信號的輸入。鏡頭單元包括用於根據焦距增加或減少視角的變焦鏡 頭和用於將對象聚焦到焦點的聚焦鏡頭。可從單個鏡頭或一組多個鏡頭元件構造變焦鏡頭 和聚焦鏡頭中的每個鏡頭。快門可以是具有上下移動的幕簾的機械快門。可選擇地，可通 過控制對成像裝置12的電信號的供應將成像裝置12用作快門代替單獨的快門。
[0046] 用於驅動光單元11的馬達14可驅動鏡頭位置的設置、光圈的打開/關閉和快門 的操作以便執行諸如自動聚焦、自動曝光控制、光圈調整和焦點改變的操作。
[0047] 驅動單元15響應於從DSP80接收的控制信號來控制馬達14的操作。
[0048] 成像裝置12從光單元11接收光信號並形成對象的圖像。
[0049] 輸入信號處理器13包括用於將從成像裝置12(諸如電荷耦合器件（CXD))供應的 作為模擬信號的電信號轉換為數位訊號的A/D轉換器。輸入信號處理還可包括用於對由成 像裝置12提供的電信號執行信號處理（諸如增益控制或波形整形）的電路。
[0050]DSP80對輸入圖像數據執行圖像信號處理操作。圖像信號處理操作可包括：伽馬 校正、彩色濾波陣列插值、彩色矩陣、色彩校正、色彩增強、抖動參數的估計和基於估計的抖 動參數的圖像重構。DSP80還將通過圖像信號處理獲得的圖像數據壓縮為圖像文件或從圖 像文件重構原始圖像數據。可使用可逆的或不可逆的算法來壓縮圖像。
[0051]DSP80可執行上述圖像信號處理操作並根據處理的結果或響應於通過n20輸 入的用戶控制信號來控制每個組件。根據示例性實施例，DSP80和輸入信號處理器可被構 成為單個單元。
[0052] 圖2示出根據示例性實施例的互補金屬氧化物半導體（CMOS)傳感器中的圖像的 獲取。參照圖2,CMOS傳感器按照規則間隔針對每條掃描線獲取圖像。圖3示出經抖動的 輸入圖像的示例。參照圖3,當使用捲簾快門模式的CMOS傳感器獲取對象的圖像時，在快門 的頂部掃描圖像幀的時間與在快門的底部掃描圖像幀的時間存在差別。如圖3所示，這個 時間差可表現為偏斜、抖動和/或部分曝光。因此，圖像的內容可能會失真。
[0053] 現在將更詳細地描述根據示例性實施例的消除由CMOS傳感器中使用的捲簾快門 造成的失真的方法。
[0054] 圖4示出根據示例性實施例的用於消除失真的裝置400的內部構造。
[0055] 根據本實施例的裝置400包括：拍攝單元410、存儲單元（未示出）、局部運動矢量 產生器420、抖動參數估計器430和圖像重構單元440。
[0056] 在本實施例中，存儲單元存儲由拍攝單元410拍攝的圖像，並且局部運動矢量產 生器420計算在參考圖像與經抖動的輸入圖像之間的局部運動矢量。通過使用局部運動矢 量的值，可確定參考圖像中的任意掃描線已移動到的經抖動的輸入圖像中的線。
[0057] 抖動參數估計器430基於局部運動矢量估計抖動參數集，抖動參數集是指示與參 考圖像相比的經抖動的輸入圖像的失真量的變量的集合。例如，抖動參數估計器430通過 在參考圖像中選擇至少一條掃描線並在輸入圖像中選擇至少一條相應的線來估計抖動參 數集。以下將參照圖5和圖6和等式（1)至等式（16)描述對抖動參數集進行估計的處理。
[0058] 在對指示經抖動的輸入圖像的失真量的抖動參數集進行估計之後，圖像重構單元 440基於估計的抖動參數集來重構經抖動的輸入圖像。以下將參照圖7和等式（17)和等式 (18)描述對輸入圖像進行重構的處理。
[0059] 根據示例性實施例，抖動參數估計器430使用由CMOS傳感器掃描的掃描線的兩個 特性來估計抖動參數集。
[0060] 圖5示出根據示例性實施例的由使用捲簾快門的CMOS傳感器掃描的掃描線的 第一特性。參照圖5,掃描線的第一特性是當前經抖動的輸入圖像200具有連接兩個端點 卩以價和?啦杜的線I-bled21〇 其中，線I?_21〇 與參考圖像 100中的連接兩個端點PK，left和PK，right的任意掃描線IMf110 (巧雄化妙）相應。
[0061] 圖6示出根據示例性實施例的由CMOS傳感器掃描的掃描線的第二特性。
[0062] 掃描線的第二特性是與參考圖像100中的任意掃描線IMf110上的任意點 Pref120(以下，稱為'PK120'）相應的點PTObbled220(以下，稱為'Pw220'）位於與任意掃描線 W10相應的當前經抖動的輸入圖像200中的線ITObbled210上。
[0063] 兩個點PK120和Pw220分別在參考圖像100中的任意掃描線IMf110和當前經抖動 的輸入圖像200中的線ITObbled210上。兩個點PK120和Pw220位於分別以m比1-m的比例內 部地劃分任意掃描線IMfll〇和線Ubled210的位置上。
[0064] 為了通過使用等式表示掃描線的上述兩個特性，PK120、PK，left121、PK，Hght122、 Pw220、Pw，left221 和Pw，right222 由等式la至等式If定義。

【權利要求】
1. 一種用於消除失真的裝置，所述裝置包括： 拍攝單元，被配置為通過使用捲簾快門來連續拍攝多個幀； 存儲單元，被配置為存儲拍攝的多個幀的圖像； 局部運動矢量產生器，被配置為產生拍攝的圖像中的參考圖像與輸入圖像之間的局部 運動矢量； 參數估計器，被配置為基於局部運動矢量對指示鑑於參考圖像的輸入圖像中的失真量 的參數集進行估計；以及 圖像重構單元，被配置為通過使用估計的參數集和關於輸入圖像的信息來產生重構的 圖像。
2. 根據權利要求1所述的裝置，其中，參數估計器通過在參考圖像中選擇至少一條掃 描線並在輸入圖像中選擇至少一條相應的線來估計參數集， 其中，所述參數集是表示輸入圖像中的所述相應的線的起點和終點的坐標的變量的集 合。
3. 根據權利要求2所述的裝置，其中，所述至少一條掃描線包括水平地穿過參考圖像 使得起點和終點具有相同的y坐標的線。
4. 根據權利要求2所述的裝置，其中，參數估計器通過在參考圖像中選擇存在於掃描 線上的至少一個點並在輸入圖像中的相應的線中選擇至少一個相應的點來估計參數集。
5. 根據權利要求4所述的裝置，其中，參數估計器基於局部運動矢量選擇相應的點。
6. 根據權利要求4所述的裝置，其中，參數估計器通過選擇點和相應的點使得兩個點 分別以相同的比例內部地劃分參考圖像中的掃描線和輸入圖像中的相應的線來估計參數 集。
7. 根據權利要求4所述的裝置，其中，參數估計器通過參考圖像中的掃描線的y-坐標 的函數設置相應的線中的所有點來估計參數集。
8. 根據權利要求7所述的裝置，其中，參數估計器通過使用Ax = b形式的線性方程來 計算輸入圖像中的相應的點的坐標，其中，A是由掃描線的y-坐標的函數表示的矩陣，x是 參數集，並且b是輸入圖像中的相應的點的坐標。
9. 根據權利要求1所述的裝置，其中，圖像重構單元通過使用估計的參數集來搜索與 重構的圖像中的至少一個任意點相應的輸入圖像中的至少一個點，並通過使用輸入圖像中 的所述至少一個點的像素值來產生重構的圖像。
10. -種在用於消除失真的裝置中從輸入圖像消除失真的方法，所述方法包括： 將由拍攝單元使用捲簾快門連續拍攝的多個幀存儲在存儲單元； 在局部運動矢量產生器中產生拍攝的圖像中的參考圖像與輸入圖像之間的局部運動 矢量； 在抖動參數估計器中基於局部運動矢量來估計用於確定鑑於參考圖像的輸入圖像中 的失真量的參數集；以及 在圖像重構單元中通過使用估計的參數集和關於輸入圖像的信息來產生重構的圖像。
11. 根據權利要求10所述的方法，其中，在估計參數集的步驟中，通過在參考圖像中選 擇至少一條掃描線並在輸入圖像中選擇至少一條相應的線來估計參數集， 其中，所述參數集是表示輸入圖像中的所述相應的線的起點和終點的坐標的變量的集 合。
12. 根據權利要求11所述的方法，其中，所述至少一條掃描線包括水平地穿過參考圖 像使得起點和終點具有相同的y坐標的線。
13. 根據權利要求11所述的方法，其中，在估計參數集的步驟中，通過在參考圖像中選 擇存在於掃描線上的至少一個點並在輸入圖像中的相應的線中選擇至少一個相應的點來 估計參數集。
14. 根據權利要求13所述的方法，其中，在估計參數集的步驟中，基於局部運動矢量來 選擇相應的點。
15. 根據權利要求13所述的方法，其中，在估計參數集的步驟中，選擇點和相應的點使 得兩個點分別以相同的比例內部地劃分參考圖像中的掃描線和輸入圖像中的相應的線。
16. 根據權利要求13所述的方法，其中，在估計參數集的步驟中，通過參考圖像中的掃 描線的y-坐標的函數設置相應的線中的所有點。
17. 根據權利要求16所述的方法，其中，在估計參數集的步驟中，通過使用Ax = b形式 的線性方程來計算輸入圖像中的相應的點的坐標，其中，A是由掃描線的y-坐標的函數表 示的矩陣，x是參數集，並且b是輸入圖像中的相應的點的坐標。
18. 根據權利要求10所述的方法，其中，在產生重構的圖像的步驟中，通過使用估計的 參數集來搜索與重構的圖像中的至少一個任意點相應的輸入圖像中的至少一個點，並通過 使用輸入圖像中的所述至少一個點的像素值來產生重構的圖像。
【文檔編號】H04N5/232GK104427212SQ201410408855
【公開日】2015年3月18日 申請日期:2014年8月19日 優先權日:2013年8月27日
【發明者】柳然傑, 樸相志, 李活石 申請人:三星泰科威株式會社