修正手震模糊的數碼圖像處理方法
2023-07-05 02:58:51 2
專利名稱：修正手震模糊的數碼圖像處理方法
技術領域：
本發明涉及一種對於數碼圖像的處理方法，特別涉及有關於修正因為手 震模糊的數碼圖像處理方法。
背景技術：
在數位相機發展快速的今天，許多人會利用攝影來記錄值得紀念的一 刻。但無論在底片相機或數位相機上，往往會因為使用者對相機把持不穩定， 而導致拍攝時產生模糊圖像。只要是徒手拿取相機，多多少少都存在著震動 的問題。差別是每個人手持的穩定程度均有所不同，導致按下快門瞬間會不 自主的位移。所以為了避免因為手震而使得拍攝產生模糊圖像，數位相機廠 商會通過硬體方式來避免手震或以軟體方式來對校正已模糊的數碼圖像。
所以在每一家數位相機廠商在自家的產品中，均加入不同的防手震機 制。防手震機制是要在拍攝過程中，檢測並抑制因為手部晃動而造成的圖像 模糊現象。防手震技術主要通過硬體或軟體的方式來達成。
硬體的方式一般都是利用感光元件防手震以及機械式防手震。感光元件
防手震是為提高感光度(International Standards Organization,以下簡稱ISO) 能力。基本上提高ISO只是讓快門可以在感受到震動之前完成動作，但提高 ISO同時也會帶來更高的噪聲。而機械式防手震在數位相機中設置一運動檢 測元件。當數位相機檢測到發生手震的同時，數位相機會根據手震的方向來 將鏡頭移向反方向，藉以補償因為位移所造成的圖像模糊。另外一種防手震 方法是放大光圈的方式，用以增加入光量藉以縮短快門時間。但是光圈大小 取決於鏡頭組的組合架構。 一般而言，大光圈的鏡頭具有較高的成本與體積。 所以不易被設置於消費型的數位相機中。
發明內容
鑑於以上的問題，本發明的主要目的在於提供一種修正手震模糊的數碼
4圖像修正方法，應用於數位相機在拍攝時手震所造成的圖像模糊。
本發明提出一種修正手震模糊的數碼圖像修正方法，包括下列步驟取 得數位相機的安全快門時間；進行曝光調整程序，分別調整數位相機的光圈 大小與感光度，並重新取得數位相機調整後的快門時間；進行拍攝程序；若 數位相機的快門時間大於安全快門時間，則拍攝多張數碼圖像；根據這些數 碼圖像執行圖像補償程序，將這些數碼圖像中相同的圖像物件將對應的像素 逐一對齊，並將這些每一個像素逐一疊加，用以產生一輸出圖像。
本發明提出一種對數位相機拍攝中因手震而產生的模糊圖像的修正方 法。本發明從連續且相近的數碼圖像中提取相似的區域來對模糊圖像進行圖 像的修補，藉以產生新的合成圖像。通過相似的數碼圖像來對其修補，可以 提高數碼圖像的清晰度。
有關本發明的特徵與內容，現配合附圖和優選實施例詳細說明如下。
圖la為本發明的運作流程圖。
圖lb為曝光調整程序的運作流程圖。
圖lc為圖像補償程序的運作流程圖。
圖ld為邊界模糊檢測手段的運作流程圖。
圖le為光流計算程序的運作流程圖。
圖2為圖像拍攝的時間示意圖。
圖3a為選取視窗對圖像的示意圖。
圖3b為選取視窗對圖像的示意圖。
圖4為利用位置偏移量取代相應像素的示意圖。
圖5為產生位置偏移量的示意圖。
圖6為產生暫存圖像的示意圖。
並且，上述附圖中的附圖標記說明如下-
211 第一圖像
212 第二圖像
311 基礎圖像
312 比對圖像313 第一選取視窗
314 第二選取視窗
3141 第二選取視窗子區域
315 暫存圖像
具體實施例方式
請參考圖la所示，其為本發明的運作流程圖。修正手震模糊的數碼圖
像處理方法中包括以下步驟首先，取得數位相機的安全快門時間，如步驟
SllO。進行曝光調整程序，分別調整數位相機的光圈大小與感光度，並重新 取得數位相機調整後的快門時間，如步驟S120。進行拍攝程序，如步驟S130。 判斷相機快門時間是否小於安全快門，如步驟S140。若數位相機的快門時間 小於安全快門時間，則拍攝單張數碼圖像，如步驟S141。若數位相機的快門 時間大於安全快門時間，則拍攝多張數碼圖像，如步驟S142。根據這些數碼 圖像執行圖像補償程序，對這些數碼圖像進行補償，產生一輸出圖像，如步 驟S150。
為了清楚解說每一步驟的運作，以下將針對個別步驟進行細部運作的解 釋。於步驟S110中，數位相機的安全快門時間依據數位相機的感光值 (International Organization for Standardization,簡稱ISO)與光圈值所決定。安 全快門指的是小於此一快門時間時，使用者發生手震的機率會最小。 一般而 言，安全快門的設定為焦距的倒數。舉例來說，若鏡頭的焦距為50mm時， 安全快門為(l/50)秒。所以在較大的焦距值，數位相機的安全快門時間就越 短，反之亦然。除此之外，數位相機的光圈值也會影響安全快門的時間。因 為在相同的快門時間，較大光圈值的入光量比小光圈值的入光量來的高，使 得數位相機可以在更短的快門時間中完成感光的動作。所以數位相機可以利 用較短時間的快門進行拍攝的動作。
數位相機在取得此一環境拍攝時的相應安全快門後，數位相機根據安全 快門進行曝光調整程序。請參考圖lb所示，其為曝光調整程序的運作流程 圖。在本實施例中曝光調整程序中包括以下步驟縮短快門時間，如步驟 S121。根據縮短後的快門時間判斷其是否小於安全快門時間，如步驟S122。 若縮短後的快門時間小於安全快門時，則進行步驟S130。若縮短後的快門時間大於安全快門時，則調整光圈值用以縮短快門時間，如步驟S123。根據縮 短後的快門時間判斷其是否小於安全快門時間，如步驟S124。若縮短後的快 門時間仍大於安全快門時，則調整感光值用以縮短快門時間，如步驟S125。
根據步驟S125的結果，判斷調整後的快門時間是否小於安全快門。若 是快門時間小於安全快門時進行拍攝程序，則數位相機拍攝單張圖像。若是 快門時間大於安全快門時進行拍攝程序，則拍攝多張數碼圖像，如對應步驟 S142。其中，根據當前數位相機的快門速度決定拍攝數碼圖像的張數。舉例 來說，若是快門時間大於兩倍的安全快門時間，則拍攝至少兩張數碼圖像； 若是快門時間大於四倍的安全快門時間，則在此一快門時間拍攝至少四張以 上的數碼圖像。因為快門時間大於安全快門時，數位相機產生手震的機率會 提高。本實施例在此一快門時間中分別拍攝多張數碼圖像，並根據這些數碼 圖像執行圖像補償程序。
特別需要說明的是，本實施例中所採用的數碼圖像由感光元件所輸出的 原始圖像(RAW)。 RAW檔包含兩種類型的信息圖像畫素本身及圖像的中 繼數據(metadata)。中繼數據就是相機每次拍照所產生的"數據的數據"。舉 例來說，不論是RAW檔或JPEG檔，都包含EXIF的中繼數據，其中包 括相機型號、序號、快門速度、光圈大小、焦距、閃燈有沒有亮……等信 息。拍攝過程中，只有三種相機設定會影響RAW檔光圈、快門與感光度。 除此之外，攝影者都可以在轉換過程做各種控制不論是白平衡闡釋，或色
彩、階調與細節(銳利化與噪聲處理)的處理，都有很大彈性的調整空間。 甚至可以針對曝光補償重新做解釋。
請參考圖lc所示，其為圖像補償程序的運作流程圖。圖像補償程序包 括以下步驟在步驟S125所得到的安全快門時間中的第一時間拍攝第一圖 像以及第二時間拍攝第二圖像，如步驟S151。將第一圖像與第二圖像分別執 行邊界模糊檢測手段，在兩者之間決定一者為基礎圖像另一者為比對圖像， 如步驟S152。進行光流計算程序，如步驟S153，用以對齊基礎圖像與比對 圖像中的相同圖像物件的每一像素位置，並產生輸出圖像。根據步驟S125 所得到的安全快門時間，判斷是否重複執行步驟S151 步驟S153，如步驟 S154。
請參考圖ld所示，其為邊界模糊檢測手段的運作流程圖。在步驟S152
7中所述的邊界模糊檢測手段中還包括以下步驟分別對第一圖像與第二圖像 進行區域對焦手段，如步驟S1521。分別比對第一圖像與第二圖像的區域對
焦中的邊界比對值是否符合邊界閾值，如步驟S1522。若第一圖像與第二圖 像的邊界比對值的任一大於邊界閾值，則選擇邊界比對值最大者作為基礎圖 像，另一者則為比對圖像，如步驟S1523。若第一圖像的邊界比對值與第二 圖像的邊界比對值均小於邊界閾值的話，重新執行提取第一圖像與第二圖 像，如步驟S1524。
請參考圖le所示，其為光流計算程序的運作流程圖。在步驟S153中所 述的光流計算程序中還包括下列步驟設定第一選取視窗與第二選取視窗， 如步驟S1531。第一選取視窗用以選取基礎圖像的部分圖像。第二選取視窗 用以選取比對圖像的部分圖像，且第一選取視窗小於第二選取視窗。計算第 一選取視窗比對第二選取視窗中相應位置的像素的位置偏移量，如步驟 S1532。根據每一位置偏移量從比對圖像中找出與基礎圖像中相同圖像物件 的每一像素，如步驟S1533。進行一除噪聲程序，如步驟S1534，用以去除 比對圖像中與基礎圖像中相同圖像物件中的噪聲像素。將這些像素與基礎圖 像中相應位置的像素相疊合產生輸出圖像，如步驟S1535。
為清楚說明本實施例中的圖像補償程序的運作流程，在此以下例作為說 明，其中所使用的各項設定並非僅局限於此說明所示，所以在此先作此說明。 假設安全快門時間為1/100秒，當前快門時間為1/60秒。因為當前快門時間 大於兩倍的安全快門時間，所以本實施例中設定在快門時間中拍攝兩張數碼 圖像。分別於第一時間與第二時間中拍攝第一圖像與第二圖像。
請另外配合圖2所示，其為圖像拍攝的時間示意圖。舉例來說，將原本 快門時間為1/60秒的拍攝時間，再細分成快門時間各為1/120秒的第一時間 與第二時間進行拍攝。將第一圖像與第二圖像分別執行邊界模糊檢測手段， 在兩者之間決定一者為基礎圖像另一者為比對圖像。其中，數位相機執行邊 界模糊檢測手段，用以分別對第一圖像與第二圖像進行區域對焦手段，如對 應步驟S1521。分別比對第一圖像的邊界比對值與第二圖像的區域對焦中的 邊界比對值是否符合邊界閾值，如對應步驟S1522。邊界比對值指的是對焦 時對於圖像物件間的交界清晰度。若是圖像物件間的邊界間距越明顯的話， 則邊界比對值越高，反之亦然。計算邊界比對值可以通過圖像物件邊界的間距寬度來作為計算的依據。比較第一圖像211與第二圖像212的邊界比對值。 若第一圖像的邊界比對值與第二圖像的邊界比對值的任一大於邊界閾值的 話，選擇邊界比對值較大者作為基礎圖像，較小者則為比對圖像，如對應步 驟S1523。若第一圖像的邊界比對值與第二圖像的邊界比對值均小於邊界閾 值的話，重新執行提取第一圖像與第二圖像，如對應步驟S1524。
對比對圖像與基礎圖像執行光流計算，用以從比對圖像中找出相對於基 礎圖像的像素所在位置的位置偏移量。光流(optical flow)指的是數碼圖像中 的圖像物件在多張不同圖像的移動位移量。因為拍攝的過程中發生手震，使 得比對圖像與基礎圖像中的相同圖像物件不會坐落於相同的位置上。在本實 施例中利用光流計算用以對齊比對圖像與基礎圖像中相同圖像物件的每一
請配合圖le，以下為光流計算的詳細運作步驟首先，設定第一選取視 窗與設定第二選取視窗。第一選取視窗用以選取基礎圖像的部分圖像。第二 選取視窗用以選取比對圖像的部分圖像，且第一選取視窗小於第二選取視 窗。計算第一選取視窗比對第二選取視窗中相應位置的像素的位置偏移量。 在拍攝的過程因為手震的緣故，會使得基礎圖像311中的物件的像素位置不 一定會落在與比對圖像312相同的像素位置上。所以為了能找出比對圖像312 中與基礎圖像311相同的物件的所在位置。
請參考圖3a、圖3b與圖4所示，其分別為選取視窗對圖像的示意圖、 利用位置偏移量取代相應像素的示意圖。在圖3a中，在基礎圖像中利用第 一選取視窗313來選取其部分的圖像區域；在圖3b中，在比對圖像中利用 第二選取視窗314來選取其部分的圖像區域。
其中，第一選取視窗313的圈選範圍取決於第二選取視窗314。第二選 取視窗314中選定一個第二選取視窗子區域3141，第二視窗子區域3141的 大小等同於第一選取視窗313。第二選取視窗子區域3141分別依序且重疊的 方式從第二選取視窗314中選取各個區域。第一選取視窗313從第二選取視 窗314由左到右、由上至下的方向進行選取。計算第二選取視窗子區域3141 和第一選取窗313的相似度。相似度計算請參考式l，其為第一選取視窗在 第二選取視窗中的第(i，j)像素與其周圍的像素的相似度計算(Xk,》)為比對圖像與基礎圖像中具有相同圖像物件的像素位置；Wij: 第(i,j)像素的權重值；Wi,:第(i,j)像素的噪聲濾波器；II:為比對圖像;12: 為基礎圖像。當Cost值越小代表這兩個像素的相似度越高，換句話說，就是 兩個像素越相似。特別值得注意的是，在本實施例中還利用噪聲濾波器對噪 聲像素進行其像素值的調整。藉以避免之後在進行像素疊合時，因為直接將 噪聲像素與原始像素疊加會導致疊加後的像素出現失真。當比對圖像(或基礎
圖像)的第(Xk,力)個像素為噪聲像素時，則將Wijn設為0，反之則將Wij"設為1。
舉例來說，假設第一選取視窗313為5*5像素陣列；第二選取視窗314 為9*9像素陣列。將第一選取視窗313從第二選取視窗314由左到右、由上 至下的方向進行選取。並且逐一比對第一選取視窗313相應於第二選取視窗 314的像素。在此一實施例中需要對第二選取視窗314進行25回合的相似度 計算。並得到25個Cost值。再從25個Cost值中選取最小的Cost值，將其 視為第二選取視窗相應於第一選取視窗的相同圖像物件的像素。重複的執行 此一步驟，用以找出圖像物件的其他相應位置的像素。
在本實施例中利用光流計算所產生的位置偏移量對比對圖像312的像素 位置進行修正，用以找出在基礎圖像311中相應的像素。在基礎圖像311與 比對圖像312中的相同圖像像素利用斜紋方格作為代表。圖4右方代表的是 基礎圖像311與比對圖像312的相同像素的所在位置。請參考圖5所示，其 為產生位置偏移量的示意圖。
若是以坐標值來解說的話，基礎圖像311的相同像素位置為(2， 3);比 對圖像312的相同像素位置為(4， 5)。將比對圖像312與基礎圖像311的像 素位置進行相減，可以得到比對圖像312對基礎圖像311的像素的相對位置。 兩者相對位置的修正值為(2， 2)，其代表將比對圖像312的像素減掉修正值 即為在基礎圖像311中相應像素位置。分別計算每一個比對圖像312對基礎 圖像311的相對位置修正值，根據這些修正值從基礎圖像311中找出像素。 並將所找出的像素依序的組合，使其產生暫存圖像315。請參考圖6所示， 其為產生暫存圖像的示意圖。
最後，將這些像素與基礎圖像中相應位置的像素相疊合產生輸出圖像。 將暫存圖像315中的像素對齊於基礎圖像311中的相應像素，再對暫存圖像 315與基礎圖像311進行圖像合併處理。圖像合併處理可以直接將基礎圖像
10311與暫存圖像315找出相同的位置的像素，再將其疊合起來。RAW檔所存 儲的中繼數據可以提供亮度的疊合補償，所以當兩張圖像相疊合時，可以得 到相對應量的快門時間。最後將兩張疊合後的圖像輸出為一清晰的輸出圖 像。
本發明提出一種對數位相機拍攝中因手震而產生的模糊圖像的修正方 法。本發明從連續且相近的數碼圖像中提取相似的區域來對模糊圖像進行圖 像的修補，藉以產生新的輸出圖像。通過相似的數碼圖像來對其修補，可以 提高數碼圖像的清晰度。
權利要求
1.一種修正手震模糊的數碼圖像處理方法，修正一數位相機在拍攝時手震造成的模糊圖像，該圖像修正方法包括下列步驟取得該數位相機的一安全快門時間；進行一曝光調整程序，分別調整該數位相機的一光圈大小與一感光度，並重新取得該數位相機調整後的快門時間；進行一拍攝程序；若該數位相機的快門時間大於該安全快門時間，則拍攝多張數碼圖像；以及根據所述多個數碼圖像執行一圖像補償程序用以疊合所述多個數碼圖像中相同圖像物件的每一像素，藉以產生一輸出圖像。
2. 如權利要求1所述的修正手震模糊的數碼圖像處理方法，其中該圖像 補償程序包括以下步驟在該安全快門時間中的一第一時間拍攝一第一圖像以及一第二時間拍 攝一第二圖像；將該第一圖像與該第二圖像分別執行一邊界模糊檢測手段，在兩者之間 決定一者為一基礎圖像另一者為一比對圖像；以及進行一光流計算程序，用以對齊該基礎圖像與該比對圖像中的相同圖像 物件的每一像素位置，並產生該輸出圖像。
3. 如權利要求2所述的修正手震模糊的數碼圖像處理方法，其中該邊界 模糊檢測手段中還包括以下步驟分別對該第一圖像與該第二圖像進行區域對焦；分別比對該第一圖像與該第二圖像的區域對焦中的邊界比對值是否符 合一邊界閾值；若該第一圖像與該第二圖像的邊界比對值的任一大於該邊界閾值，則選 擇邊界比對值最大者作為該基礎圖像，另一者則為該比對圖像；以及若該第一圖像的邊界比對值與該第二圖像的邊界比對值均小於該邊界 閾值的話，重新執行提取該第一圖像與該第二圖像。
4. 如權利要求2所述的修正手震模糊的數碼圖像處理方法，其中執行該 光流計算程序中還包括下列步驟從該比對圖像中找出相對於該基礎圖像的像素所在位置的一位置偏移設定一第一選取視窗，用以選取該基礎圖像的部分圖像； 設定一第二選取視窗，用以選取該比對圖像的部分圖像，且該第一選取視窗小於該第二選取視窗；計算該第一選取視窗比對該第二選取視窗中相應位置的像素的該位置偏移量；根據每一該位置偏移量從該比對圖像中找出與該基礎圖像中相同圖像物件的每一像素；進行一除噪聲程序，用以去除該比對圖像中與該基礎圖像中相同圖像物件中的噪聲像素；以及將這些像素與該基礎圖像中相應位置的像素相疊合，產生該輸出圖像。
5.如權利要求1所述的修正手震模糊的數碼圖像處理方法，其中進行該拍攝程序後還包括以下步驟若該數位相機的快門時間小於該安全快門時間，則拍攝單張數碼圖像。
全文摘要
本發明公開一種修正手震模糊的數碼圖像處理方法，修正數位相機在拍攝時因為手震所造成的模糊圖像，處理方法包括下列步驟取得數位相機的安全快門時間；進行曝光調整程序，分別調整數位相機的光圈大小與感光度，並重新取得數位相機調整後的快門時間；進行拍攝程序；若數位相機的快門時間大於安全快門時間，則拍攝多張數碼圖像；根據這些數碼圖像執行圖像補償程序，將這些數碼圖像中相同的圖像物件對齊並將數碼圖像的每一個像素逐一疊加，用以輸出一輸出圖像。
文檔編號H04N5/232GK101577791SQ20081009569
公開日2009年11月11日 申請日期2008年5月7日 優先權日2008年5月7日
發明者周宏隆, 楊智淵 申請人:華晶科技股份有限公司