處理運動圖像的圖像處理方法、設備和程序的製作方法

2023-05-12 20:44:31

專利名稱：處理運動圖像的圖像處理方法、設備和程序的製作方法
技術領域：
本發明涉及用來處理運動圖像的方法、設備和程序。更具體地說，本發明涉及減少 由拍照引起的運動模糊的可能性。
背景技術：
一般而言，當通過相機拍攝運動圖像時，由於1/60秒的曝光而引起運動模糊。因 此，在處理運動圖像時減少運動模糊是重要的。存在提出了減少運動模糊的可能性的若干種方法。然而，多數方法受如下缺陷之 苦，即要麼不適於諸如紋理區域之類的高頻區域要麼具有例如不連續性之類的副作用。

發明內容
因此本發明的目的是改進現有技術。具體而言，在現有技術中，對在拍攝時發生的運動模糊(在下文中將被稱為成像 模糊)尚沒有足夠考慮。因此，由成像模糊引起的圖像劣化(模糊圖像)仍然存在而未被 專門校正，結果難以在顯示設備上顯示清楚圖像。根據一個方面，本發明涉及一種圖像處理方法，用於以存取單位為增量對由預定 視頻拍攝設備拍攝的運動圖像進行處理，其中成像模糊由示出在利用所述視頻拍攝設備拍 攝所述運動圖像時發生的成像模糊的屬性的相應低通濾波特性(low-pass filter)表示， 所述方法包括以下步驟生成具有針對所述低通濾波特性的逆反屬性(inverse property) 的逆反濾波特性(inverse filter)，以及執行將所述逆反濾波特性應用於所要處理的所述 存取單位的處理，其中所述生成逆反濾波特性的步驟包括基於原始模糊圖像和點擴展函數 的頻域中的迭代算法。根據另一方面，本發明涉及一種圖像處理設備，用於以存取單位為增量對由預定 視頻拍攝設備拍攝的運動圖像進行處理，其中成像模糊由示出在利用所述視頻拍攝設備拍 攝所述運動圖像時發生的成像模糊的屬性的相應低通濾波特性表示，所述設備包括反向 (reverse)移動平均濾波特性生成單元，用於生成具有針對所述低通濾波特性的相反屬性 (inverseproperty)的反向濾波特性；以及成像模糊抑制處理單元，用於執行將所述反向 濾波特性應用於所要處理的所述存取單位的處理，其中所述反向移動平均濾波特性生成單 元適用於根據基於原始模糊圖像和點擴展函數的頻域中的迭代算法來確定所述反向濾波 特性。 根據又一方面，本發明涉及一種存儲在計算機可讀介質上的電腦程式產品，用 於以存取單位為增量對由預定視頻拍攝設備拍攝的運動圖像進行處理，其中成像模糊由示 出在利用所述視頻拍攝設備拍攝所述運動圖像時發生的成像模糊的屬性的相應低通濾波 特性表示，所述電腦程式使計算機執行以下步驟生成具有針對所述低通濾波特性的相 反屬性的反向濾波特性，以及執行將所述反向濾波特性應用於所要處理的所述存取單位的 處理，其中所述生成反向濾波特性的步驟包括基於原始模糊圖像和點擴展函數的頻域中的迭代算法。


在下面對優選實施例的描述中，現將聯繫附圖更詳細地說明本發明，在附圖中圖1是圖示出本發明所應用於的圖像處理設備的功能配置的示例的框圖；圖2是圖示出在人類視網膜上形成的圖像模糊的頻率屬性的示圖；圖3是描述由圖1中的圖像處理設備執行的圖像處理的流程圖；圖4是圖示出根據運動向量(運動速度)的圖像模糊的頻率屬性的示圖；圖5是圖示出圖1中的圖像處理設備中的圖像模糊抑制處理單元的功能配置示例 的框圖； 圖6是圖示出圖5中的圖像模糊抑制處理單元的反向運動平均濾波器生成單元的 功能配置示例的框圖；圖7是圖示出根據本發明的反函數生成單元的功能配置示例的框圖；圖8是圖示出圖7中的反函數生成單元的組件的每個輸出信號的頻率屬性示例的 示圖；圖9是描述根據本發明的由反函數生成單元執行的圖像處理的流程圖；圖10是描述相機快門速度和成像模糊屬性的示圖；圖11是圖示出不同於圖1的示例的示圖，該示例具有本發明所應用於的圖像處理 設備的功能配置；圖12是圖示出不同於圖1和11的示例的示圖，該示例具有本發明所應用於的圖 像處理設備的功能配置；圖13是圖示出不同於圖1、11和12的示例的示圖，該示例具有本發明所應用於的 圖像處理設備的功能配置；圖14是圖示出不同於圖1、11、12和13的示例的示圖，該示例具有本發明所應用 於的圖像處理設備的功能配置；圖15是圖示出本發明所應用於的圖像處理設備的全部或者一部分硬體配置的示 例的框圖。
具體實施例方式本發明的圖像處理設備可被用作整個電視系統或其組件。電視系統指由包括電視 廣播接收設備在內的一個或多個AV (音頻和視覺)設備組成的系統。接著，將參考附圖描述本發明的實施例。圖1示出了本發明所應用於的圖像處理 設備的功能配置的示例。圖像處理設備1以「存取單位」為增量對運動圖像數據執行各種類型的圖像處理。 術語「存取單位」指的是諸如幀和場之類的運動圖像的增量，並且具體指例如組成運動圖像 的每個幀(靜態圖像)的全部或者一部分。然而，此後處於簡化目的，假定圖像處理設備1 以幀為增量對運動圖像數據執行各種類型的圖像處理。圖像處理設備1由高幀速率變換單元11、成像模糊屬性檢測單元12以及成像模糊 抑制處理單元13組成，如圖1所示。
電視廣播信號等的運動圖像信號作為按照例如幀增量的運動圖像數據被輸入到 高幀速率變換單元11中。
注意到，此後在運動圖像和與之相對應的運動圖像數據不必進行單獨區分的情況 下，它們將被總地簡稱為「運動圖像」。類似地，在幀和與之相對應的幀數據不必進行單獨區 分的情況下，它們將被總地簡稱為「幀」。在第一幀速率的運動圖像被輸入的情況下，高幀速率變換單元11對這種運動圖 像執行高幀速率變換處理，並且把由此得到的幀速率高於第一幀速率的第二幀速率的運動 圖像提供給成像模糊屬性檢測單元12和成像模糊抑制處理單元13。高幀速率變換處理是在輸入時的第一幀速率低於輸出(顯示)時的第二幀速率的 情況下執行的處理，並且指通過創建新幀並且將每個新幀插入在組成輸入時的運動圖像的 各個幀之間來將第一幀速率變換為高於第一幀速率的第二幀速率的處理。注意到，第一幀速率指在輸入到高幀速率變換單元11中時的運動圖像的幀速率。 因此，第一幀速率可以變為任意幀速率，但是這裡假定第一幀速率是當通過未示出的視頻 拍攝設備拍攝運動圖像時的幀速率，即例如是成像幀速率。成像模糊屬性檢測單元12檢測參數值，這些參數值指示出組成從高幀速率變換 單元11提供的運動圖像的每個幀的成像模糊屬性。來自成像模糊屬性檢測單元12的檢測 結果，即示出成像模糊屬性的參數值，被提供給成像模糊抑制處理單元13。注意到，並不特別限制指示出成像模糊屬性的參數，而是可以使用各種參數。然 而，稍後將描述指示出成像模糊屬性的參數的具體示例。同樣，不特別限制所檢測的示出一個幀內的成像模糊屬性的參數值的數目。例如， 示出成像模糊屬性的僅一個參數值可被檢測到，或者示出成像模糊屬性的參數值可被一次 一個地分別檢測。或者，可將多個幀之一划分為若干塊，並且可針對所劃分的每個塊一次一 個地分別檢測示出成像模糊屬性的參數值。針對組成從高幀速率變換單元11提供的運動圖像的每個幀，成像模糊抑制處理 單元13基於在利用成像模糊屬性檢測單元12檢測到的參數值中與所要處理的幀相對應的 值，校正組成所要處理的幀的每個像素值。就是說，成像模糊抑制處理單元13根據所要處 理的幀的成像模糊屬性(參數值)來校正所要處理的幀的每個像素值，使得成像模糊被抑 制。因此，成像模糊被正被校正的每個幀的每個像素值抑制的運動圖像以及被變換為 高於輸入時的第一幀速率的第二幀速率的運動圖像在成像模糊抑制處理單元13處被從圖 像處理設備1輸出到外部。注意到，在圖1的示例中，成像模糊屬性檢測單元12和成像模糊抑制處理單元13 的集合被與高幀速率變換單元11相結合，但是該集合當然可被單獨使用，或者可被與其他 未示出的塊(執行預定圖像處理的其他圖像處理單元)結合使用。就是說，僅利用成像模糊屬性檢測單元12和成像模糊抑制處理單元13的集合可 以實現抑制成像模糊的優點。然而，為了使該優點更顯著，如上所述將成像模糊屬性檢測單 元12和成像模糊抑制處理單元13與高幀速率變換單元11相結合是有利的。其原因將在 下面描述。在顯示在未示出顯示設備上的運動圖像被形成為人的視網膜上的圖像的情況下被該人辨認出的模糊 是如下模糊該模糊結合了來自該人對運動圖像中包括的運動對象進 行跟蹤的眼的保持模糊(hold blur)以及上面描述的在拍攝運動圖像時加入的成像模糊。成像模糊屬性這裡被示出為低通濾波器，稍後將參考圖4等對其進行描述。就是 說，成像模糊之後的圖像信號是與向成像模糊之前的圖像信號(理想的圖像信號)應用了 低通濾波器的信號相等同的信號。因此，與成像模糊之前的圖像信號相比，成像模糊之後的 圖像信號的頻率屬性下降。就是說，與成像模糊之前的圖像信號相比，成像模糊之後的圖像 信號的增益通常隨著頻率升高而下降。保持模糊的屬性這裡也被示出為與成像模糊屬性類似的低通濾波器。就是說，保 持模糊之後的圖像信號是與向保持模糊之前的圖像信號(成像模糊之後的圖像信號)應用 了低通濾波器的信號相等同的信號。因此，與保持模糊之前的圖像信號相比，保持模糊之後 的圖像信號的頻率屬性下降。就是說，與保持模糊之前的圖像信號相比，保持模糊之後的圖 像信號的增益通常隨著頻率升高而下降。然而，僅當顯示設備是固定圖像(保持)顯示設 備時發生保持模糊。因此，通過對成像模糊之後的圖像信號(其中頻率屬性由於成像模糊已經下降) 執行高幀速率變換處理，可以實現對保持模糊的抑制。然而，即使執行了這種高幀速率變換 處理，成像模糊劣化也不改變，並且最終使抑制人類視網膜上的模糊的優點減半。這點將參 考圖2進行描述。圖2示出了當在視頻拍攝設備(此後稱為相機)的拍攝範圍內拍攝到以4[像素 /幀]的運動速度移動的實際對象時在人類視網膜上形成的圖像模糊的頻率屬性。在圖2 中，水平軸示出頻率並且垂直軸示出相應的增益。然而，水平軸的各個值示出了在奈奎斯特 頻率為1的情況下的相對值。在圖2中，用點斷線示出的曲線h0示出了在不特別執行改善模糊(包括成像模糊 和保持模糊)的處理的情況下在人類視網膜上形成的圖像模糊的頻率屬性。就是說，在圖 1示例中的圖像處理設備1中的運動圖像輸入被不變地提供給顯示設備並被顯示在顯示設 備上而非被臨時輸入到圖像處理設備1中(未被處理)的情況下，當人觀看運動圖像時在 視網膜上形成的圖像模糊的頻率屬性是曲線ho。相反，如果例如利用高幀速率變換處理使顯示速度加倍，那麼只有保持模糊被改 善，並且在人類視網膜上形成的圖像模糊的頻率屬性變為圖中用虛線示出的曲線hi。就是 說，在圖1中的圖像處理設備1中的運動圖像輸入經受了利用高幀速率變換單元11進行的 高幀速率變換處理並且此後被提供給顯示設備並被顯示在顯示設備上而非被臨時輸入到 成像模糊抑制處理單元13中(成像模糊未被改善)的情況下，當人觀看運動圖像時在視網 膜上形成的圖像模糊的頻率屬性是曲線hi。另外，例如，在利用高幀速率變換處理使顯示速度加倍(保持模糊被改善)並且使 成像模糊的程度改善一半之後，在人類視網膜上形成的成像模糊的頻率屬性變為在圖中示 出為實線的曲線h2。就是說，在圖1中的圖像處理設備1中的運動圖像輸入經受了利用高 幀速率變換單元11進行的高幀速率變換處理，並且在利用成像模糊抑制處理單元13抑制 成像模糊之後被進一步提供給顯示設備並被顯示在顯示設備上的情況下，當人觀看運動圖 像時在視網膜上形成的圖像模糊的頻率屬性是曲線h2。比較曲線hi和曲線h2，通過利用高幀速率變換處理僅改善保持模糊，人類視網膜上的模糊屬性的改善是不足的，並且對成像模糊的進一步改善的必要性變得明顯。然而，如上所述，對於根據現有技術的方法，對成像模糊的改善的必要性未得到特別考慮，而只是執 行了高幀速率變換處理。因此，對於被實現為圖1中的實施例的本發明的圖像處理設備，除了高幀速率變 換單元11之外還提供了成像模糊屬性檢測單元12和成像模糊抑制處理單元13，以改善成 像模糊，即把人類視網膜上的模糊屬性從圖2中的曲線h0改善為曲線h2。就是說，成像模糊抑制處理單元13基於在利用成像模糊屬性檢測單元12檢測到 的示出成像模糊屬性的參數值中與所要處理的幀相對應的值，通過校正所要處理的幀的每 個像素值，來抑制在高幀速率變換之後的幀上的、由成像模糊引起的圖像劣化。就是說，通 過把從本發明的諸如圖像處理設備1之類的圖像處理設備輸出的圖像信號提供給未示出 的顯示設備，顯示設備可以顯示抑制了圖像劣化的清楚視頻，作為與其圖像信號相對應的 視頻。因而希望將成像模糊屬性檢測單元12和成像模糊抑制處理單元13的集合與高幀 速率變換單元11相結合。接著，將參考圖3中的流程圖來描述具有圖1的功能配置的圖像處理設備的圖像處理。在步驟Sl中，高幀速率變換單元11輸入具有第一幀速率的運動圖像。在步驟S2中，高幀速率變換單元11把運動圖像幀速率變換為高於第一幀速率的 第二幀速率。當從第一幀速率變換為第二幀速率的運動圖像被從高幀速率變換單元11提供給 成像模糊屬性檢測單元12和成像模糊抑制處理單元13時，處理前進到步驟S3。在步驟S3中，成像模糊屬性檢測單元12從組成運動圖像的每個幀中檢測指示出 成像模糊屬性的一個或多個參數值。在指示出組成運動圖像的每個幀的成像模糊屬性的一個或多個參數被從成像模 糊屬性檢測單元12提供到成像模糊抑制處理單元13之後，處理前進到步驟S4。在步驟S4中，成像模糊抑制處理單元13基於在利用成像模糊屬性檢測單元12檢 測到的參數值中與所要處理的幀相對應的一個或多個值，針對組成從高幀速率變換單元11 提供的運動圖像的每個幀來校正所要處理的幀的每個像素值。在步驟S5中，成像模糊抑制處理單元13輸出如下運動圖像，該運動圖像的每個幀 的像素值已被校正並且該運動圖像已被從第一幀速率修改為第二幀速率。因此，圖3中的 圖像處理結束。注意到，對於上述描述，為了簡化描述，運動圖像已經是步驟Sl至S5中的每一步 的處理的處理增量。然而，在現實中，在許多情況下幀是處理增量。對於圖3中的圖像處理，每一步的處理增量為運動圖像等同於，從步驟Sl至S5中 的處理步驟到下一步驟的前進條件是如下條件其中所要處理的步驟的處理是針對整個運 動圖像執行的。相反地，對於圖3中的圖像處理，每一步的處理增量為幀等同於，從步驟Sl至S5 中的處理步驟到下一步驟的前進條件是如下條件其中所要處理的步驟的處理是針對一整 個幀執行的。換言之，每一步的處理增量為幀等同於針對每個相應幀的步驟Sl至S5的連續處理是獨立於其他幀(並行)執行的。在這種情況下，例如可能發生如下情形當針對第 一幀的步驟S3的處理被執行時，針對不同的第二幀的步驟S2的處理被並行執行。

另外，在現實中，在許多情況下，按照如所要處理的像素的將感興趣的像素(此後 稱為感興趣的像素)的順序來設置組成所要處理的幀的像素，並且至少步驟S3和S4中的 處理被順序地單獨執行。就是說，步驟S3和S4中的處理增量經常是像素。因此，還是對於以下描述，將就步驟S3和S4中的按照像素增量的處理給出描述。 就是說，步驟S3中的處理是成像模糊屬性檢測單元12的處理，並且步驟S4中的處理是成 像模糊抑制處理單元13的處理。因此，對於下面的描述，對於成像模糊屬性檢測單元12和 成像模糊抑制處理單元13，處理增量將被描述為像素。接著，圖1中的圖像處理設備1的成像模糊抑制處理單元13的若干實施例將被描 述。具體而言，作為指示出成像模糊屬性的參數，在使用運動向量的絕對值(此後稱為運動 速度)的情況下的成像模糊抑制處理單元13的若干示例將被描述。在運動速度被用作示出成像模糊屬性的參數的情況下，成像模糊屬性檢測單元12 順序地將組成所要處理的幀的每個像素設置為感興趣的像素，順序地檢測感興趣的像素的 運動向量，並且順序地將這些運動向量提供給成像模糊抑制處理單元，作為示出感興趣的 像素的成像模糊屬性的參數值。因此，成像模糊抑制處理單元13針對組成運動圖像的每個幀順序地將組成所要 處理的幀的每個像素設置為感興趣的像素，並且基於在從成像模糊屬性檢測單元12提供 的運動向量中的感興趣的像素的運動向量的絕對值，即基於感興趣的像素的運動速度，感 興趣的像素的像素值被順序地校正。現在將描述可將運動速度用作示出成像模糊屬性的參數的原因。通常可以在取決 於受拍攝的對象的運動速度的狀態下表示成像模糊屬性。注意到，在利用相機拍攝對象時，在對象自身在真實空間中已經移動並且相機是 固定的情況下，受拍攝的對象的運動速度自然包括幀中的對象(圖像)的運動速度。另外， 在利用相機拍攝對象時，在對象在真實空間中是固定的並且相機由於手抖而被移動的情況 下，或者在對象和相機在真實空間中均被移動的情況下，對象的運動速度在這裡還包括幀 中的對象(圖像)的相對運動速度。因此，可在取決於組成對象的圖像的每個像素的運動速度的狀態下表示成像模糊 屬性。像素的運動速度指示出所要處理的幀中的像素和早先的幀中與之相對應的像素 (對應點)之間的空間距離。例如，在所要處理的幀中的像素和緊接的前一(時間上的前 一個)幀內與之相對應的圖像之間的空間距離相當於K個像素(K是0或者更大的任意整 數)的情況下，其像素的運動速度變為K [像素/幀]。在這種情況下，假定組成對象的圖像的各個像素中的一個預定像素被設置為感興 趣的像素，那麼可以在取決於感興趣的像素的運動速度K[像素/幀]的大小的狀態下表示 感興趣的像素的成像模糊屬性。更具體地說，例如，在感興趣的像素的運動速度是2、3、4[像素/幀]的各個情況 下，感興趣的像素的成像模糊的頻率屬性可以分別用圖4中的曲線H2至H4來表示。就是說，圖4示出了在感興趣的像素的運動速度是2、3、4 [像素/幀]的各個情況下感興趣的像素的成像模糊的各個頻率屬性。在圖4中，水平軸示出了頻率並且垂直軸示 出了增益(幅度)。然而，水平軸的每個值示出了在奈奎斯特頻率為1的情況下的相對值。 以上是可以將運動速度用作示出成像模糊屬性的參數的原因。現在，如從頻率屬性H2至H4明白的，當把感興趣的像素的成像模糊屬性表示為空 間域(spatial region)時，成像模糊屬性可用移動平均濾波器(低通濾波器)來表示 。換 言之，示出移動平均濾波器(低通濾波器)的轉移函數(transfer function)(此後稱為 成像模糊轉移函數或者點擴展函數)由H表示，不發生圖像模糊的情況下的理想圖像信號 (此後稱為成像模糊之前的信號)被表示為頻域中的F，並且從相機輸出的實際圖像信號即 發生了成像模糊的圖像信號(此後稱為成像模糊之後的信號)由頻域中的G表示，成像模 糊之後的信號G如在下式(1)中表示。G = H*F (1)對於本發明，希望除去(抑制)成像模糊，為此，應當根據已知的成像模糊之後的 信號G和已知的成像模糊的轉移函數H來預測計算(forecast-compute)成像模糊之前的 信號F。就是說，下式(2)中的預測計算被執行。F = inv (H) *G (2)在式(2)中，inv(H)示出了成像模糊的轉移函數H的反函數。如上所述，成像模 糊的轉移函數H具有低通濾波器的屬性，其反函數inv(H)由此也自然具有高通濾波器的屬 性。另外，如上所述，對於成像模糊的轉移函數H，其屬性根據運動速度而改變。具體而 言，例如，在感興趣的像素的運動速度是2、3、4 [像素/幀]的各個情況下，感興趣的像素的 成像模糊的轉移函數H的頻率屬性變為不同屬性，如圖4中的曲線H2至H4中的每一個所
7J\ ο因此，成像模糊抑制處理單元13根據運動速度修改成像模糊的轉移函數的屬性， 求得具有修改後屬性的轉移函數H的反函數inv (H)，並且利用反函數inv (H)執行對上述式 (2)的計算處理，由此可以實現本發明的目的，即除去(抑制)成像模糊。作為替代，上述式(2)是頻域計算，以實現本發明的目的，成像模糊抑制處理單元 13可以執行與上述式(2)中的計算處理等價的對空間域的處理。具體而言，成像模糊抑制 處理單元13例如可以執行諸如以下第一至第三處理的處理。第一處理是根據從成像模糊屬性檢測單元12提供的感興趣的像素的運動速度對 示出感興趣的像素的成像模糊的移動平均濾波器(低通濾波器)的屬性進行變換的處理。 具體而言，例如，第一處理的一個示例是如下處理其中，針對多個運動速度中的每一個每 次預先準備一個移動平均濾波器，並且從多個移動平均濾波器中選擇與感興趣的像素的運 動速度相對應的一個移動平均濾波器。第二處理是由以下處理2-1至2-3組成的處理。處理2-1是如下處理其中，通過對屬性經第一處理變換的移動平均濾波器執行 傅立葉變換，將其移動平均濾波器顯示為頻率。具體而言，例如在感興趣的像素的運動速度 是2、3、4[像素/幀]的各個情況下，用於獲得圖4中的各個曲線H2至H4的處理是處理 2-1。就是說，為了在頻域中對其進行考慮，用於求得感興趣的像素的成像模糊的轉移函數 H的處理是處理2-1。注意到此後處理2-1將被稱為頻率變換處理。
處理2-2是用於計算利用頻率變換處理(處理2-1)被顯示為頻率的移動平均濾 波器的反數(inverse number)的處理。就是說，處理2_2是如下處理，該處理根據頻域生 成在上述式(2)中示出的成像模糊的轉移函數H的反函數inv (H)。注意到此後處理2-2將 被稱為反函數生成處理。處理2-3是對利用反函數生成處理(處理2-2)計算出的反函數irw(H)(即被顯 示為頻率的移動平均濾波器的反數)執行反向傅立葉變換的處理。就是說，用於生成與反 函數inv (H)相對應的高通濾波器(維納濾波器)的處理是處理2-3。用於生成移動平均濾 波器的反向濾波器(irwersefilter)的處理是處理2_3。注意到利用處理2_3生成的高通 濾波器被稱為反向移動平均濾波器。換言之，用於把用頻域表示的反向移動平均濾波器變 換為空間域的濾波器的處理是處理2-3。因此，此後處理2-3將被稱為與頻率變換處理(處 理2-1)相對應的頻率反向變換處理。第三處理是如下處理輸入與頻域的上述式(2)的信號G相對應的空間域的成像 模糊之後的圖像信號g作為輸入圖像，並且對圖像信號g應用由頻率反向變換處理(處理 2-3)生成的反向移動平均濾波器。利用第三處理，與頻域的上述式(2)的信號F相對應的 空間域的成像模糊之前的圖像信號f被恢復(預測計算)。具體而言，第三處理例如是如下 處理其中，通過對所要處理的幀中 包括感興趣的像素的預定塊應用反向移動平均濾波器， 感興趣的像素的像素值被校正。圖5中示出了可以執行第一至第三處理的成像模糊抑制處理單元13的功能配置 的示例。就是說，圖5示出了成像模糊抑制處理單元13的功能配置的示例。對於圖5的示例中的成像模糊抑制處理單元13，向其提供了移動平均濾波器屬性 變換單元21、反向移動平均濾波器生成單元22以及反向移動平均濾波單元23。移動平均濾波屬性變換單元21執行上述第一處理。反向移動平均濾波生成單元 22執行上述第二處理。反向移動平均濾波單元23執行上述第三處理。就是說，反向移動平均濾波器生成單元22例如可以具有諸如圖6中所示的功能配 置。在圖6的反向移動平均濾波生成單元22上設有頻率變換單元31、反函數生成單元32 以及頻率反向變換單元33。屬性經移動平均濾波器屬性變換單元21變換的移動平均濾波器被作為輸入信號 TO輸入，輸入信號TO是針對頻率變換單元31的空間域信號。因此，頻率變換單元31對輸 入信號TO執行上述頻率變換處理，並且輸出由此得到的指示出成像模糊的轉移函數H的信 號Tl。注意到，信號Tl是利用先前設置數目的抽頭採樣的信號。因此，相同數目的抽頭 也被輸入到執行上述頻率反向變換處理的頻率反向變換單元33中。反函數生成單元32對信號Tl執行上述反函數生成處理，並且生成並輸出與由此 得到的反函數inv(H)相對應的信號U1。頻率反向變換單元33對信號Ul執行上述頻率反向變換處理，示出反向移動平均 濾波器的信號T3由此被生成並輸出。與信號T3相對應的反向移動平均濾波器被輸入到圖 5的反向移動平均濾波單元23中，並被用於執行上述第三處理。本發明現在提出了生成反函數的特定方法。反函數由此基於原始模糊圖像和點擴 展函數、基於頻域中的迭代算法被生成。更具體地說，在向低通濾波器TO應用傅立葉變換之後，點擴展函數Tl被得到。基於迭代算法，反向點擴展函數Ul被生成，並且在向反向點 擴展函數Ul應用反向傅立葉變換之後，反向濾波器T3被得到。 一種利用時間信息和迭代來減少靜態圖像中的運動模糊的已知方法例如是 Richardson-Lucy算法。但是該算法在被應用於運動圖像時非常複雜，因此當把該算法集成 到相應晶片設計中時非常昂貴。本發明因而提出了基於Richardson-Lucy算法的迭代算法，該算法可被應用於運 動圖像並且同時可被容易地集成到甚至低資源設備中。Richardson-Lucy算法基於以下公式
權利要求
1.一種圖像處理方法，用於以存取單位為增量對由預定視頻拍攝設備拍攝的運動圖像 進行處理，其中在利用所述視頻拍攝設備拍攝所述運動圖像時發生的成像模糊由示出該成 像模糊的屬性的相應低通濾波器表示，所述方法包括以下步驟生成具有針對所述低通濾波器的相反屬性的反向濾波器，以及 執行將所述反向濾波器應用於所要處理的所述存取單位的處理，其中所述生成反向濾 波器的步驟包括基於原始模糊圖像和點擴展函數的頻域中的迭代算法。
2.如權利要求1所述的方法，其中所述生成步驟包括 向所述低通濾波器應用傅立葉變換從而得到所述點擴展函數， 通過所述迭代算法生成反向點擴展函數，以及向所述反向點擴展函數應用反向傅立葉變換以得到所述反向濾波器。
3.如權利要求1所述的方法，其中所述迭代算法基於Richardson-Lucy算法。
4.如權利要求1所述的方法，其中所述迭代算法包括以下步驟將點擴展函數H和前一迭代步驟的增益函數Ft相乘以得到第一乘法結果M1，其中在第 一迭代周期中Ft對應於模糊圖像增益函數G，將所述第一乘法結果Ml和所述點擴展函數H相乘以得到中間結果G'， 計算G與G'之間的差異，將所述點擴展函數H和G與G'之間的差異相乘從而得到第二乘法結果M2， 將所述第二乘法結果M2添加到F(t)以得到F(t+1)，以及 重複先前步驟從而將F(t+1)用作新的F(t)。
5.如在先權利要求中任一項所述的方法，其中所述迭代算法基於以下表達式 ⑷盧(⑷)=F(t) + (β- G') χ HG' = F⑴χ HxH F(°> = G其中H表示所述點擴展函數，G表所述模糊圖像增益函數，F表示原始圖像增益函數，並 且指數t表示迭代周期。
6.一種圖像處理設備，用於以存取單位為增量對由預定視頻拍攝設備拍攝的運動圖像 進行處理，其中在利用所述視頻拍攝設備拍攝所述運動圖像時發生的成像模糊由示出該成 像模糊的屬性的相應低通濾波器表示，所述設備包括反向移動平均濾波器生成單元，用於生成具有針對所述低通濾波器的相反屬性的反向 濾波器，以及成像模糊抑制處理單元，用於執行將所述反向濾波器應用於所要處理的所述存取單位 的處理，其中所述反向移動平均濾波器生成單元適用於根據基於原始模糊圖像和點擴展函數 的頻域中的迭代算法來確定所述反向濾波器。
7.如權利要求6所述的設備，其中所述反向移動平均濾波器生成單元包括 頻率變換單元，用於向所述低通濾波器應用傅立葉變換從而得到所述點擴展函數， 反函數生成單元，用於通過所述迭代算法生成反向點擴展函數，以及頻率反向變換單元，用於向所述反向點擴展函數應用反向傅立葉變換以得到所述反向 濾波器。
8.如權利要求6所述的設備，其中所述反函數生成單元適用於實現以下步驟 將點擴展函數H和前一迭代步驟的增益函數Ft相乘以得到第一乘法結果M1，其中在第一迭代周期中Ft對應於模糊圖像增益函數G，將所述第一乘法結果Ml和所述點擴展函數H相乘以得到中間結果G'， 計算G與G'之間的差異，將所述點擴展函數H和G與G'之間的差異相乘從而得到第二乘法結果M2， 將所述第二乘法結果M2添加到F(t)以得到F(t+1)，以及 重複先前步驟從而將F(t+1)用作新的F(t)。
9.如權利要求6至8中任一項所述的設備，其中所述反函數生成單元適用於使所述迭 代算法基於以下表達式
10.一種圖像處理設備，用於以存取單位為增量對由預定視頻拍攝設備拍攝的運動圖 像進行處理，其中在利用所述視頻拍攝設備拍攝所述運動圖像時發生的成像模糊由示出該 成像模糊的屬性的相應低通濾波器表示，所述設備包括反向移動平均濾波器生成裝置，用於生成具有針對所述低通濾波器的相反屬性的反向 濾波器，以及成像模糊抑制處理裝置，用於執行將所述反向濾波器應用於所要處理的所述存取單位 的處理，其中所述反向移動平均濾波器生成裝置適用於根據基於原始模糊圖像和點擴展函數 的頻域中的迭代算法來確定所述反向濾波器。
11.一種存儲在計算機可讀介質上的電腦程式產品，用於以存取單位為增量對由預 定視頻拍攝設備拍攝的運動圖像進行處理，其中在利用所述視頻拍攝設備拍攝所述運動圖 像時發生的成像模糊由示出該成像模糊的屬性的相應低通濾波器表示，所述電腦程式使 計算機執行以下步驟生成具有針對所述低通濾波器的相反屬性的反向濾波器，以及 執行將所述反向濾波器應用於所要處理的所述存取單位的處理，其中所述生成反向濾 波器的步驟包括基於原始模糊圖像和點擴展函數的頻域中的迭代算法。
全文摘要
本發明公開了處理運動圖像的圖像處理方法、設備和程序。本發明涉及用於以存取單位為增量對由預定視頻拍攝設備拍攝的運動圖像進行處理的圖像處理方法和設備。在利用所述視頻拍攝設備拍攝所述運動圖像時發生的成像模糊由示出該成像模糊的屬性的相應低通濾波器表示。根據本方法，具有針對所述低通濾波器的相反屬性的反向濾波器被生成。處理被執行以將所述反向濾波器應用於所要處理的所述存取單位。這裡，生成反向濾波器的步驟包括基於原始模糊圖像和點擴展函數的頻域中的迭代算法。
文檔編號H04N5/21GK102111554SQ20101062229
公開日2011年6月29日 申請日期2010年12月23日 優先權日2009年12月23日
發明者奧利弗·爾德勒, 西徹 申請人:索尼公司