運動圖像處理設備及其控制方法
2023-05-29 18:59:11 1
專利名稱：運動圖像處理設備及其控制方法
技術領域：
本發明涉及一種用於根據運動圖像中的場圖像(field image)產生幀 圖像的運動圖像處理設備及其控制方法。
背景技術：
傳統上，為了傳輸和存儲運動圖像數據，廣泛使用具有每秒60場的隔 行掃描圖像(interlaced image)(場圖像)。為了進行數字廣播的傳輸或者 DVD的數字數據存儲，使用基於MPEG-2的運動圖像編碼來壓縮隔行掃 描圖像。通常，視頻照相機甚至使用具有每秒60場的隔行掃描圖像來進行 拍攝。另一方面，電影拍攝和放映一般使用每秒24幀的圖像。因此，通常通 過將具有每秒24幀的逐行掃描圖像(progressive image)(幀圖像)轉換為 具有每秒60場的隔行掃描圖像(場圖像)來在DVD上進行記錄。通常，將這種轉換稱為2-3下拉(pull-down)處理。圖9A示出具有 每秒24幀速率的幀圖像A到D。圖9B示出包括每秒60場的隔行掃描圖 像。2-3下拉處理將連續的幀圖像A到D劃分為2-3-2-3場圖像Al、 A2、 Bl、 B2、 B3、 Cl、 C2、 Dl、 D2禾QD3。將奇數個和偶數個場圖像以交替 的次序轉換為隔行掃描圖像的場圖像。長期以來，用於顯示這些廣播或者存儲的圖像的顯示器使用CRT。CRT 直接輸出並顯示輸入的隔行掃描圖像。然而，最近開發的以LCD和等離子 顯示器為代表的新顯示裝置是廣受歡迎的用於顯示從隔行掃描圖像轉換的 逐行掃描圖像的設備。為了將隔行掃描圖像(場圖像)轉換為逐行掃描圖像(幀圖像)，簡單 地將當前場圖像和緊挨其前的場圖像組合以產生幀圖像(例如日本特開平 11-88845號)。圖9C示出使用這種方法的幀圖像產生的示例。Al/A2表示通過組合 場圖像A1和A2而產生的幀圖像。根據相同時間的幀圖像產生場圖像Al 和A2。因此，理論上它們完全可以再現原始幀圖像。然而，在這種方法中， 下一幀圖像A2/B1是根據不同時間的場圖像產生的，因此在視覺上不自然。如果已知起初以每秒24幀的速率產生幀圖像並且場圖像經過2-3下拉 處理，則可以通過執行2-3下拉處理的逆處理來重新構建原始幀圖像。當 以交替的次序再現這些幀圖像中的兩個幀和三個幀時，不通過組合不同時 間的場圖像來產生幀圖像。圖9D示出逆2-3下拉處理。場圖像Al與緊接其後的場圖像A2組合 產生幀圖像Al/A2。場圖像A2與緊挨其前的場圖像Al組合產生幀圖像 Al/A2。場圖像B1與緊接其後的場圖像B2組合產生幀圖像B1/B2。場圖 像B2與緊挨其前的場圖像Bl組合產生幀圖像Bl/B2。場圖像B3與緊挨 其前的場圖像B2組合產生幀圖像B2/B3。也就是說，為了通過組合相同時間的場圖像來產生幀圖像，將目標場 圖像與緊挨其前或緊接其後的場圖像組合。用"2"表示與緊接其後的場圖像的組合。用"1"表示與緊挨其前的場圖像的組合。場圖像組合模式是 2-1-2-1-1。產生的幀圖像具有該組合模式的重複模式。日本特開平7-107375號公開了重複模式檢測方法的示例。日本特開平 7-107375號的技術將具有每秒60場的速率的隔行掃描圖像復原為具有每 秒24幀速率的逐行掃描圖像。重複模式檢測技術對於產生具有每秒60幀 速率的逐行掃描圖像的處理是公用的。這種方法檢測場圖像之間的差異以 判斷它們是否是根據相同時間的幀圖像產生的。基於判斷結果來檢測相同 時間的場圖像組的重複模式。只要檢測到重複模式，就可以以正確的時間 次序產生並顯示幀圖像而不出現任何問題。然而，通過2-3下拉處理產生的圖像不總是採用上述2-1-2-1-1重複模 式。例如，如果在任意點處編輯經過了 2-3下拉處理的場圖像，則可能擾 亂重複模式。圖9E示出切掉圖9B中的場圖像B2之後的場景並連接從場 圖像M1開始的場景的示例。在這種情況下，從場圖像Al開始的理想重複模式是2-1-2-1-2-1-2-1-1 。日本特開平7-107375號利用通過從外部給出編輯點的信息來校正重複模 式的這種相位偏移的方法，但是沒有提到如何檢測編輯點的具體解決方案。 圖9F示出切掉圖9B中的場圖像B2之後的場景並連接從場圖像L3 開始的場景的示例。在這種情況下，對於場圖像L3不存在理想的場圖像 組合。當與場圖像B2或者場圖像Ml組合時，場圖像L3使圖像質量劣化。發明內容本發明用來解決上述問題，本發明提供一種即使在場圖像次序的周期 性被擾亂時也能夠防止由於時間軸的變化而使幀圖像的產生劣化、並且能 夠維持穩定的圖像質量的運動圖像處理設備、及其控制方法和程序。根據本發明的第一方面，提供了一種用於根據運動圖像中的場圖像產 生幀圖像的運動圖像處理設備，該運動圖像處理設備包括第一候選圖像 產生單元，適合於接收當前時間的當前場圖像和按時間順序緊挨在當前場 圖像之前的前一場圖像，通過將當前場圖像與前一場圖像作為相同時間的 數據進行組合來產生幀圖像，並將該幀圖像作為第一候選圖像輸出；第二 候選圖像產生單元，適合於接收當前時間的當前場圖像和按時間順序緊接 在當前場圖像之後的後一場圖像，通過將當前場圖像與後一場圖像作為相 同時間的數據進行組合來產生幀圖像，並將該幀圖像作為第二候選圖像輸 出；第三候選圖像產生單元，適合於接收當前場圖像，通過針對當前場圖 像進行像素插值處理來產生幀圖像，並將該幀圖像作為第三候選圖像輸出； 判斷單元，適合於判斷當前場圖像是與前一場圖像具有連續性，是與後一 場圖像具有連續性，還是與前一場圖像和後一場圖像中的任何一個都不具 有連續性；存儲單元，適合於基於判斷單元的判斷結果將當前場圖像的判 斷結果作為日誌信息存儲；檢測單元，適合於根據當前場圖像之前的連續 場圖像的日誌信息的模式來檢測特定模式，該日誌信息存儲在存儲單元中； 以及選擇單元，適合於基於檢測單元的檢測結果，選擇第一候選圖像、第 二候選圖像和第三候選圖像中的一個作為當前場圖像的幀圖像。在一個實施例中，如果檢測單元檢測到特定模式，則選擇單元按照特 定模式選擇第一候選圖像和第二候選圖像中的一個作為當前場圖像的幀圖像，而如果檢測單元沒有檢測到特定模式，則選擇單元選擇第三候選圖像 作為當前場圖像的幀圖像。
在一個實施例中，判斷單元基於包括前一場圖像與當前場圖像之間的 相關值、當前場圖像和後一場圖像之間的相關值和閾值的三個值之間的幅 值關係，來判斷當前場圖像是與前一場圖像具有連續性，是與後一場圖像 具有連續性，還是與前一場圖像和後一場圖像中的任何一個都不具有連續 性。
在一個實施例中，如果判斷結果表示當前場圖像與前一場圖像和後一 場圖像中的一個具有連續性，則存儲單元存儲判斷結果的日誌信息並更新 迄今為止存儲的日誌信息，而如果判斷結果表示當前場圖像與前一場圖像 和後一場圖像中的任何一個都不具有連續性，則存儲單元將迄今為止存儲 的日誌信息復位。
在一個實施例中，第三候選圖像產生單元接收前一場圖像和後一場圖 像中的一個作為插值像素產生場圖像，按照指定的權重使用當前場圖像中 的像素和插值像素產生場圖像中的像素來針對每一個像素產生插值像素， 從而產生對應於當前場圖像的幀圖像。
在一個實施例中，第三候選圖像產生單元按照檢測單元檢測到/沒有檢 測到特定模式來改變所述權重。
在一個實施例中，如果檢測單元沒有檢測到特定模式，則第三候選圖 像產生單元增大使用當前場圖像中的像素的權重。
根據本發明的第二方面，提供了一種用於根據運動圖像中的場圖像產 生幀圖像的運動圖像處理設備的控制方法，該方法包括第一候選圖像產 生步驟，接收當前時間的當前場圖像和按時間順序緊挨在當前場圖像之前 的前一場圖像，通過將當前場圖像和前一場圖像作為相同時間的數據進行 組合來產生幀圖像，並將該幀圖像作為第一候選圖像輸出；第二候選圖像 產生步驟，接收當前時間的當前場圖像和按時間順序緊接在當前場圖像之 後的後一場圖像，通過將當前場圖像和後一場圖像作為相同時間的數據進 行組合來產生幀圖像，並將該幀圖像作為第二候選圖像輸出；第三候選圖 像產生步驟，接收當前場圖像，通過針對當前場圖像進行像素插值處理來產生幀圖像，並將該幀圖像作為第三候選圖像輸出；判斷步驟，判斷當前 場圖像是與前一場圖像具有連續性，是與後一場圖像具有連續性，還是與 前一場圖像和後一場圖像中的任何一個都不具有連續性；存儲步驟，基於 判斷步驟中的判斷結果將當前場圖像的判斷結果作為日誌信息存儲在存儲 介質中；檢測步驟，根據當前場圖像之前的連續場圖像的日誌信息的模式 來檢測特定模式，該日誌信息存儲在存儲介質中；以及選擇步驟，基於檢 測步驟中的檢測結果，選擇第一候選圖像、第二候選圖像和第三候選圖像 中的一個作為當前場圖像的幀圖像。
從以下參考附圖對示例性實施例的說明，本發明的其它特徵將變得明顯。
圖1A是示出根據本發明的第一實施例的運動圖像處理設備的功能配 置的框圖1B是示出根據本發明的第一實施例的運動圖像處理設備的硬體結 構的框圖2是例示根據本發明的第一實施例的運動圖像處理設備執行的處理 的流程圖3是例示根據本發明的第一實施例的下一場判斷處理的細節的流程
圖4是例示根據本發明的第一實施例的下一場判斷處理的細節的流程
圖5A至5C是用於說明根據本發明的第一實施例的場內插值 (interpolation)處理的圖6是示出根據本發明的第二實施例的運動圖像處理設備的功能配置 的框圖7是例示根據本發明的第二實施例的運動圖像處理設備執行的處理 的流程圖8A至8D是用於說明根據本發明的第二實施例的I/P轉換處理的圖；以及
圖9A至9F是用於說明幀圖像與場圖像之間的關係的圖。
具體實施例方式
現在，參考附圖詳細說明本發明的示例性實施例。應當指出，除非另 外具體說明，在這些實施例中描述的部件、數字表示和數值的相對配置不 限制本發明的範圍。
現在，參考附圖詳細說明本發明的實施例。
本發明針對將例如運動圖像的具有每秒60場的速率的隔行掃描圖像 轉換為具有每秒60幀速率的逐行掃描圖像的運動圖像處理。本發明尤其針 對根據不具有每秒60幀的幀速率(例如具有每秒24幀的幀速率)的逐行 掃描圖像產生輸入隔行掃描圖像時的運動圖像處理。
本發明的目的尤其是提供一種防止甚至在編輯時模式被擾亂的2-3下 拉圖像中由於組合不同時間的場圖像而引起的圖像質量的劣化的運動圖像 處理設備、及其控制方法和程序。
圖1A是示出根據本發明的第一實施例的運動圖像處理設備的功能配 置的框圖。
第一實施例的運動圖像處理設備從存儲器101同時讀出三個場圖像， 處理這些輸入，產生一個幀圖像作為輸出，並將其寫入存儲器101。
這三個場圖像是第n當前場圖像、按時間順序緊接在第n當前場圖像 之前的第(n-l)場圖像、以及按時間順序緊接在第n當前場圖像之後的第 (n+l)場圖像。
第一候選圖像產生單元102將當前場圖像和緊挨其前的場圖像作為相 同時間的數據進行組合，從而產生幀圖像(第一候選圖像)。第二候選圖像 產生單元103將當前場圖像和緊接其後的場圖像作為相同時間的數據進行 組合，從而產生幀圖像(第二候選圖像)。
候選圖像比較和判斷單元105判斷兩個候選圖像中哪個場圖像組合對 應於相同時間的幀圖像。作為本發明的特徵，該判斷具有附加選擇"兩者
10都不是"。
判斷模式檢測單元106檢査從候選圖像比較和判斷單元105輸出的判 斷結果的日誌，並檢測判斷結果與用於2-3下拉處理中的判斷的判斷模式 是否匹配。
如果判斷模式檢測單元106的檢測結果指示與2-3下拉處理的判斷模 式(特定模式)匹配，則候選圖像選擇單元107根據該特定模式選擇來自 候選圖像產生單元的幀圖像並將其輸出。特別是，在第一實施例中，當判 斷結果與特定模式匹配時，候選圖像選擇單元107根據特定模式選擇性地 輸出來自候選圖像產生單元102的幀圖像或者來自候選圖像產生單元103 的幀圖像。
如果候選圖像比較和判斷單元105判斷為兩個候選圖像的場圖像組合 都不對應於相同時間的幀圖像，則將判斷模式檢測單元106的模式日誌復 位。候選圖像選擇單元107選擇來自第三候選圖像產生單元104的輸出。 作為特徵，候選圖像產生單元104使用場內插值處理(像素插值處理)而 不使用不同時間的場圖像來產生第三候選圖像。
以上述方式，候選圖像選擇單元107基於檢測結果(存在/不存在特定 模式)選擇第一至第三候選圖像中的一個作為當前場圖像的幀圖像。
可以通過同時處理整個場圖像來產生候選圖像。然而，這需要大的電 路規模。因此，將每一個場圖像分割為預定數量的塊並且基於塊的判斷結 果的累加來獲得每一個場圖像的結果更可行。
可以通過專用硬體或者軟體實現圖1A所示的運動圖像處理設備的各 個功能部件。它們可以通過協作使用硬體和軟體來實現。
參照圖1B描述圖1A中的運動圖像處理設備的硬體結構。
圖1B是示出根據本發明的第一實施例的運動圖像處理設備的硬體結 構的框圖。
CPU 1002控制運動圖像處理設備的各種構成元件。ROM 1003存儲用 於實現運動圖像處理設備執行的處理(對應於稍後描述的流程圖的處理) 的各種程序以及諸如參數的各種數據。CPU 1002通過從ROM 1003中讀出 程序並執行來執行所需的處理。RAM 1004用作工作區和數據的臨時保存區。例如由RAM 1004實現 圖1A中的存儲器101。網絡接口 (I/F) 1005連接到網絡以向網絡上的外 部裝置發送數據/從網絡上的外部裝置接收數據。
包括鍵盤和指示裝置(滑鼠)的輸入設備1006用於執行各種處理並在 運動圖像處理設備中輸入諸如參數的數據。輸出設備1007是諸如LCD的 顯示設備，並且提供諸如用於執行各種處理的操作窗口或者用於顯示處理 結果的窗口的圖形用戶界面。除了顯示設備之外，還可以提供列印設備作 為輸出設備1007。
外部存儲設備1008存儲要處理的運動圖像文件(一系列場圖像)或者 處理後的運動圖像文件(一系列幀圖像)或者各種數據。
接下來，參考圖2至4描述根據第一實施例的運動圖像處理設備的詳 細處理。
圖2是例示根據本發明的第一實施例的運動圖像處理設備執行的處理 的流程圖。
首先，候選圖像比較和判斷單元105判斷檢測模式是否被鎖定(固定) (步驟S201)。在正常狀態下，檢測模式是鎖定的。如果檢測模式被鎖定 (步驟S201中的"是")，則候選圖像選擇單元107根據檢測模式選擇候 選圖像產生單元102或103。選擇的候選圖像產生單元102或103基於預 測模式(鎖定的檢測模式)通過插值處理產生幀圖像(步驟S202)。
如果檢測模式由於例如編輯而被擾亂(檢測模式沒有被鎖定)(步驟 S201中的"否")，則解鎖檢測模式。這時，候選圖像選擇單元107選擇候 選圖像產生單元104。選擇的候選圖像產生單元104通過場內插值處理產 生幀圖像(步驟S203)。這是對當前場圖像的處理。下面描述下一場的準 備處理。
接下來，候選圖像比較和判斷單元105執行下一場判斷處理(步驟 S204)。該處理判斷當前場圖像和下一場圖像(前一場圖像和後一場圖像) 是否具有連續性(是否存在編輯點)，並檢測場圖像的組合，從而準備模式 判斷。
參考圖3和4描述下一場判斷處理的細節。圖3和4是例示根據本發明的第一實施例的下一場判斷處理的細節的
流程圖。
圖3示出下一場判斷處理的前半部分。
首先，候選圖像比較和判斷單元105通過將場圖像分割為預定數量的 塊並且將用於累加每一個塊的處理的計數值復位為零來進行初始化(步驟 S301)。從此開始，針對每一個塊執行處理。
候選圖像比較和判斷單元105檢測前一場圖像和當前場圖像之間的相 關值(步驟S302)。檢測到差分絕對值R1作為相關值(第一相關值)。差 分絕對值Rl越大，圖像間的相關性越小。候選圖像比較和判斷單元105 同時檢測當前場圖像和後一場圖像之間的相關值(步驟S303)。檢測到差 分絕對值R2作為相關值(第二相關值)。
候選圖像比較和判斷單元105將兩個差分絕對值Rl和R2與閾值Th 進行比較以進行誤差檢測(步驟S304)。如果比較目標的差分絕對值等於 或小於閾值Th，則判斷為相關性大。如果差分絕對值大於閾值Th，貝U判 斷為相關性小。
如果R1最小(步驟S305中的"是")，則假定前一場圖像和當前場圖 像的組合最佳(具有連續性)。候選圖像比較和判斷單元105將該組合作為 Weavel進行計數(步驟S306)。假設Col是用於對Weavel進行計數的計 數器，將當前計數值增加l (Col—Col+l)。
如果R2最小(步驟S305中的"否"，然後步驟S307中的"是")，則 假定當前場圖像和後一場圖像的組合最佳(具有連續性)。候選圖像比較和 判斷單元105將該組合作為Weave2進行計數(步驟S308)。假設Co2是 用於對Weave2進行計數的計數器，將當前計數值增加1 (Co2—Co2+l)。
如果Rl和R2都大於Th (步驟S305中的"否"，然後步驟S307中的 "否")，則假定相關性小。候選圖像比較和判斷單元105將其計數為錯誤 (步驟S309)。假設Coe是用於對錯誤進行計數的計數器，將當前計數值 增加1 (Coe—Coe+l)。
候選圖像比較和判斷單元105將每一個塊分類為Col(Weavel)、 Co2(Weave2)和Coe(error)中的一個。針對所有塊重複該處理(步驟S310)。圖4示出下一場判斷處理的後半部分。
在計算對應於一個幀的計數值Col、 Co2和Coe之後，候選圖像比較 和判斷單元105比較這些值(確認幅值關係)，並得出判斷結果(步驟S401)。
如果計數器Coe的計數值最大(步驟S402中的"是")，則假定場之 間的相關性小。候選圖像比較和判斷單元105判斷為目標場圖像是不連續 場(步驟S403)。
如果計數器Co2的計數值最大(步驟S402中的"否"，然後步驟S404 中的"是")，則候選圖像比較和判斷單元105判斷為目標場圖像是Weave2 (步驟S405)。
如果計數器Co2的計數值不是最大而是最小(步驟S404中的"否"， 然後步驟S406中的"是")，則候選圖像比較和判斷單元105判斷為目標 場圖像是不連續場(步驟S403)。
如果計數器Co2的計數值既不是最大也不是最小(步驟S404中的 "否"，然後步驟S406中的"否")，則候選圖像比較和判斷單元105判斷 為目標場圖像是^Veavel (步驟S407)。在這種情況下，計數器Col的計數 值最大。
將這些判斷結果存儲在例如設備中的存儲器101中。以這種方式管理 過去的判斷結果的日誌(日誌信息)。換句話說，管理與為產生對應於過去 的場圖像的幀圖像而選擇的候選圖像的選擇順序相對應的模式。
基於判斷結果，從圖2中的步驟S205繼續處理。
候選圖像比較和判斷單元105判斷目標場圖像是否是連續場(步驟 S205)。如果目標場圖像是不連續場(步驟S205中的"否")，則候選圖像 比較和判斷單元105將模式日誌復位(步驟S206)。然後，候選圖像比較 和判斷單元105解鎖該模式(步驟S207)。
如果目標場圖像是連續場(步驟S205中的"是")，則候選圖像比較 和判斷單元105更新模式日誌(步驟S208)。
判斷模式檢測單元106判斷更新後的模式是否與特定模式匹配(步驟 S209)。換句話說，判斷模式檢測單元106檢測在更新後的模式中是否存 在特定模式。特定模式是表示在2-3下拉處理中當前場圖像和前一或後一場圖像的 組合的組合模式2-1-2-1-1。如果順序不變化，則模式可以是1-2-1-1-2、 2_M_2_1、 1-1-2-1-2或1-2-1-2-1。如果特定模式中的一個與更新後的模式 匹配(步驟S209中的"是")，則判斷模式檢測單元106鎖定檢測模式(步 驟S210)。也就是說，檢測模式可用作預測模式，來產生對應於場圖像的 幀。
如果沒有特定模式與更新後的模式匹配(步驟S209中的"否")，則 判斷模式檢測單元106結束該處理。
上面描述了第一實施例的運動圖像處理設備執行的總體處理的次序的 概況。
接下來，使用圖9E所示的編輯的示例來描述詳細的處理過程。
在該示例中，在場圖像B2之後存在編輯點。假設直到場圖像B2檢測 到2-3下拉處理的特定模式來進行說明。
描述當前場圖像是場圖像Al時所執行的處理。由於檢測模式被鎖定 (檢測到模式)，因此執行基於預測模式的插值處理。由於預測模式對應於 2-1-2-1-1頂部的"2"，因此通過與緊接之後的場圖像A2組合來輸出幀圖 像。這對應於選擇來自圖1A中的候選圖像產生單元103的輸出圖像。
同時，進行下一場判斷處理。來自該判斷處理的輸出分支為三種情況: "與前一場圖像組合"、"與後一場圖像組合"以及"都不"。
更具體地，從"場圖像Al與緊接之前的場圖像成對"、"場圖像Al 與場圖像A2成對"、以及"場圖像A1不與任一場圖像成對"中選擇結果。 在這種情況下，在圖3和4所示的處理中，Co2>Col>Coe。因此，判斷為 場圖像Al和A2是連續場。場圖像Al是下一場圖像A2的前一場圖像。 因此，新更新模式"l"。如果過去五個場的判斷結果是1-2-1-1-2並且下一 個是"1"，則該模式與特定模式(重複模式)2-1-2-1-1匹配。因此，繼續 鎖定檢測模式。
接下來，描述當前場圖像是場圖像A2時所執行的處理。由於檢測模 式被鎖定(檢測到模式)，因此執行基於預測模式的插值處理。由於預測模 式對應於2-1-2-1-1第二位處的"1"，因此通過與緊接之前的場圖像Al組合來輸出幀圖像。這對應於選擇來自圖1A中的候選圖像產生單元102中 的輸出圖像。
同時，進行下一場判斷處理。來自該判斷處理的輸出分支為三種情況: "與前一場圖像組合"、"與後一場圖像組合"以及"都不"。
更具體地，從"場圖像A2與場圖像A1成對"、"場圖像A2與場圖像 Bl成對"、以及"場圖像A2不與任一場圖像成對"中選擇結果。在這種 情況下，在圖3和4所示的處理中，Col〉Co2>Coe。因此，判斷為場圖像 A2和Bl是連續場。下一場圖像Bl與前一場圖像A2不成對。假定場圖 像Bl與後一場圖像成對。因此，新更新模式"2"。如果過去五個場的判 斷結果是2-1-1-2-1並且下一個是"2"，則該模式與特定模式(重複模式) 2-1-2-1-1匹配。因此，繼續鎖定檢測模式。
接下來，描述當前場圖像是場圖像Bl時所執行的處理。由於檢測模 式被鎖定(檢測到模式)，因此執行基於預測模式的插值處理。由於預測模 式對應於2-1-2-1-1第三位處的"2"，因此通過與緊接之後的場圖像B2組 合來輸出幀圖像。這對應於選擇來自圖1A中的候選圖像產生單元103的 輸出圖像。
同時，進行下一場判斷處理。來自該判斷處理的輸出分支為三種情況 "與前一場圖像組合"、"與後一場圖像組合"以及"都不"。
更具體地，從"場圖像B1與場圖像A2成對"、"場圖像B1與場圖像 B2成對"、以及"場圖像Bl不與任一場圖像成對"中選擇結果。在圖3 和4所示的處理中，Co2>Col〉Coe。因此，判斷為場圖像Bl和B2是連續 場。場圖像B1是下一場圖像B2的前一場圖像。因此，新更新模式"l"。 如果過去五個場的判斷結果是1-1-2-1-2並且下一個是"1"，則該模式與特 定模式(重複模式)2-1-2-1-1匹配。因此，繼續鎖定檢測模式。
接下來，描述當前場圖像是場圖像B2時所執行的處理。由於檢測模 式被鎖定(檢測到模式)，因此執行基於預測模式的插值處理。由於預測模 式對應於2-1-2-1-1第四位處的"1"，因此通過與緊接之前的場圖像B1組 合來輸出幀圖像。這對應於選擇來自圖1A中的候選圖像產生單元102的 輸出圖像。同時，進行下一場判斷處理。來自該判斷處理的輸出表示"與前一場 圖像組合"、"與後一場圖像組合"或者"都不"。
更具體地，從"場圖像B2與場圖像B1成對"、"場圖像B2與場圖像 Ml成對"、以及"場圖像B2不與任一場圖像成對"中選擇結果。在圖3 和4所示的處理中，Col>Coe>Co2。因此，判斷為場圖像B2和Ml是不 連續場。將直到此時的模式日誌復位。因此，解鎖模式。
接下來，描述當前場圖像是場圖像M1時所執行的處理。由於未鎖定 檢測模式(未檢測到模式)，因此執行場內插值處理。這對應於選擇來自圖 1A中的候選圖像產生單元104的輸出圖像。
同時，進行下一場判斷處理。來自該判斷處理的輸出分支為三種情況-"與前一場圖像組合"、"與後一場圖像組合"以及"都不"。
更具體地，從"場圖像M1與場圖像B2成對"、"場圖像M1與場圖像 M2成對"、以及"場圖像M1不與任一場圖像成對"中選擇結果。在圖3 和4所示的處理中，Co2>Col>Coe。因此，判斷為場圖像Ml和M2是連 續場。場圖像M1是下一場圖像M2的前一場圖像。因此，新更新模式"l"。 因為過去的模式日誌被復位，所以沒有檢測到特定模式，並且模式保持解 鎖。
接下來，描述當前場圖像是場圖像M2時所執行的處理。由於檢測模 式未鎖定(未檢測到模式)，因此執行場內插值處理。這對應於選擇來自圖 1A中的候選圖像產生單元104的輸出圖像。
同時，進行下一場判斷處理。來自該判斷處理的輸出分支為三種情況: "與前一場圖像組合"、"與後一場圖像組合"以及"都不"。
更具體地，從"場圖像M2與場圖像Ml成對"、"場圖像M2與場圖 像N1成對"、以及"場圖像M2不與任一場圖像成對"中選擇結果。在圖 3和4所示的處理中，Col>Co2>Coe。因此，判斷為場圖像M2和N1是連 續場。下一場圖像N1與前一場圖像M2不成對。假定場圖像N1與後一場 圖像成對。因此，新更新模式"2"。因為模式日誌復位之後的判斷結果僅 為"1"，所以沒有檢測到特定模式，並且模式保持解鎖。
隨後，在當前場圖像是場圖像N1時，模式日誌是1-2。對於場圖像N2，模式日誌是1-2-1。對於場圖像N3，模式日誌是1-2-1-1。對於場圖像 01，模式日誌是1-2-1-1-2。這裡，鎖定模式。
這時執行的場內插值處理插入在隔行掃描圖像中跳過的行。圖5A中 的實線表示有像素的行，虛線表示沒有像素的行。最簡單地，如圖5B所 示，可以基於插值目標上側和下側的像素進行插值。作為替代方案，如圖 5C所示，可以基於目標像素周圍的像素進行插值。可以通過根據圖像的特 徵量對每一個像素進行加權來進行插值。
接下來，描述圖9F所示的編輯的示例。同樣在該示例中，在場圖像 B2之後存在編輯點。直到場圖像B2的處理與以上描述的相同。
描述當前場圖像是場圖像L3時所執行的處理。由於檢測模式未鎖定 (未檢測到模式)，因此執行場內插值處理。這對應於選擇來自圖1A中的 候選圖像產生單元104的輸出圖像。
同時，進行下一場判斷處理。來自該判斷處理的輸出分支為三種情況 "與前一場圖像組合"、"與後一場圖像組合"以及"都不"。
更具體地，從"場圖像L3與場圖像B2成對"、"場圖像L3與場圖像 Ml成對"、以及"場圖像L3不與任一場圖像成對"中選擇結果。在圖3 和4所示的處理中，Coe>Co2>Col。因此，判斷為場圖像L3和Ml是不 連續場。因此，不更新模式。因為過去的模式日誌被復位，所以沒有檢測 到特定模式，並且模式保持解鎖。
接下來，描述當前場圖像是場圖像M1時所執行的處理。由於檢測模 式未鎖定(未檢測到模式)，因此執行場內插值處理。這對應於選擇來自圖 1A中的候選圖像產生單元104的輸出圖像。
同時，進行下一場判斷處理。來自該判斷處理的輸出分支為三種情況 "與前一場圖像組合"、"與後一場圖像組合"以及"都不"。
更具體地，從"場圖像M1與場圖像L3成對"、"場圖像M1與場圖像 M2成對"、以及"場圖像M1不與任一場圖像成對"中選擇結果。在圖3 和4所示的處理中，Co2>Col>Coe。因此，判斷為場圖像Ml和M2是連 續場。場圖像M1是下一場圖像M2的前一場圖像。因此，新更新模式"l"。 因為過去的模式日誌被復位，所以沒有檢測到特定模式，並且模式保持解鎖。
隨後，在當前場圖像是場圖像M2時，模式日誌是l。對於場圖像N1， 模式日誌是l-2。對於場圖像N2，模式日誌是1-2-1。對於場圖像N3，模 式日誌是1-2-1-1。對於場圖像Ol，模式日誌是1-2-1-1-2。這裡，鎖定模式。
如上所述，根據第一實施例，檢測當前場圖像與前一及後一場圖像中 的每一個之間的相關性。基於檢測結果判斷用於產生幀圖像的對下一場圖 像的場圖像組合，從而產生幀圖像。作為替代方案，通過場內插值處理來 產生幀圖像。
這使得即使在場圖像次序的周期性被擾亂時，也可以防止由於時間軸 的變化而使幀圖像產生劣化並且維持穩定的圖像質量。
如圖6所示，代替第一實施例的圖1A中的第三候選圖像產生單元104， 根據第二實施例的運動圖像處理設備包括運動自適應(adaptive) I/P轉換 處理單元604。 1/P轉換是將作為隔行掃描圖像(I圖像)的場圖像轉換為 作為逐行掃描圖像(P圖像)的幀圖像。特別是，運動自適應I/P轉換處理 單元604根據兩個場圖像(即當前場圖像和前一場圖像)來產生一個幀。
接下來，參照圖7描述根據第二實施例的運動圖像處理設備的詳細處理。
圖7是例示根據本發明的第二實施例的運動圖像處理設備執行的處理 的流程圖。
與圖2中第一實施例的流程圖不同，如果檢測模式未鎖定，則運動自 適應I/P轉換處理單元604執行運動自適應I/P轉換處理(步驟S704)。下 一場判斷處理與第一實施例的圖3和4中的處理相同。
與第一實施例相同，使用圖9E所示的編輯的示例來描述詳細的處理 過程。因為檢測模式被鎖定，所以直到場圖像B2的處理與以上描述的處 理相同。
描述當前場圖像是場圖像M1時所執行的處理。由於檢測模式未鎖定 (未檢測到模式)，因此執行運動自適應I/P轉換處理。這對應於選擇來自圖6中的運動自適應I/P轉換處理單元604的輸出圖像。 參照圖8A至8D說明運動自適應I/P轉換處理的概要。 圖8A示出當前場圖像的行和前一場圖像的行之間的關係。實線表示
有像素的行，虛線表示沒有像素的行。在運動自適應I/P轉換處理中，通
過判斷插值目標像素是否正在場之間運動來自適應地切換處理。
圖8B示出判斷為目標像素正在場之間運動時的插值示例。如果目標
像素在場之間運動，則前一場圖像中相應的像素運動到另一位置。因此，
僅在當前場圖像中產生插值像素。
圖8C示出判斷為目標像素停留在場之間時的插值示例。這時，直接
插入前一場圖像中的目標像素，從而提高垂直方向上的解析度。
在圖8D中，不基於兩個狀態(即運動狀態和停留狀態)之一、而通
過在它們之間進行加權來產生插值像素。
如果當前場圖像是場圖像M1，則前一場圖像是B2。它們是不連續場。
由於該原因，在場之間不能找到相應的像素，其結果是，使用圖8B中的 插值方法。
可以積極地使用不連續場的檢測。在這種情況下，將運動檢測強制固 定為"運動"是有效的。獲得的插值幀與在第一實施例中描述的場內插值 處理相同。
同時，進行下一場判斷處理。進行與第一實施例中相同的處理。判斷 為場圖像Ml和M2是連續場。場圖像Ml是下一場圖像M2的前一場圖 像。因此，新更新模式"1"。因為過去的模式日誌被復位，因此沒有檢測 到特定模式，並且模式保持解鎖。
接下來，描述當前場圖像是場圖像M2時所執行的處理。由於檢測模 式未鎖定(未檢測到模式)，因此執行運動自適應I/P轉換處理。這對應於 選擇來自圖6中的運動自適應I/P轉換處理單元604的輸出圖像。
在當前場圖像是場圖像M2時，前一場圖像是場圖像Ml。該場對應 於相同時間的幀，其結果是，使用圖8C中的插值方法。
可以積極地利用在前一場圖像中更新了 "1"的事實。在這種情況下， 將運動檢測強制固定為"停留"是有效的。然而，由於模式未鎖定，因此期望結果"1"的確定性稍低。因此，可以利用圖8D中改變(增大)"停 留"的權重的插值方法。
同時，進行下一場判斷處理。判斷為場圖像M2和N1是不連續場。 下一場圖像N1與前一場圖像M2不成對。假定場圖像N1與後一場圖像成 對。因此，新更新模式"2"。因為模式日誌復位之後的判斷結果僅為"1", 因此沒有檢測到特定模式，並且模式保持解鎖。
隨後，在當前場圖像是場圖像Nl時，模式日誌是1-2。對於場圖像 N2，模式日誌是1-2-1。對於場圖像N3，模式日誌是1-2-1-1。對於場圖像 01，模式日誌是1-2-1-1-2。這裡，鎖定模式。
如上所述，根據第二實施例，除了在第一實施例中描述的效果之外， 還基於像素在場之間的運動來自適應地切換對用於產生幀的場的插值處 理。這允許產生更符合場圖像的特性的幀圖像。
在第二實施例中，根據兩個場圖像、即當前場圖像和前一場圖像產生 一個幀。然而，本發明不限於此。例如，可以按照狀況根據兩個場圖像(即 當前場圖像和後一場圖像、或者當前場圖像和前一場圖像)產生一個幀。
也就是說，用作第三候選圖像產生單元的運動自適應I/P轉換處理單 元604接收前一場圖像和後一場圖像中的至少一個作為插值像素產生場圖 像。運動自適應I/P轉換處理單元604根據指定的權重使用當前場圖像中 的像素和插值像素產生場圖像中的像素針對每一個像素產生插值像素，從 而產生對應於當前場圖像的幀圖像。
應當指出，本發明可以應用於包括單個裝置的設備或者由多個裝置構 成的系統。
此外，可以通過向系統或者設備直接或者間接提供實現上述實施例的 功能的軟體程序、用系統或者設備的計算機讀取提供的程序代碼、然後執 行該程序代碼，來實現本發明。在這種情況下，只要系統或設備具有程序 的功能，該實現方式不需要依賴於程序。
因此，由於由計算機來實現本發明的功能，因此安裝在計算機中的程 序代碼也實現本發明。換句話說，本發明的權利要求還覆蓋用於實現本發 明的功能的電腦程式。在這種情況下，只要系統或設備具有程序的功能，可以以任何形式執 行程序，例如目標代碼、由解釋器執行的程序或者提供給作業系統的腳本 數據。
可以用來提供程序的存儲介質的示例是軟盤、硬碟、光碟、磁光碟、
CD-ROM、 CD-R、 CD-RW、磁帶、非易失型存儲卡、ROM、以及DVD (DVD-ROM和DVD-R)。
關於提供程序的方法，可以使用客戶計算機的瀏覽器將客戶計算機連 接到網際網路上的網站，可以將本發明的電腦程式或者程序的可自動安裝 壓縮文件下載到諸如硬碟的記錄介質。此外，可以通過將構成程序的程序 代碼分割為多個文件並且從不同的網站下載文件來提供本發明的程序。換 句話說，本發明的權利要求也覆蓋由計算機將實現本發明的功能的程序文 件下載到多個用戶的WWW (全球資訊網，World Wide Web)伺服器。
還可以將本發明的程序加密並將其存儲在諸如CD-ROM的存儲介質 上，將存儲介質分發給用戶，允許滿足特定要求的用戶經由網際網路從網站 下載解密密鑰信息，允許這些用戶使用密鑰信息對加密的程序進行解密， 由此將程序安裝在用戶計算機中。
除了由計算機執行讀取的程序來實現上述根據實施例的功能的情況之 外，在計算機上運行的作業系統等可以執行部分或全部實際處理，從而通 過該處理可以實現上述實施例的功能。
此外，在將從存儲介質讀取的程序寫入插入計算機的功能擴展板或者 設置在連接到計算機的功能擴展單元中的存儲器之後，安裝在功能擴展板 或者功能擴展單元上的CPU等執行部分或全部實際處理，從而通過該處理 可以實現上述實施例的功能。
雖然參考示例性實施例描述了本發明，但是應當理解，本發明不限於 公開的示例性實施例。所附權利要求的範圍符合最寬的解釋，以覆蓋所有 這種變形、等同結構和功能。
權利要求
1.一種用於根據運動圖像中的場圖像產生幀圖像的運動圖像處理設備，該運動圖像處理設備包括第一候選圖像產生單元，適合於接收當前時間的當前場圖像和按時間順序緊挨在所述當前場圖像之前的前一場圖像，通過將所述當前場圖像與所述前一場圖像作為相同時間的數據進行組合來產生幀圖像，並將該幀圖像作為第一候選圖像輸出；第二候選圖像產生單元，適合於接收當前時間的所述當前場圖像和按時間順序緊接在所述當前場圖像之後的後一場圖像，通過將所述當前場圖像與所述後一場圖像作為相同時間的數據進行組合來產生幀圖像，並將該幀圖像作為第二候選圖像輸出；第三候選圖像產生單元，適合於接收所述當前場圖像，通過針對所述當前場圖像進行像素插值處理來產生幀圖像，並將該幀圖像作為第三候選圖像輸出；判斷單元，適合於判斷所述當前場圖像是與所述前一場圖像具有連續性，是與所述後一場圖像具有連續性，還是與所述前一場圖像和所述後一場圖像中的任何一個都不具有連續性；存儲單元，適合於基於所述判斷單元的判斷結果將所述當前場圖像的判斷結果作為日誌信息存儲；檢測單元，適合於根據所述當前場圖像之前的連續場圖像的日誌信息的模式來檢測特定模式，該日誌信息存儲在所述存儲單元中；以及選擇單元，適合於基於所述檢測單元的檢測結果，選擇所述第一候選圖像、所述第二候選圖像和所述第三候選圖像中的一個作為所述當前場圖像的幀圖像。
2. 根據權利要求l所述的運動圖像處理設備，其中 如果所述檢測單元檢測到所述特定模式，則所述選擇單元按照所述特定模式選擇所述第一候選圖像和所述第二候選圖像中的一個，作為所述當 前場圖像的幀圖像，而如果所述檢測單元沒有檢測到所述特定模式，則所述選擇單元選擇所 述第三候選圖像作為所述當前場圖像的幀圖像。
3. 根據權利要求1所述的運動圖像處理設備，其中所述判斷單元基於 包括所述前一場圖像與所述當前場圖像之間的相關值、所述當前場圖像與 所述後一場圖像之間的相關值以及閾值的三個值之間的幅值關係，來判斷 所述當前場圖像是與所述前一場圖像具有連續性，是與所述後一場圖像具 有連續性，還是與所述前一場圖像和所述後一場圖像中的任何一個都不具 有連續性。
4. 根據權利要求l所述的運動圖像處理設備，其中 如果所述判斷結果表示所述當前場圖像與所述前一場圖像和所述後一場圖像中的一個具有連續性，則所述存儲單元存儲所述判斷結果的日誌信 息並更新迄今為止存儲的日誌信息，而如果所述判斷結果表示所述當前場圖像與所述前一場圖像和所述後一 場圖像中的任何一個都不具有連續性，則所述存儲單元將迄今為止存儲的 日誌信息復位。
5. 根據權利要求1所述的運動圖像處理設備，其中所述第三候選圖像 產生單元接收所述前一場圖像和所述後一場圖像中的一個作為插值像素產 生場圖像，按照指定的權重使用所述當前場圖像中的像素和所述插值像素 產生場圖像中的像素來針對每一個像素產生插值像素，從而產生對應於所 述當前場圖像的幀圖像。
6. 根據權利要求5所述的運動圖像處理設備，其中所述第三候選圖像 產生單元按照所述檢測單元檢測到/沒有檢測到所述特定模式來改變所述權 重。
7. 根據權利要求6所述的運動圖像處理設備，其中如果所述檢測單元 沒有檢測到所述特定模式，則所述第三候選圖像產生單元增大使用所述當 前場圖像中的像素的所述權重。
8. —種用於根據運動圖像中的場圖像產生幀圖像的運動圖像處理設備 的控制方法，所述方法包括第一候選圖像產生步驟，接收當前時間的當前場圖像和按時間順序緊挨在所述當前場圖像之前的前一場圖像，通過將所述當前場圖像與所述前 一場圖像為相同時間的數據進行組合來產生幀圖像，並將該幀圖像作為第一候選圖像輸出；第二候選圖像產生步驟，接收當前時間的所述當前場圖像和按時間順 序緊接在所述當前場圖像之後的後一場圖像，通過將所述當前場圖像與所 述後一場圖像作為相同時間的數據進行組合來產生幀圖像，並將該幀圖像 作為第二候選圖像輸出；第三候選圖像產生步驟，接收所述當前場圖像，通過針對所述當前場 圖像進行像素插值處理來產生幀圖像，並將該幀圖像作為第三候選圖像輸 出；判斷步驟，判斷所述當前場圖像是與所述前一場圖像具有連續性，是與所述後一場圖像具有連續性，還是與所述前一場圖像和所述後一場圖像 中的任何一個都不具有連續性；存儲步驟，基於所述判斷步驟中的判斷結果將所述當前場圖像的判斷 結果作為日誌信息存儲在存儲介質中；檢測步驟，根據所述當前場圖像之前的連續場圖像的日誌信息的模式 來檢測特定模式，該日誌信息存儲在所述存儲介質中；以及選擇步驟，基於所述檢測步驟中的檢測結果，選擇所述第一候選圖像、 所述第二候選圖像和所述第三候選圖像中的一個作為所述當前場圖像的幀 圖像。全文摘要
本發明涉及一種運動圖像處理設備及其控制方法。通過組合當前場圖像和前一場圖像來產生幀圖像作為第一候選圖像。通過組合當前場圖像和後一場圖像來產生幀圖像作為第二候選圖像。通過針對當前場圖像進行像素插值處理來產生幀圖像並作為第三候選圖像輸出。判斷當前場圖像是與前一或後一場圖像具有連續性，還是與兩者中的任何一個都沒有連續性。基於判斷結果，存儲當前場圖像的判斷結果作為日誌信息。根據所存儲的當前場圖像之前的連續場圖像的日誌信息的模式來檢測特定模式。基於檢測結果，選擇第一至第三候選圖像中的一個作為當前場圖像的幀圖像。
文檔編號H04N7/24GK101557492SQ200910133639
公開日2009年10月14日 申請日期2009年4月13日 優先權日2008年4月11日
發明者系川修 申請人:佳能株式會社