圖像處理裝置及其方法

2023-11-08 06:27:52

專利名稱：：圖像處理裝置及其方法
技術領域：
：本發明涉及圖像處理裝置及其方法，更具體地，涉及用於對具有幀間轉變信息的運動圖像數據的幀圖像進行色彩校正的圖像處理。
背景技術：
：作為用適當明亮度感測照片的方法，已知測量將被感測的景像的平均亮度並控制相機的快門速度、光圈值等的方法。此外，還已知基於所謂的估計計量的曝光控制方法，該方法用於通過將景像分段成預定的區、然後通過將對各個區測得的亮度值進行加權來計算平均亮度值從而獲得適合曝光值。但是，在其中物體與背景相比特別黑的所謂背光景像中被感測的圖像中，物體不可避免地會變黑。為了在這種背光景像中用適當的明亮度感測照片，相機的曝光值必須被設置成感測相對較明亮的圖像(曝光校正)。但是，曝光校正不僅需要麻煩的操作而且還需要技巧。即使在合適的曝光值可以被設置用於物體時，背景也常常變得過亮。作為用於在其中難以合適地確定圖像明亮度的背光景像中獲得具有合適明亮度的圖像的模擬攝像技術，已知所謂的在暗室中進行的遮光。通過應用遮光，可以獲得具有合適明亮度的照片。作為在數字圖像處理中實現遮光的方法，已知例如報導Jobson等人的「AMultiscaleRetinexForBridgingtheGapBetweenColorImagesandtheHumanobservationofScenes」，IEEETRANSACTIONIMAGEPROCESSING，VOL.6，NO.7，JULY1997(參考文獻1)。在該方法中，在通過對數字圖像進行對數轉換(log-convert)獲得的分量與對數轉換後分量的低頻分量之間執行微分處理。然後，通過將數字圖像低頻範圍中的亮的分量處理為更暗些、並將低頻範圍中的暗的分量處理為更亮一些，圖像被改變成更好。還已知報導Reinhard等人的「PhotographicToneReproductionforDigitalImages」，acmTransactionsonGraphics，JULY2002，Vol.21，No.3。該報導還提出了在數字圖像處理中使用數字圖像的亮度分量及其低頻分量獲得類似遮光效果的方法。當然，曝光校正不限於靜止圖像，在運動圖像感測中也有類似的需求。因為運動圖像可以被看作是沿時間軸連續的一系列靜止圖像的集合，所以前面提到的圖像校正可以被容易地應用於運動圖像。但是，數字運動圖像數據的重放處理具有高的處理成本，並且要求重放裝置具有高的處理性能。此外，為了實現可以獲得類似遮光效果的圖像處理，低頻分量的提取處理等必須被添加到運動圖像的重放處理中，因此需要更高的處理成本和更高的處理性能。當然，這些要求會導致裝置的高價格。作為一種與該圖像處理相關聯的已知技術，已知一種在日本專利特開公告號2000-149014中描述的裝置。近年來，使用在個人計算機(PC)上運行的應用程式軟體來重放數字運動圖像數據是可能的。但是，中央處理單元(CPU)或圖像處理單元(GPU)都需要具有高的處理性能。如果處理性能不夠，那麼處理就不能被及時進行，並且在運動圖像重放時一些幀不會被重放，從而導致所謂的掉幀。就數字運動圖像數據的處理負荷的減少而言，已知在日本專利特開公告號2002-77723中描述的技術。該技術基於編碼時的差異圖像來檢測景像變化，確定在景像變化時使用預定圖像的校正方法，並應用該確定的校正方法直到下一個景像變化。但是，該技術不能被應用於獲得類似遮光效果的圖像處理。
發明內容本發明的第一方面公開了(權利要求1)一種對運動圖像數據的幀圖像執行色彩校正的方法，該方法包括以下步驟檢測在色彩校正的目標幀圖像中的轉變區；根據檢測出的轉變區在目標幀圖像中設置其中低頻數據將被更新的更新區；根據目標幀圖像的圖像數據產生更新區的低頻數據；以及根據參考幀圖像的低頻數據和更新區的低頻數據產生目標幀圖像的低頻數據，並對目標幀圖像執行色彩校正。根據本發明，在進行運動圖像數據的幀圖像的色彩校正時的處理負荷可以被減少。根據下面結合附圖的描述，本發明的其它特徵和優點將變得清楚，其中在所有附圖中相同的標號指代相同或相似的部分。圖1是示出了圖像處理裝置的安排的框圖。圖2是用於說明色彩校正處理的流程圖；圖3是概念性地示出了色彩校正處理與各個數據之間關係的圖；圖4是用於說明作為具有轉變信息的運動圖像示例的MPEG運動圖像壓縮方法的圖；圖5是用於說明在幀圖像具有參考關係時亮度分量圖像和低頻亮度分量圖像的更新處理的圖；圖6是用於更詳細地說明圖5所示圖像區的圖；圖7是示出了運動圖像色彩校正處理的細節的流程圖；圖8是示出了根據第二實施例的運動圖像色彩校正處理的流程圖；圖9是示出了根據第三實施例的運動圖像色彩校正處理的流程圖；圖10是用於說明圖9所示的第二色彩校正處理的流程圖；圖11示出了區判斷地圖的示例；圖12是示出了根據第三實施例的運動圖像色彩校正處理的修改的流程圖；圖13是示出了根據第四實施例的運動圖像色彩校正處理的流程圖；以及圖14是示出了根據第四實施例的修改的運動圖像色彩校正處理的流程圖。具體實施例方式下面將參照附圖詳細地描述根據本發明優選實施例的圖像處理。第一實施例[裝置的安排]圖1是示出了圖像處理裝置的安排的框圖。CPU104通過使用RAM106作為工作存儲器執行存儲在ROM105中的程序而經由系統總線108控制將在後面描述的各個部件，從而實現將在後面描述的圖像處理等。將在後面描述的圖像處理等所需的程序和數據被存儲在數據存儲單元102或ROM105中。這些程序和數據被暫時裝載到RAM106上，然後被執行。輸入單元101輸入來自操作鍵盤和指示設備的用戶的指令和數據。指示設備包括滑鼠、跟蹤球、跟蹤板、寫字板(tablet)等。在該實施例被應用於數位相機時，安裝在數位相機操作單元上的按鈕、模式旋鈕等對應於輸入單元101。當然，鍵盤(所謂的軟鍵盤)可以被顯示在顯示單元103(將在後面描述)上以通過操作按鈕或模式旋鈕或前面提到的指示設備來輸入字符。數據存儲單元102是用於保存運動圖像數據等的存儲器，通常優選地包括例如硬碟、CD-ROM、CD-R、DVD、存儲卡、USB存儲器等的可移動存儲介質。數據存儲單元102除了可以存儲圖像數據之外，還可以存儲程序和其它數據。通信單元107是使裝置之間進行通信的接口。例如，通信單元107包括有線的或無線的網絡接口，例如通用串行總線(USB)、IEEE1394等的串行總線接口，紅外線通信(IrDA)接口，等等。當然，經由電話線等的通信可以使用，並且通信單元107在這種情況下包括數據機。顯示單元103顯示圖像處理之前和之後的運動圖像、用戶界面的圖像等等，並且通常使用CRT、液晶顯示器等等。當然，顯示單元103可以包括視頻接口，並且可以經由電纜將運動圖像和用戶界面顯示在外部顯示器上。注意，圖1圖示了包括輸入單元101、數據存儲單元102和顯示單元103的全部的單個裝置的安排示例。可替換地，這些單元可以基於已知的通信方法經由通信路徑被連接，並且可以整體形成圖1所示的安排。當根據預定格式具有幀間轉變信息的運動圖像數據被存儲在數據存儲單元102中時，第一實施例的圖像處理裝置會適當地起作用。但是，運動圖像數據可以經由通信單元107而從外部接收，並且所接收的運動圖像數據可以被存儲在數據存儲單元102或RAM106中，從而實現將在後面描述的圖像處理。在這種情況下，處理可以在所有的運動圖像數據被接收之後被進行，或者已經接收的運動圖像數據可以與運動圖像數據的接收並行地被處理。此外，如果可以確保在RAM106上有大到足以存儲中間圖像(亮度分量圖像)等的存儲容量，那麼數據存儲單元102就可以被省略。或者，當CPU104執行幀間轉變信息檢測處理的程序以產生幀間轉變信息時，接收自具有CCD等的圖像輸入裝置的運動圖像數據可以經受圖像處理。幀間轉變信息檢測處理可以使用例如已知的運動向量產生處理。由CPU104執行且將被應用於靜止圖像或運動圖像的幀的色彩校正處理將被首先描述，然後再描述運動圖像的色彩校正處理。圖2是用於說明色彩校正處理的流程圖，下面將概述該色彩校正處理。例如，圖像被從數據存儲單元102輸入(S201)，然後輸入圖像的亮度分布被檢查以產生亮度圖像(S202)。二維濾波處理被應用於亮度圖像，以提取低頻分量從而產生低頻分量的亮度圖像(以下稱之為低頻亮度圖像)(S203)。亮度圖像和低頻亮度圖像被與多個解析度相一致地產生，並且原始圖像將被參照處於多個解析度的亮度圖像和低頻亮度圖像來進行色彩校正(S204)，從而輸出色彩校正後的圖像(S205)。例如，當輸入圖像通過IEC61966-2-1中所述的sRGB色彩空間表達時，輸入圖像亮度分量的提取處理(S202)遵循在IEC61966-2-1中描述的方法。即，輸入圖像通過伽馬轉換和3×3矩陣運算而被轉換成CIE1931XYZ色彩空間上的圖像。使X(x，y)、Y(x，y)和Z(x，y)為於位置(x，y)處轉換像素值R(x，y)、G(x，y)和B(x，y)時的數據。那麼，Y(x，y)是將被提取的亮度分量，而X(x，y)和Z(x，y)是色彩分量。在該亮度提取的硬體實現情況中，例如，這種提取電路包括使用查找表和矩陣運算電路的表查找電路(伽馬轉換單元)。作為亮度分量的提取方法，前面提到的處理可以被簡化，並且亮度分量可以省去伽馬轉換而僅僅通過矩陣運算而被提取。此外，使用下面的色彩空間替換CIE1931XYZ色彩空間，相應的色彩空間轉換就可以被使用。色彩空間轉換可以使用由相關標準等指定的一個，但是它可使用近似計算。例如，所指定的在YCbCr色彩空間上從RGB值到Y值的轉換使用由下式給出的轉換公式來表示Y＝0.299R+0.587G+0.114B....(1)取代該公式，轉換可以使用由下式給出的近似公式Y＝(3R+6G+B)/10....(2)此外，RGB信號值的G值可以被用作亮度分量的近似值，或者RGB分量的平均值或最大值可以被用作亮度值。在第一實施例的描述中，假設輸入圖像通過sRGB色彩空間表達。但是，即使在圖像由除sRGB之外的RGB色彩空間(例如AdobeRGB色彩空間、RIM/ROMMRGB色彩空間等)表達時，它可以根據各個色彩空間的定義而被轉換成CIE1931XYZ(或前面描述的其它色彩空間)上的圖像。色彩空間可以根據每個色彩空間的定義或轉換公式或者使用ICC簡檔(profile)等而被轉換。這種方法在輸入圖像由獨立於設備的RGB值(設備RGB值)表達且不能使用簡單的轉換公式被轉換時是尤其有效的。此外，當輸入圖像由例如sYCC取代RGB表達時，它可以使用轉換公式而從sYCC轉換成CIE1931XYZ(或者上述的其它色彩空間)或者使用ICC簡檔等轉換。但是，當原始圖像由sYCC表達並且YCbCr的Y被用作亮度分量時，即在原始色彩空間匹配於亮度分量的色彩空間時，原始圖像的Y值只需要被簡單提取，並且對色彩空間轉換處理的需要就可以被免除了。接下來，低頻亮度分量提取處理(S203)被使用已知的低頻濾波處理來實現。根據上面作為色彩校正處理(S204)的示例而被描述的基於參考文獻1的方法，亮度分量和被按比例轉換的亮度分量的分布被進行對數轉換，並且它們的差異被輸出。而且，不同比例(不同解析度)下的差異輸出的加權平均被定義為改進的亮度分量。該方法不能根據圖像調整改進程度。在本實施例中，被按比例轉換的亮度分量的對數轉換輸出被乘以一個係數。該係數是調整改進程度的參數。基於上述處理的改進的亮度分量由下式給出Y′(x，y)＝∑nWn{γ0·logY(x，y)-γ1·log[Fn(x，y)*Y(x，y)]}...(3)其中，Y』(x，y)是具有坐標值(x，y)的改進的亮度分量，Fn(x，y)是在坐標值(x，y)處的高斯函數，Wn是比例之間的權重，n是指示比例的參數，γ0是指示改進程度的參數0，γ1是指示改進程度的參數1，以及*是積和運算。注意，比例之間的權重Wn可以通過調整比例的標準偏差而被省略(由簡單取平均來替換)。此外，就圖像數據的圖像質量而言，通過逆轉換(指數運算)將圖像數據重新轉換成原始亮度單元比不象公式(3)中那樣輸出對數轉換後的值優選。因此，更優選的是將由下式給出的輸出定義為改進的亮度分量Y′(x，y)＝exp(γ0·logY(x，y)-γ1·Ave[log(Fn(x，y)*Y(x，y))]}...(4)其中，Ave是平均值運算。取代公式(4)，公式(5)可以被使用Y′(x，y)＝Y(x，y)γ0/{Ave[Fn(x，y)*Y(x，y)]}γ1...(5)注意，處於多個比例的按比例轉換後的輸出的平均值運算可以在低頻亮度分量的提取處理(S203)中進行，並且處於多個比例的按比例轉換後的輸出的平均值可以被定義為按比例轉換後的亮度分量的分布。或者，作為獲得與公式(4)或(5)類似的效果的公式，公式(6)可以被使用。Y′(x，y)＝Ave[Y(x，y)γ0/{Fn(x，y)*Y(x，y)}γ1]...(6)在向改進的亮度分量轉換的硬體實現的情況中，例如，這種轉換電路包括例如平均值運算電路、用於產生查找表的電路、表存儲電路、表查找電路(伽馬轉換單元)和除法電路。注意，平均值運算電路可以被安排在實現低頻亮度分量的提取的部分中。而且，在色彩校正處理(S204)中，色彩分量被根據向改進的亮度分量的轉換而被校正，使得處理之後圖像數據的色彩儘可能保持不變。優選地，例如，色彩分量X(x，y)和Z(x，y)被分別乘以轉換之後和之後的亮度分量的比Y，(x，y)/Y(x，y)(以下稱之為校正比)。但是，容易簡化處理。例如，只有Y(x，y)通過公式(5)或(6)被轉換到Y』(x，y)，而沒有轉換被應用到色彩分量X(x，y)和Z(x，y)。轉換後的XYZ數據的色彩空間被轉換以獲得sRGB數據。該處理是步驟S202中的色彩空間轉換的逆轉換。因此，3×3矩陣運算和逆伽馬轉換被進行以輸出圖像，該圖像的sRGB分量分別具有8個比特(S205)。在圖像數據的這種重構的硬體實現中，例如，這種重構電路包括乘法和除法電路、矩陣運算電路和使用查找表的表查找電路(逆伽馬轉換單元)。或者，校正比Y』(x，y)/Y(x，y)可以通過上述方法計算，並且輸入圖像的sRGB分量可以被分別乘以該比。圖3概念性地示出了色彩校正處理與各個數據之間的關係。亮度部分圖像402被從sRGB輸入圖像401中提取出來，然後通過低通濾波處理被轉換成低頻亮度分量圖像403。然後，改進的亮度值Y』被根據與輸入圖像401的像素411對應的低頻亮度分量圖像403的像素的Y值以及色彩校正參數405(對應於γ0、γ1等)而計算出來。此外，作為與輸入圖像401的像素411對應的亮度分量圖像402的像素412的亮度值Y的比的校正比Y』/Y被計算。然後，像素411的sRGB值被分別乘以校正比Y』/Y等等，以計算sRGB輸出圖像404的像素414的像素值。注意，像素412對應於公式(4)到(6)中的Y(x，y)，像素413對應於公式(4)到(6)中的Fn(x，y)*Y(x，y)。色彩校正參數405可以根據圖像處理系統而被預先設置，並且它們可以被應用。或者，可以準備多個色彩校正參數設置，因此用戶可以有選擇地設置這些參數。在這種情況下，這些參數設置可以以允許用戶容易地識別出色彩校正參數差異的形式而被顯示在顯示單元103上，所述參數差異例如「強」、「中」、「弱」等。當然，例如列表框、文本框、滑塊、按鈕等的GUI可以被顯示在顯示單元103上，用戶可以通過操作輸入單元101來選擇或輸入值。圖3圖示了輸入圖像401、亮度分量圖像402和低頻亮度分量圖像403具有相同的大小。但是，這些圖像的大小不需要匹配。也就是說，取樣可以在亮度分量和/或低頻亮度分量的提取中進行。在這種情況下，亮度分量圖像402和低頻亮度分量圖像403可以在上述處理的執行之前通過已知的可變放大處理被轉換成具有與輸入圖像401相同的大小。亮度分量圖像402可以是產生低頻亮度分量圖像403所需的中間圖像數據，並且亮度分量可以在色彩校正時從輸入圖像401中被重新提取。圖4是用於說明作為具有轉變信息的運動圖像的示例的MPEG運動圖像壓縮方法的圖。將通過MPEG編碼被編碼的幀被分成稱為內部圖片(I圖片)、預測圖片(P圖片)和雙向預測圖片(B圖片)的三種圖片類型，如圖4所示。I圖片幀可以僅僅通過幀間編碼而不參照其它幀的信息被編碼/解碼，但是其具有大的代碼大小。P圖片幀經受對差異進行編碼的幀間預測編碼，並且具有比I圖片更小的代碼大小，所述差異是通過使用先前一個或多個幀的在前I或P圖片幀進行運動補償預測獲得的。B圖片幀經受雙向幀間預測編碼，該編碼不僅根據先前的幀而且根據隨後的I或P圖片幀進行預測，並且具有比P圖片還小的代碼大小。為了增加編碼效率，可能主要使用P和B圖片。但是，考慮到例如搜索等的重放、編輯以及從錯誤恢復，I圖片在編碼時被以適當間隔插入，如在例如圖4中所示。如圖4所示，包括I圖片的多個幀的單元被叫做GOP(圖片組)。圖4中示出的箭頭指示幀的參考關係。因為P和I圖片幀在MPEG編碼時將被參考，所以一個先前的或隨後的I或P圖片幀只需要相對於當前被解碼的B圖片被呈現。也就是說，使幀(T0)和幀(T1)為先前的I或P圖片和隨後的I或P圖片的解碼結果的幀圖像。然後，就得到了下面的關係。·當前將被解碼的幀是I圖片幀幀(T1)被丟棄，並且當前幀的解碼結果被設置為新的幀(T1)。幀(T0)可以被丟棄。·當前將被解碼的幀是P圖片幀幀(T0)被丟棄，並且當前幀(T1)被設置為新的幀(T0)。而且，當前幀的解碼結果被設置為幀(T1)。在第一實施例中，在運動圖像重放時，幀圖像即被解碼，並且每一幀圖像的亮度分量圖像和低頻亮度分量圖像被產生以執行對幀圖像的色彩校正處理。這些亮度分量圖像與前面提到的幀圖像的解碼(產生)和丟棄同時地產生和丟棄。即，根據運動圖像數據編碼方法，亮度分量圖像在幀圖像的解碼(產生)處理之後或者並行地被產生。然後，低頻亮度圖像被產生，並且相應的亮度分量圖像和低頻亮度分量圖像在幀圖像的丟棄之後或者並行地被丟棄。在沒有被編碼的運動圖像數據的情況中，亮度分量圖像根據該幀圖像的存儲格式在該幀圖像的提取之後或者並行地被產生，然後低頻亮度分量圖像被產生。相應的亮度分量圖像和低頻亮度分量圖像在幀圖像的丟棄之後或者並行地被丟棄。當運動圖像數據經由通信單元107從外部接收時，前面提到的解碼(產生)或提取在需要時包括幀圖像的請求或接收。圖5是用於說明在幀圖像具有參考關係時亮度分量圖像和低頻亮度分量圖像的更新處理的圖，並且示出了在色彩校正處理中使用的幀圖像與圖像數據之間的關係。參考幀圖像501是將由將被色彩校正的幀圖像511(以下將稱作色彩校正幀圖像)參考的幀圖像，並且在MPEG情況中為I或P圖片幀圖像。色彩校正幀圖像511是將被當前色彩校正的幀圖像，並且是通過對P或B圖片幀進行解碼而獲得的圖像。參考幀的亮度分量圖像502是通過從參考幀圖像501中提取亮度分量而獲得的。參考幀的低頻亮度分量圖像503是通過對參考幀的亮度分量圖像502應用低通濾波處理獲得的。同樣，色彩校正幀的亮度分量圖像512是通過從色彩校正幀圖像511中提取亮度分量獲得的。此外，色彩校正幀的低頻亮度分量圖像513是通過對色彩校正幀的亮度分量圖像512應用低通濾波處理獲得的。假設色彩校正幀511中的給定圖像區532參照參考幀圖像501中的圖像區531。為了簡化，假設色彩校正幀圖像511中除圖像區532之外的像素與參考幀圖像501中處於相同位置的那些像素相同，並且既沒有位置改變也沒有像素值改變。參考幀的亮度分量圖像502中的圖像區534以及色彩校正幀的亮度分量圖像512中的圖像區536就位置而言對應於圖像區532。同樣，參考幀的亮度分量圖像502中的圖像區533就位置而言對應於圖像區531。此外，色彩校正幀的低頻亮度分量圖像513中的圖像區541就位置而言對應於圖像區536。同樣，參考幀的低頻亮度分量圖像503中的圖像區539就位置而言對應於圖像區534。另一方面，色彩校正幀的低頻亮度分量圖像中的圖像區540在低頻亮度分量的提取時即受到圖像區536中像素亮度值的影響。參考幀的低頻亮度分量圖像503中的圖像區538就位置而言對應於圖像區540。同樣，色彩校正幀的亮度分量圖像512中的圖像區537在圖像區540的低頻分量的提取時即被參考。參考幀的亮度分量圖像502中的圖像區535就位置而言對應於圖像區537。圖6是用於更詳細地說明圖5所示圖像區的圖，圖6中最小的矩形的陣列指示像素。假設3×3濾波處理將被應用於圖像。在這種情況下，像素711的處理參照圖像區702中的像素被進行。這時，作為圖像區701中的像素，像素712被參考。換句話說，像素711的濾波處理結果取決於像素712。同樣，如可以根據上述描述看出的，在圖像區701周圍，其濾波處理結果取決於圖像區701中的像素的區是圖像區703。換句話說，當圖像區701中的像素值已經變化時，圖像區703中的像素值必須被更新。如果濾波形狀被確定並且圖像區701的形狀也被確定，那麼圖像區703也被唯一確定。此外，圖像區704在圖像區703中的像素的濾波處理時被參考，並且在濾波形狀被確定且圖像區703的形狀也被確定時被唯一確定。注意，濾波形狀不限於3×3矩形，而是它可以是其它形狀和大小。例如，濾波形狀不需要總是具有相同的豎直和水平大小，並且豎直或水平大小不需要總是由奇數個像素表示。當然，濾波不需要總是為矩形，而是可以具有任意形狀和大小。現在回去參照圖5，假設圖像區532參考圖像區531。此外，假設色彩校正圖像幀511中除圖像區532之外的像素與參考幀圖像501中處於相同位置的那些像素相同，並且既沒有位置改變也沒有像素值改變。在這種情況下，關於色彩校正幀的亮度分量圖像512中除圖像區536之外的像素，處於參考幀的亮度分量圖像502中相同位置的像素值被參考(或者被複製)。關於圖像區536，亮度分量可以被從圖像區532中提取。關於色彩校正幀的低頻亮度分量圖像513中除圖像區540之外的像素，處於參考幀的低頻亮度分量圖像503中相同位置的像素值被參考(或者被複製)。關於圖像區540，低頻亮度分量可以被從更新後的色彩校正幀的亮度分量圖像512的圖像區537中提取。在上面的描述中，色彩校正幀圖像僅僅參考一個幀圖像。但是，當多個幀圖像被參考，如MPEG的B圖片幀那樣時，前面提到的更新處理就可以被應用。下面的描述將在如下的假設之下給出，所述假設即輸入圖像和色彩校正之後的輸出圖像由sRGB色彩空間指定，並且亮度和色調由通過轉換sRGB獲得的sYCC色彩空間指定。此外，在下面的描述中，一種類型的低頻分量圖像被用在色彩校正中。圖7是示出了將由CPU104執行的運動圖像色彩校正處理的細節的流程圖。圖7中相同的標號指代與圖2中相同的過程，並且其詳細描述通常被省略。在下面的描述中，MPEG數據被用作具有幀間轉變信息的運動圖像數據。在將在下面描述的處理之前，CPU104執行用於在步驟S201中對MPEG數據進行解碼的處理。如果有色彩校正幀圖像(P或B圖片幀)和參考圖像(I或B圖片幀)，那麼參考幀圖像被解碼，並被存儲在RAM106或數據存儲單元102中。注意，色彩校正幀的亮度分量圖像和低頻亮度分量圖像以及參考幀的亮度分量圖像和低頻亮度分量圖像的產生將在下面描述，而這些圖像的丟棄的描述將不被具體說明。如上所述，這些圖像在丟棄相應的幀圖像時即被丟棄。CPU104判斷色彩校正幀是否參考另一個幀(S301)。在MPEG數據的情況下，色彩校正幀的圖片類型被檢查，並且如果圖片類型是I圖片，那麼判斷為該幀不參考另一個幀；如果圖片類型是P或B圖片，那麼判斷為該幀參考另一個幀。注意，該判斷處理可以通過根據MPEG標準檢查MPEG數據而被實現。但是，優選地，在色彩校正處理之前的解碼處理時對各個幀的判斷結果被存儲在RAM106中，並且存儲在RAM106中的判斷結果被參考。在不參考另一個幀的色彩校正幀的情況中，CPU104從整個色彩校正幀圖像中提取亮度分量以產生色彩校正幀的亮度分量圖像，其被保存在RAM106或數據存儲單元102中(S307)，如在步驟S202中一樣。隨後，CPU104從色彩校正幀的亮度分量圖像中提取低頻亮度分量以產生色彩校正幀的低頻亮度分量圖像，其被保存在RAM106或數據存儲單元102中(S308)，如在步驟S203中一樣。CPU104使用亮度分量圖像和色彩校正幀的低頻亮度分量圖像對色彩校正幀圖像進行色彩校正(S306)，如在步驟S204中一樣。另一方面，在參考另一個幀的色彩校正幀的情況中，CPU104參照色彩校正幀圖像與參考幀圖像之間的轉變信息檢測包括色彩校正圖像轉變的圖像區(以下將被稱為轉變區)(S302)。在MPEG數據的情況中，轉變區可以參照運動向量作為轉變信息而被檢測。也就是說，在MPEG數據的情況中，色彩校正幀圖像被分段成塊，並且運動向量被分配給各個塊。因此，通過檢查每個運動向量，對於與參考幀圖像的相應塊相比沒有位置和像素值轉變的塊，判斷出沒有運動；否則，檢測出有運動。或者，指示可允許值的閾值可以被設置為運動向量的位置和像素值的轉變量。如果轉變量等於或小於閾值，那麼可以判斷出沒有運動；否則，判斷出有運動。注意，塊的運動向量和它們的轉變信息可以通過根據MPEG標準檢查MPEG數據而獲得。優選地，這些信息塊可以被存儲在RAM106中在解碼處理時用於各個幀，並且運動的有/無可以參照存儲在RAM106中的信息來判斷。接下來，CPU104確定必須被更新的圖像區(以下稱為更新圖像區)(S303)。該處理根據圖5中的圖像區541確定低頻亮度分量圖像513中將被更新的圖像區540。因為這些區的確定方法已經使用圖6進行了描述，所以其詳細描述將被省略。在這種情況下，更新圖像區被確定為具有在步驟S302檢測到的轉變的塊。CPU104然後提取轉變區的亮度分量(S304)。在該處理中，圖5中圖像區536的亮度值被計算。圖像區536的亮度分量被參照存儲於RAM106或數據存儲單元102中的色彩校正幀圖像511的圖像區532來計算。注意，步驟S304中的處理基本上與圖2所示步驟S202中的相同，不同的只是輸入為轉變區(部分圖像)。也就是說，與步驟S202中相同的處理被執行以使圖像區532作為輸入來獲得圖像區536的亮度分量圖像(部分亮度部分圖像)。在該處理中，在RAM106或數據存儲單元102上確保用於存儲色彩校正幀的亮度分量圖像的區域。色彩校正幀的亮度分量圖像沒有任何轉變的圖像區，即除圖5所示亮度分量圖像512的轉變區536之外的圖像區通過複製參考幀的亮度分量圖像502的相應亮度像素值而被存儲。此外，轉變區536通過記錄在步驟S304中產生的亮度分量的像素值而被保存。CPU104然後提取在步驟S303中確定的更新圖像區的低頻亮度分量(S305)。在該處理中，圖5中圖像區540的低頻亮度分量的像素值被計算。圖像區540的低頻亮度分量被參照色彩校正幀圖像512的圖像區537來計算，所述圖像區537在步驟S304中被產生並且被存儲在RAM106或數據存儲單元102中。注意，步驟S305中的處理與圖2所示步驟S203中的處理基本上相同，不同的只是輸入為色彩校正幀圖像的亮度分量圖像的部分圖像。也就是說，與步驟S203中相同的處理被執行以使圖像區537作為輸入，從而獲得了圖像區540的低頻亮度分量圖像。在該處理中，在RAM106或數據存儲單元102上確保有用於存儲色彩校正幀的低頻亮度分量圖像的區域。色彩校正幀的低頻亮度分量圖像中不需要任何更新處理的圖像區，即除圖5所示低頻亮度分量圖像513的更新圖像區540之外的圖像區，通過複製參考幀的低頻亮度分量圖像503的相應低頻亮度像素值而被存儲。然後，更新圖像區540通過記錄在步驟S305中產生的低頻亮度分量的像素值而被保存。也就是說，在步驟S304中轉變區的亮度分量被從色彩校正幀圖像中提取，並且被與參考幀圖像的那些分量組合，從而產生了色彩校正幀的亮度分量圖像。然後，在步驟S305，更新圖像區的低頻亮度分量被從在步驟S304中產生的亮度分量圖像中提取，並且被與參考幀圖像的低頻亮度分量組合，從而產生色彩校正幀的低頻亮度分量圖像。使用亮度分量圖像和以這種方式產生的色彩校正幀的低頻亮度分量圖像，色彩校正幀圖像被進行色彩校正(S306)，如在步驟S204中一樣。一旦使用亮度分量和低頻亮度分量進行了運動圖像的色彩校正，這些分量就只被從將被更新的區(轉變區和更新圖像區)中提取，從而減小了色彩校正的處理負荷。特別是，當具有相對較小轉變的運動圖像例如監視相機等的運動圖像將被進行色彩校正時，處理負荷可以被有效地減小。第二實施例下面將描述根據本發明第二實施例的圖像處理。注意，第二實施例中相同的標號指代與第一實施例中相同的部分，並且其詳細描述將被省略。第一實施例已經例示了其中色彩校正幀是否參考另一個幀被簡單判斷來控制分支到第一處理(S307和S308)和第二處理(S302到S305)的處理的情況。但是，當存在許多幀間轉變時，在只處理轉變區的第二處理上的處理負荷經常變得比處理整理整個色彩校正圖像的第一處理上的處理負荷更重。因此，將說明在參考另一個幀的色彩校正幀的情況中增加了另一個判斷處理、並且基於判斷結果控制分支到第一或第二處理的處理的第二實施例。圖8是示出了根據第二實施例的運動圖像色彩校正處理的流程圖。圖8中相同的步驟號碼指代與圖2和圖7中的那些相同的過程，並且其詳細描述將被省略。在下面的描述中，MPEG數據被用作具有幀間轉變信息的運動圖像數據。如圖8所示，在於步驟S302檢測到轉變區之後，CPU104判斷轉變區是否小(S310)。如果轉變區小，那麼第二處理被執行；否則，第一處理被執行。在MPEG數據的情況中，轉變區是否小是通過檢查具有轉變的塊的數量並將其與預定閾值相比來判斷的，因為作為轉變信息的運動向量被分配給具有固定大小的每個圖像塊。或者，具有轉變的像素的數量可以被獲得，並且其中具有轉變的像素數量小於預定值的塊可以被判斷為沒有轉變的塊。每個塊的運動向量被檢查以在即使沒有位置轉變發生時判斷其位置和方向是否已經轉變或者塊差異信息是否已經轉變，從而檢測該塊的轉變，並計數轉變從其被檢測的塊的數量。塊的運動向量和它們的轉變信息可以通過根據MPEG標準檢查MPEG數據而被獲得。優選地，這些信息塊可以被存儲在RAM106中在解碼處理時用於各個幀，並且存儲在RAM106中的信息可以被參考。注意，閾值可以根據經驗來確定，並且可以被存儲在ROM105或數據存儲單元102中。或者，用戶可以指定閾值。在這種情況下，在圖8所示的處理之前，例如列表框、文本框、滑塊、按鈕等的GUI可以被顯示在顯示單元103上，並且用戶可以通過操作輸入單元101來選擇或輸入閾值。當然，用戶的閾值指定可以根據圖8所示的處理而被單獨接受，並且用戶指定的值可以在步驟S310的判斷處理中從RAM106等被加載。步驟S310中的判斷處理判斷在處理部分圖像時的容易性，即，第二處理的後面階段(S303到S306)上的處理負荷是否很重。只有當判斷出處理負荷輕時，第二處理的後面階段才被執行。因此，本發明不限於前面提到的判斷方法，而是可以採用任何其它方法，只要第二處理後面階段上的處理負荷可以被估計和判斷即可。以這種方式，除了關於色彩校正幀是否參考另一個幀的判斷之外，判斷轉變區是否小以選擇處理色彩校正幀圖像的第一或第二處理，從而與第一實施例相比進一步有效地減小了處理負荷。第三實施例下面將描述根據本發明第三實施例的圖像處理。注意，第三實施例中的相同標號指代與第一和第二實施例中相同的部件，並且其詳細描述將被省略。圖9是示出了根據第三實施例的運動圖像色彩校正處理的流程圖。圖9中相同的步驟標號指代與圖2、7和8中的那些相同的過程，並且其詳細描述將被省略。在下面的描述中，MPEG數據被用作具有幀間轉變信息的運動圖像數據。在不參考另一個幀的色彩校正幀的情況中，色彩校正幀圖像被使用亮度分量圖像和色彩校正圖像的低頻亮度分量圖像而被進行色彩校正(S320)，如在步驟S204中一樣。該處理以下將被稱為第一色彩校正處理。另一方面，參考另一個幀的幀的色彩校正(S321)參照參考幀的亮度分量圖像和低頻亮度分量圖像、或者在步驟S303產生的部分亮度分量圖像和在步驟S304產生的部分低頻亮度分量圖像而被進行。該處理以下將被稱為第二色彩校正處理。圖10是用於說明第二色彩校正處理的流程圖。將被進行色彩校正的像素(以下稱為感興趣像素)被初始化為圖像的第一像素(S901)，並且判斷感興趣像素是否落在於步驟S302中檢測出的轉變區內(S902)。該處理對應於關於感興趣像素是否落在圖5所示圖像區535或537內的判斷，並且可以通過將感興趣像素的坐標值與指示步驟S302中檢測出的轉變區的坐標值相比來實現。如果感興趣像素落在轉變區內，那麼與感興趣像素位置相應的亮度分量的像素值被根據部分亮度分量圖像讀出(S903)。另一方面，如果感興趣像素落在轉變區外，那麼與感興趣像素位置相應的亮度分量的像素值被根據參考幀的亮度分量圖像讀出(S904)。然後判斷感興趣像素是否落在步驟S303中確定的將被更新的區內(D905)。該處理對應於關於感興趣像素是否落在圖5所示圖像區538或540內的判斷，並且可以通過將感興趣像素的坐標值與指示步驟S303中確定的將被更新的區的坐標值相比較來實現。如果感興趣像素落在將被更新的區內，那麼與感興趣像素的位置相應的低頻亮度分量的像素值被根據部分低頻亮度分量圖像讀出(S906)。另一方面，如果感興趣像素落在將被更新的區之外，那麼與感興趣像素位置相應的低頻亮度分量的像素值被根據參考幀的低頻亮度分量圖像讀出(S907)。感興趣像素的像素值通過公式(4)到(6)之一使用亮度分量和低頻亮度分量的像素值而被進行色彩校正(S908)。然後判斷所有像素的處理是否已經完成(S909)。如果將被處理的像素仍舊存在，那麼下一個像素被選擇為感興趣像素(S910)，並且流程返回到步驟S902。之後，步驟S902到S910被重複直到所有像素的處理都已完成。在上面的描述中，步驟S902和S905中的在內部/在外部判斷過程是基於區的坐標值和感興趣像素的坐標值而作出的。可替換地，圖11中所述的區判斷地圖1001可以被並行於步驟S302和S303中的過程產生，並且判斷可以參照區判斷地圖1001來進行。在圖11所示的區判斷地圖1001中，標號1002指代將被更新的區；1003指代轉變區。例如，值「2」被記錄在轉變區1003的各個像素中，值「1」被記錄在通過從將被更新的區1002中除去轉變區1003後獲得的區的像素中，值「0」被記錄在其它像素中。如果與感興趣像素位置相應的區判斷地圖1001的像素值為「2」，那麼在步驟S902判斷出感興趣像素落在轉變區內；否則，判斷出感興趣像素落在轉變區之外。同樣，如果與感興趣像素位置相應的區判斷地圖1001的像素值為「0」，那麼在步驟S905判斷出感興趣像素落在將被更新的區之外；否則，判斷出感興趣像素落在將被更新的區內。當然，與轉變區相關聯的區地圖和與將被更新的區相關聯的區地圖可以被單獨產生。以這種方式，一旦使用亮度分量和低頻亮度分量對運動圖像進行了色彩校正，這些分量就只被從將被更新的區(轉變區和更新圖像區)中提取，從而減小了色彩校正的處理負荷。此外，如圖12所示，第二實施例(圖8)中關於轉變區是否小的判斷也可以被添加到圖10所示的處理中以選擇處理色彩校正幀圖像的第一或第二處理，從而與圖10所示的處理相比進一步有效地減小了處理負荷。第四實施例下面將描述根據本發明第四實施例的圖像處理。注意，第四實施例中的相同標號指代與第一到第三實施例中相同的部件，並且其詳細描述將被省略。圖13是示出了根據第四實施例的運動圖像色彩校正處理的流程圖。圖13中的相同步驟標號指代與圖2、7和9中的那些相同的過程，並且其詳細描述將被省略。在下面的描述中，MPEG數據將被用作具有幀間轉變信息的運動圖像數據。在不參考另一個幀的色彩校正幀的情況下，第一色彩校正處理使用亮度分量圖像和色彩校正幀的低頻亮度分量圖像被應用於色彩校正幀圖像(S320)，如在步驟S204一樣。另一方面，參考另一個幀的幀的被色彩校正後的部分圖像被如下獲得。第二色彩校正處理參照參考幀的亮度分量圖像和低頻亮度分量圖像或者在步驟S303中產生的部分亮度分量圖像和在步驟S304中產生的部分低頻亮度分量圖像而被應用於色彩校正幀圖像中將被更新的區。通過該處理，獲得了色彩校正後的部分圖像(S330)。色彩校正後的部分圖像和參考幀的色彩校正後的圖像被組合以獲得色彩校正幀圖像的色彩校正結果(S331)。為了這一目的，在RAM106或數據存儲單元102上確保有用於存儲色彩校正後的幀圖像的區域，並且將被更新的區的色彩校正後的部分圖像被覆寫在參考幀的色彩校正後的圖像上。以這種方式，在使用亮度分量和低頻亮度分量對運動圖像進行色彩校正之後，這些分量即被只從將被更新的區(轉變區和更新圖像區)中提取出來，從而減小了色彩校正的處理負荷。第四實施例已經例示了其中參考幀的色彩校正後的圖像被存儲、並且其被與通過第二色彩校正處理獲得的色彩校正後的部分圖像組合的情況。但是，色彩校正可以使用參考幀圖像或色彩校正幀圖像、參考幀的亮度分量圖像和低頻亮度分量圖像之一來進行，並且該色彩校正結果的圖像可以與通過第二色彩校正處理獲得的部分圖像組合。通過這種處理，可以被參考的幀的色彩校正後的圖像不需要被存儲在RAM106或數據存儲單元102中。也就是說，雖然因為增加了色彩校正處理而使得處理負荷變得比第四實施例的處理更重，但是可以被參考的幀的色彩校正後的圖像不需要被保存，從而相應地減小了存儲器大小。此外，如圖14所示，第二實施例(圖8)中關於轉變區是否小的判斷也可以被添加到圖13所示的處理中以選擇處理色彩校正幀圖像的第一或第二處理，從而與圖13所示的處理相比進一步有效地減小了處理負荷。實施例的修改上面描述的實施例已經說明了用MPEG編碼的運動圖像數據作為具有轉變信息的運動圖像數據的示例。但是，前面提到的圖像處理可以被容易地應用於其它格式的運動圖像數據，只要它們具有幀間轉變信息即可。在上面的描述中，轉變區的亮度分量圖像是通過參考色彩校正幀圖像獲得的。可替換地，被該色彩校正幀參考的參考幀可以被參考。因為MPEG數據具有每個塊的旋轉和差異信息，所以參考幀圖像在旋轉和差異被應用於參考幀圖像的參考塊之後被參考。在例如通過RGB線性轉換獲得的YCbCr的色彩空間的情況中，參考幀的亮度分量圖像的參考塊可以被使用。在這種情況下，亮度分量圖像的每個塊的轉變可以被容易地預測，因為色彩空間是通過線性轉換獲得的。其它實施例本發明可以應用到由多個設備(例如主計算機。接口、讀取器、印表機)構成的系統或包括單個設備的裝置(例如複印機、傳真機)。另外，本發明的目的也可以通過提供一種存儲用於對計算機系統或裝置執行(例如個人計算機)執行前述處理的程序代碼的存儲介質、由計算機系統或裝置的CPU或MPU從存儲介質讀取程序代碼並然後執行該程序來實現。在這種情況下，從存儲介質讀取的程序代碼實現根據各實施例的功能，且存儲程序代碼的存儲介質構成了本發明。另外，例如軟盤、硬碟、光碟、磁光碟、CD-ROM、CD-R、磁帶、非易失型存儲卡和ROM的存儲介質可用於提供程序代碼。另外，除了根據上述實施例的前述功能通過執行由計算機讀取的程序代碼而實現以外，本發明還包括這樣的情形，其中工作於計算機之上的OS(作業系統)等執行根據程序代碼的指示的部分或整個過程且實現根據上述實施例的功能。另外，本發明還包括這樣的情形，其中當從存儲介質讀取的程序代碼寫入插入到計算機中的功能擴展卡中或提供在連接到計算機的功能控制單元中的存儲器中後，包含在功能擴展卡或單元中的CPU等執行根據程序代碼的指示的部分或整個過程且實現上述實施例的功能。在其中本發明被應用到前述存儲介質的情況下，存儲介質存儲相應於各實施例中描述的流程圖的程序代碼。由於本發明的許多明顯廣泛範圍的不同實施例可以在不背離本發明精神和範圍的情況下作出，應當理解本發明不限於其特定實施例，而是由權利要求書進行限定。權利要求1.一種對運動圖像數據的幀圖像執行色彩校正的方法，包括以下步驟檢測在色彩校正的目標幀圖像中的轉變區；根據檢測出的轉變區在目標幀圖像中設置其中低頻數據將被更新的更新區；根據目標幀圖像的圖像數據產生更新區的低頻數據；以及根據參考幀圖像的低頻數據和更新區的低頻數據產生目標幀圖像的低頻數據，並對目標幀圖像執行色彩校正。2.根據權利要求1的方法，其中該產生和執行步驟通過合成參考幀圖像的低頻數據和更新區的低頻數據產生相應於整個目標幀圖像的低頻數據，並使用相應於整個目標幀圖像的低頻數據執行色彩校正。3.根據權利要求1的方法，其中該產生和執行步驟包括以下步驟判斷在更新區中是否存在感興趣像素；當在更新區中存在感興趣像素時，使用更新區的低頻數據產生感興趣像素的低頻數據，並使用產生的低頻數據對感興趣像素執行色彩校正；以及當在更新區中不存在感興趣像素時，從參考幀圖像的低頻數據中提取感興趣像素的低頻數據，並使用提取出的低頻數據對感興趣像素執行色彩校正。4.根據權利要求1的方法，其中該產生和執行步驟包括以下步驟判斷在更新區中是否存在感興趣像素；當在更新區中存在感興趣像素時，使用更新區的低頻數據產生感興趣像素的低頻數據，並使用產生的低頻數據對感興趣像素執行色彩校正；以及當在更新區中不存在感興趣像素時，讀出經受色彩校正的參考幀圖像的像素數據，作為經受色彩校正的感興趣像素的數據。5.根據權利要求1的方法，還包括步驟當在目標幀圖像中存在許多轉變區時，根據整個目標幀圖像的圖像數據產生整個目標幀圖像的低頻數據。6.根據權利要求1的方法，其中運動圖像數據是MPEG數據，且轉變區的檢測使用MPEG數據的幀間轉變信息。7.一種對運動圖像數據的幀圖像執行色彩校正的圖像處理裝置，包括檢測器，被安排來檢測在色彩校正的目標幀圖像中的轉變區；設置器，被安排來根據檢測出的轉變區在目標幀圖像中設置其中低頻數據將被更新的更新區；產生器，被安排來根據目標幀圖像的圖像數據產生更新區的低頻數據；以及處理器，被安排來根據參考幀圖像的低頻數據和更新區的低頻數據產生目標幀圖像的低頻數據，並對目標幀圖像執行色彩校正。8.根據權利要求7的裝置，其中所述處理器通過合成參考幀圖像的低頻數據和更新區的低頻數據產生相應於整個目標幀圖像的低頻數據，並使用相應於整個目標幀圖像的低頻數據執行色彩校正。9.根據權利要求7的裝置，其中所述處理器通過執行以下步驟執行色彩校正判斷在更新區中是否存在感興趣像素；當在更新區中存在感興趣像素時，使用更新區的低頻數據產生感興趣像素的低頻數據，並使用產生的低頻數據對感興趣像素執行色彩校正；以及當在更新區中不存在感興趣像素時，從參考幀圖像的低頻數據中提取感興趣像素的低頻數據，並使用提取出的低頻數據對感興趣像素執行色彩校正。10.根據權利要求7的裝置，其中所述處理器通過執行以下步驟來執行色彩校正判斷在更新區中是否存在感興趣像素；當在更新區中存在感興趣像素時，使用更新區的低頻數據產生感興趣像素的低頻數據，並使用產生的低頻數據對感興趣像素執行色彩校正；以及當在更新區中不存在感興趣像素時，讀出經受色彩校正的參考幀圖像的像素數據，作為經受色彩校正的感興趣像素的數據。11.根據權利要求7的裝置，其中，所述產生器當在目標幀圖像中存在許多轉變區時，根據整個目標幀圖像的圖像數據產生整個目標幀圖像的低頻數據。12.根據權利要求7的裝置，其中運動圖像數據是MPEG數據，且所述檢測器使用MPEG數據的幀間轉變信息檢測轉變區。全文摘要為了實現可以獲得類似遮光效果的運動圖像數據的圖像處理，低頻分量的提取處理必須被添加到運動圖像的重放處理中，從而需要高的處理成本和高的處理性能。因此，在不參考另一個幀的色彩校正幀的情況中，亮度分量被從整個色彩校正幀圖像中提取出來以產生亮度分量圖像和低頻亮度分量圖像。色彩校正幀圖像使用亮度分量圖像和低頻亮度分量圖像而被進行色彩校正。另一方面，在參考另一個幀的色彩校正幀的情況中，色彩校正幀圖像的轉變區被檢測，並且其中低頻亮度分量圖像必須被更新的更新圖像區被基於該區確定。轉變區的亮度分量被從色彩校正幀圖像中提取，並且被與參考幀圖像的那些分量組合，從而產生了色彩校正幀的亮度分量圖像。更新圖像區的低頻亮度分量被從亮度分量圖像中提取，並且被與參考幀圖像的那些分量組合，從而產生色彩校正幀的低頻亮度分量圖像。色彩校正幀圖像使用所產生的亮度分量圖像和低頻亮度分量圖像而被進行色彩校正。文檔編號H04N1/60GK1812481SQ200610002419公開日2006年8月2日申請日期2006年1月27日優先權日2005年1月27日發明者福田康男申請人:佳能株式會社