圖像處理器的製作方法
2023-06-06 10:30:41 2
專利名稱：圖像處理器的製作方法
技術領域：
本發明涉及圖像處理設備，尤其涉及適合用於消除包含在圖像數據中的噪聲成分的圖像處理設備。
背景技術：
JPEG(聯合圖像專家組)技術和MPEG(運動圖像專家組)技術等用作編碼靜止圖像和運動圖像的技術。例如，在JPEG技術中，以把捕獲的靜止圖像劃分成8×8個部分為一個塊，和對那個塊進行DCT(離散餘弦變換)處理和量化處理的方式，執行編碼過程。
在上述利用DCT的編碼過程中，存在著為了降低噪聲，執行抑制亮度和色差的AC(交流)係數的過程的情況。在以這樣的方式降低噪聲的情況中，存在著有時會發生塊失真的問題。
發明內容
本發明就是在考慮了這樣的情況之後作出的。本發明的目的是通過將噪聲成分和邊緣成分與閾值相比較，降低噪聲。
本發明的圖像處理設備包括正交變換裝置，用於對輸入圖像數據進行正交變換；比較裝置，用於將正交變換裝置已經對其進行正交變換的圖像數據的亮度數據的AC成分和色差數據的AC成分的至少一個與預定閾值相比較；和抑制裝置，用於當比較裝置確定大於閾值的成分沒有存在於AC成分之中時，抑制色差數據的高頻成分。
比較裝置可以將亮度數據的AC成分的低頻成分與閾值相比較。
比較裝置可以將色差數據的AC成分的低頻成分與閾值相比較。
正交變換裝置的正交變換可以是DCT。
圖像處理設備可以包括含有圖像捕獲裝置的視頻攝像機部分。
本發明的圖像處理方法包括正交變換步驟，對輸入圖像數據進行正交變換；比較步驟，將在正交變換步驟的過程中已經對其進行正交變換的圖像數據的亮度數據的AC成分和色差數據的AC成分的至少一個與預定閾值相比較；和抑制步驟，當在比較步驟的過程中確定大於閾值的成分沒有存在於AC成分之中時，抑制色差數據的高頻成分。
本發明的記錄媒體上的程序包括正交變換步驟，對輸入圖像數據進行正交變換；比較步驟，將在正交變換步驟的過程中已經對其進行正交變換的圖像數據的亮度數據的AC成分和色差數據的AC成分的至少一個與預定閾值相比較；和抑制步驟，當在比較步驟的過程中確定大於閾值的成分沒有存在於AC成分之中時，抑制色差數據的高頻成分。
本發明的程序使計算機可以執行正交變換步驟，對輸入圖像數據進行正交變換；比較步驟，將在正交變換步驟的過程中已經對其進行正交變換的圖像數據的亮度數據的AC成分和色差數據的AC成分的至少一個與預定閾值相比較；和抑制步驟，當在比較步驟的過程中確定大於閾值的成分沒有存在於AC成分之中時，抑制色差數據的高頻成分。
在本發明的圖像處理設備和方法、和程序中，將已經對其進行正交變換的圖像數據的亮度數據的AC成分和色差數據的AC成分的至少一個與預定閾值相比較。當根據比較結果確定大於閾值的成分沒有存在於AC成分之中時，色差數據的高頻成分得到抑制。
圖1顯示了本發明所應用的圖像處理設備的實施例的配置；圖2是顯示圖像壓縮部分8的操作的流程圖；圖3顯示了折線掃描；和圖4是顯示在圖2的步驟S4中執行的噪聲降低過程的細節的流程圖。
具體實施例方式
下面參照附圖描述本發明的實施例。圖1顯示了本發明所應用的圖像處理設備的實施例的配置。圖像處理設備1是用於為數位照相機、數字視頻攝像機、和可攜式攝像放像機(camcoder)等管理，例如，靜止圖像和運動圖像的設備。由圖像處理設備1的圖像傳感器2捕獲的圖像的圖像數據輸出到數據處理部分3。圖像傳感器2由驅動部分4來驅動。
數據處理部分3從輸入圖像數據中生成亮度數據和色差數據，並且通過數據總線5把數據輸出到存儲部分6。存儲部分6暫時存儲亮度數據和色差數據。把存儲在存儲部分6中的亮度數據和色差數據輸出到濾波器7。濾波器7對輸入亮度數據進行轉換成所需圖像尺寸的解析度的處理，並且使數據再次存儲在存儲部分6中。
將解析度經過轉換的、存儲在存儲部分中的亮度數據和色差數據輸出到圖像壓縮部分8，從而執行壓縮過程。已經執行了編碼過程的亮度數據和色差數據由記錄/回放處理部分9記錄到記錄媒體(未示出)上。這樓的記錄過程是在操作快門按鈕10的時候執行的，並且從微型計算機發出執行與那個操作相對應的過程的指令。
驅動器12用在對記錄媒體，譬如，磁碟21、光碟22、磁光碟23或半導體存儲器24讀寫數據的時候。
圖2是顯示中圖像壓縮部分8中執行的過程的流程圖。在步驟S1中，通過數據總線5輸入存儲在存儲部分6中用作圖像數據的亮度數據和色差數據。在如下的描述中，假設圖像數據是以亮度和色差的422色空間取樣的數據。
在步驟S2中，進行DCT(離散餘弦變換)。首先，把圖像數據劃分成8×8個像素為一塊。對劃分的塊進行DCT。在這種情況中，由於使用了422色空間，因此，對亮度以2個塊為單位，和對色差Cb和Cr的每一個以1個塊為單位進行DCT。
在步驟S3中，以8×8個像素為單位對塊的圖像數據進行折線掃描。如圖3所示，假設左上角的像素是0，以進行折線掃描的順序指定1到63的序號(係數)，直到右下角。係數0表示DC(直流)成分，和係數1到63表示AC成分。對AC成分進行折線掃描的結果是，把圖像數據轉換成一組零遊程長度和數據。
在步驟S4中，執行噪聲降低過程。以後再描述噪聲降低過程。在步驟S5中，對已經執行了噪聲降低過程的圖像數據進行量化。量化是以將已經進行了DCT的圖像數據除以預定係數的方式進行的。進行量化的結果是，可以降低圖像數據的熵。然後，在步驟S6中，進行二維Huffman(霍夫曼)編碼。
在步驟S7中，將以這種方式編碼的圖像數據輸出到記錄/回放處理部分9，從而把數據記錄在記錄媒體(未示出)上。
現在參照圖4所示的流程圖，給出在圖2的步驟S4中執行的噪聲降低過程的描述。基於圖4所示的流程圖的噪聲降低過程是以宏塊(macroblock)為單位進行的。在本實施例中，通過抑制平坦部分的色度的高頻成分進行噪聲降低。
在步驟S11中，通過把suppress_flag設置成「1」進行初始化。這個suppress_flag是指示是否應該抑制平坦部分的色度的高頻成分的標誌。當已經把suppress_flag設置成「1」時，這意味著要進行抑制。當已經把suppress_flag設置成「0」時，這意味著不要進行抑制。
在步驟S12中確定，在亮度Y的AC係數的絕對值當中，是否存在至少一個係數大於閾值A。正如參照圖3所述的那樣，對於亮度Y的AC成分，存在係數1到63。在步驟S12中，將亮度Y的係數1到63的各個成分的所有絕對值與閾值A相比較。但是，這裡假設將亮度Y的係數1到27的各個成分的絕對值與閾值A相比較。
上面這樣做的理由是，即使這些成分都是小幅度的，當某個圖像的邊緣成分包含在經過DCT處理之後的塊中時，由於大部分成分出現在AC係數1到27的某些成分中的可能性很高，因此，也可以認為，在步驟S12中，作為與閾值A比較的目標，AC係數1到27的成分足夠了。當然，AC係數1到63的成分也可以用作與閾值A比較的目標。
正如上面所討論的，通過減少與閾值A比較的目標數(通過使AC成分當中的低頻成分成為目標)，可以縮短噪聲降低過程所需的處理時間。此外，通過適當地選擇比較目標(在這種情況下，選擇AC係數1到27)，可以可靠地執行噪聲降低過程，而不會使噪聲降低過程惡化。
當在步驟S12中確定，在亮度Y的AC係數1到27的成分的絕對值當中，存在至少一個值大於閾值A時，過程轉到步驟S13。當確定沒有一個值大於閾值A時，跳過步驟S13的過程，過程轉到步驟S14。在步驟S13中，把suppress_flag標誌設置成「0」。也就是說，在隨後的過程中，進行設置，以便按需要執行抑制過程。抑制涉及到經過處理被設置成0數據的成分。
當確定，在亮度Y的AC係數1到27的成分的絕對值當中，存在至少一個值大於閾值A和把suppress_flag標誌設置成「0」時，可以確定某個圖像的邊緣成分包含在要處理的DCT塊的圖像中。但是，即使沒有包含圖像的有效邊緣成分，也會從，例如，圖像傳感器2(圖1)的圖像捕獲設備輸出小幅度的噪聲成分，並且，這些噪聲成分可能對亮度Y的成分施加影響。
在考慮了上面情況之後，把閾值A設置成可以把DCT塊的圖像內的成分標識成由圖像的有效邊緣成分形成的成分或由噪聲成分形成的成分的值。閾值C(如後所述)也可以類似地設置。
在步驟S14中，執行壓縮亮度Y的DCT塊的過程。在步驟S15中確定執行壓縮亮度Y的DCT塊的過程是否結束。
當要處理的是4∶2∶2圖像的宏塊時，存在兩個亮度Y的DCT塊，因此，重複步驟S12到15的過程兩次。當在步驟S15中確定壓縮亮度Y的DCT塊的過程結束時，過程轉到步驟S16。在步驟S16中確定，在小於色差Cb的閾值B的AC係數的成分的絕對值當中，是否存在至少一個其值大於閾值C的成分。
閾值B被設置成指示色差Cb(色差Cr)的低頻成分和高頻成分之間的邊界的值。當在步驟S16中確定，在小於設置的閾值B的的色差Cb的AC係數的成分的絕對值當中，存在其值大於閾值C的AC係數的成分時，過程轉到步驟S17。當確定沒有這樣的成分時，過程轉到步驟S18。
在步驟S17中，把suppress_flag標誌設置成「0」，也就是說，把suppress_flag標誌設置成在隨後的過程中不進行抑制。在步驟S18中，確定suppress_flag是否是「1」。當確定suppress_flag是「1」時，過程轉到步驟S19。由於suppress_flag被確定成「1」，因此，在步驟S19中，把AC係數大於色差Cb的閾值B的成分抑制成「0」。然後，在步驟S20中，對色差Cb的DCT塊執行壓縮過程。
另一方面，當在步驟S18中確定suppress_flag不是「1」，也就是說，suppress_flag是「0」時，或者，當在步驟S17中，suppress_flag被設置成「0」時，過程轉到步驟S20，在步驟S20中，對色差Cb的DCT塊執行壓縮過程。
當在步驟S20中色差Cb的DCT塊的壓縮過程結束時，過程轉到步驟S21。步驟S21到步驟S25的處理是對色差Cr的DCT塊的處理，這些處理基本上與在步驟S16到S20中對色差Cb的DCT塊的處理相同。因此，略去不述。
對於閾值B和閾值C，在對色差Cb和色差Cr的處理過程中可以使用相同的值，也可以使用不同的值。
上述噪聲降低過程是以使亮度Y的AC成分，尤其是，位於DCT塊的左上角的AC成分1到27、色差Cb的低頻成分(AC係數小於閾值B的成分)、和色差Cr的低頻成分(AC係數小於閾值B的成分)成為檢測目標(與閾值A或閾值C相比較的目標)的方式執行的，和以使色差Cb的高頻成分和色差Cr的高頻成分成為抑制目標的方式執行的。其結果是，消除了由圖像傳感器2等生成的噪聲。
作為上述內容的結果，可以防止圖像的有效邊緣成分被確定為噪聲和被抑制掉，相反，可以防止噪聲被確定為圖像的有效邊緣成分和沒有被抑制掉。因此，可以可靠地留下圖像的邊緣成分和消除有害的噪聲。
在上述實施例中，把在4∶2∶2色空間上取樣的圖像數據的情況作為例子加以描述。當然，本發明也可以應用於4∶2∶0色空間和4∶1∶1色空間。
儘管上述一系列過程可以由硬體來執行，但是，這些過程也可以由軟體來執行。在一系列過程由軟體來執行的情況下，把形成軟體的程序從記錄媒體安裝到與專用硬體合併在一起的計算機中，或者，安裝通過安裝各種軟體能夠執行各種各樣功能的通用計算機中。
記錄媒體可以由如圖1所示，為了與個人計算機分開把程序提供的用戶而分配的、上面記錄著程序的套裝媒體，例如，磁碟21(包括軟盤(註冊商標名))、光碟22(CD-ROM(只讀光碟存儲器)和DVD(數字多功能盤))、磁光碟23(包括MD(小型盤)(註冊商標名))、或半導體存儲器等構成。記錄媒體還可以由上面記錄著程序的ROM(只讀存儲器)或硬碟構成，把這樣的記錄媒體事先插在計算機中提供給用戶。
在本說明書中，可以按照寫入命令，以時間先後順序來執行以記錄媒體形式提供的程序的組成步驟。然而，這些步驟不必以時間先後順序來執行，也可以同時或分別執行。
工業可應用性正如上面所描述的那樣，根據本發明的圖像處理設備和方法、以及程序，將已經經過正交變換的圖像數據的亮度數據的AC成分和色差數據的AC成分的至少一個與閾值相比較。當根據比較結果確定在AC成分中不存在大於閾值的成分時，抑制色差的高頻成分。因此，可以降低噪聲成分，而不會引起塊失真。
權利要求
1.一種圖像處理設備，包括正交變換裝置，用於對輸入圖像數據進行正交變換；比較裝置，用於將所述正交變換裝置已經對其進行正交變換的所述圖像數據的亮度數據的AC成分和色差數據的AC成分的至少一個與預定閾值相比較；和抑制裝置，用於當所述比較裝置確定大於所述閾值的成分沒有存在於所述AC成分之中時，抑制所述色差數據的高頻成分。
2.根據權利要求1所述的圖像處理設備，其中，所述比較裝置將所述亮度數據的AC成分的低頻成分與所述閾值相比較。
3.根據權利要求1所述的圖像處理設備，其中，所述比較裝置將所述色差數據的AC成分的低頻成分與所述閾值相比較。
4.根據權利要求1所述的圖像處理設備，其中，所述正交變換裝置的所述正交變換是DCT。
5.根據權利要求1所述的圖像處理設備，其中，所述圖像處理設備包括含有圖像捕獲裝置的視頻攝像機部分。
6.一種圖像處理方法，包括正交變換步驟，對輸入圖像數據進行正交變換；比較步驟，將在所述正交變換步驟的過程中已經對其進行正交變換的所述圖像數據的亮度數據的AC成分和色差數據的AC成分的至少一個與預定閾值相比較；和抑制步驟，當在所述比較步驟的過程中確定大於所述閾值的成分沒有存在於AC成分之中時，抑制所述色差數據的高頻成分。
7.一種含有記錄在上面計算機可讀程序的記錄媒體，所述程序包括正交變換步驟，對輸入圖像數據進行正交變換；比較步驟，將在所述正交變換步驟的過程中已經對其進行正交變換的所述圖像數據的亮度數據的AC成分和色差數據的AC成分的至少一個與預定閾值相比較；和抑制步驟，當在所述比較步驟的過程中確定大於所述閾值的成分沒有存在於AC成分之中時，抑制所述色差數據的高頻成分。
8.一種使計算機執行如下步驟的程序正交變換步驟，對輸入圖像數據進行正交變換；比較步驟，將在所述正交變換步驟的過程中已經對其進行正交變換的所述圖像數據的亮度數據的AC成分和色差數據的AC成分的至少一個與預定閾值相比較；和抑制步驟，當在所述比較步驟的過程中確定大於所述閾值的成分沒有存在於AC成分之中時，抑制所述色差數據的高頻成分。
全文摘要
一種能夠降低包含在輸入圖像數據中的噪聲的圖像處理器。通過確定亮度Y的AC成分的絕對值中，是否存在至少一個值大於閾值A，確定這些成分是圖像的有效邊緣成分還是噪聲成分。當確定這些成分是圖像的有效邊緣成分，把supress_flag設置成「0」，以便不執行抑制過程。當確定這些成分是噪聲成分時，把supress_flag設置成「1」，以便執行抑制過程。本發明可應用於捕獲目標的圖像的視頻攝像機。
文檔編號H04N7/30GK1463531SQ02801935
公開日2003年12月24日 申請日期2002年4月30日 優先權日2001年5月21日
發明者冨田芳紀 申請人:索尼公司