圖像編碼設備和圖像編碼方法
2023-09-20 18:04:40 2
專利名稱：圖像編碼設備和圖像編碼方法
技術領域：
本發明涉及圖像編碼設備和圖像編碼方法，並且更具體地，它使得能夠在執行對 圖像的編碼時準確執行對生成代碼量的預測。
背景技術：
迄今為止，就諸如MPEG2 (運動圖片專家組2)等之類的圖像編碼方法而言，維持主 觀圖像質量以理想地分配代碼量是個大問題。例如，靜止圖像的理想代碼量分配是其中失真被(以固定的量化尺度(quantized scale))均勻地編碼的狀態。當到達該失真變得很大的代碼量時，能夠通過將失真向高頻分 量或複雜部分偏置來增強主觀圖像質量。現在，例如，就國際公布W096/28937而言，公開了一種圖像信號編碼方法，其中通 過採用根據前饋方法的代碼量控制來使能適合於圖像質量信號的局部性質的控制，能夠提 高經解碼圖像的圖像質量。前饋方法用於通過針對多個量化尺度計算將以等長的增量生成 的代碼量，來在生成代碼量不超出目標生成代碼量的範圍內確定合適的量化尺度。另一方面，就諸如作為MPEG2的測試模型提議的TM5等之類的代碼量控制而言，通 過利用虛擬緩衝器的剩餘量、在前一次編碼時的量化指標和生成代碼量之間的關係執行反 饋控制，來執行代碼量控制。
發明內容
順便提及，就根據靜止圖像的上述相關技術而言，為了找到用於實現接近於目標 生成代碼量的整個畫面的均勻性，必須通過利用不同的量化尺度計算代碼量來多次執行預 測，並且與用於計算的電路有關的成本增大。此外，就用上述TM5表示的反饋代碼量控制而言，不允許應用在每次切換到不同 序列來提供適當生成量的量化尺度。因此，與畫面的上部相比，畫面的下部失真增大，該失 真變得顯著可見，在進入一序列時生成了過多的代碼量，代碼量必須被抑制，並且圖像質量 的失真變得顯著。可以通過預先知曉在利用某一值執行量化時的生成代碼量來解決這樣的問題。例 如，在MPEG2的情況下，尤其是MPEG2幀內(intra)的情況下，隨著DCT係數的頻率從低頻提 升到高頻，值越來越小。在自然圖像的情況下，這一點始終成立。因此，宏塊(macro block) 的代碼量和係數分布之間的相關性很強，並且可以單獨利用代碼量來進行預測。然而，就H264/AVC而言，即使對於幀內宏塊也存在畫面內預測(通過從輸入圖像 中減去預測圖像而獲得的圖像，即差分圖像)等，並且在這樣的規則不成立的情況下，與 MPEG2中的DCT係數的分布相同的分布不被實現。因此，即使通過與和MPEG2兼容的方法相 同的方法也不能執行對準確的生成代碼量的估計。已經發現希望提供一種使得能夠準確地執行對生成代碼量的預測的圖像編碼設 備和圖像編碼方法。
4
本發明的一個實施例是一種圖像編碼設備，包括第一編碼單元，被配置為利用固 定的量化參數來執行對圖像數據的編碼以計算生成代碼量；第二編碼單元，被配置為利用 多個不同的量化參數並且針對所述量化參數中的每個量化參數來執行對作為幀內圖片的 圖像數據的所述圖像數據的編碼；代碼量控制單元，被配置為通過基於在所述第一編碼單 元處計算出的生成代碼量執行對用於實現目標生成代碼量的量化參數和在採用該量化參 數時的生成代碼量的預測、並且根據在所述第二編碼單元處計算出的生成代碼量來校正該 預測出的生成代碼量來確定量化參數以使得校正後的生成代碼量實現所述目標生成代碼 量；以及第三編碼單元，被配置為利用在所述代碼量控制單元處確定的量化參數來執行對 所述圖像數據的編碼。根據上述配置，通過第一編碼單元利用固定的量化參數執行圖像數據的預編碼處 理來計算生成代碼量。此外，通過第二編碼單元利用多個不同的量化參數對作為幀內圖片 (I圖片)的圖像數據的圖像數據執行預編碼處理來計算生成代碼量。代碼量控制單元基於 通過第一編碼單元執行預編碼處理而計算出的生成代碼量來執行對用於實現目標生成代 碼量的量化參數和在採用該量化參數時的生成代碼量的預測，並且基於通過第二編碼單元 執行預編碼處理而計算出的生成代碼量來校正該預測出的生成代碼量。例如，如果已經通 過第一編碼單元編碼了 I圖片，則從在第二編碼單元處計算出的生成代碼量來計算在所預 測出的量化參數下的生成代碼量，並且該計算出的生成代碼量被取作在第一編碼單元處編 碼的I圖片的生成代碼量。此外，如果已經在第一編碼單元處編碼了不同於I圖片的圖片， 則從在第二編碼單元處計算出的生成代碼量來計算高頻分量成本(cost)，根據與I圖片的 高頻分量成本的百分比來校正所預測出的生成代碼量，並且該校正後的生成代碼量被取作 不同於I圖片的圖片的生成代碼量。此外，通過代碼量控制單元，量化參數被確定以使得這 樣預測的與1個G0P(圖片組)相應的生成代碼量實現目標生成代碼量。此外，如果基於高 頻分量成本將圖像數據判別為包括許多高頻分量，並且在根據在第二編碼單元處計算出的 生成代碼量來執行校正的情況下，一旦在GOP內關於是否根據在所述第二編碼單元處計算 出的生成代碼量執行校正而執行了切換，切換後的操作就被繼續直到GOP的最終的圖片為 止。通過第三編碼單元，利用通過預編碼處理而確定的量化參數來執行圖像數據的編碼。本發明的另一實施例是一種圖像編碼方法，包括以下步驟由第一編碼單元執行 的第一編碼，利用固定的量化參數編碼圖像數據以計算生成代碼量；由第二編碼單元執行 的第二編碼，利用多個不同的量化參數並且針對所述量化參數中的每個量化參數編碼作為 幀內圖片的圖像數據的所述圖像數據，以計算生成代碼量；由代碼量控制單元通過基於在 所述第一編碼單元處計算出的生成代碼量執行對用於實現目標生成代碼量的量化參數和 在採用該量化參數時的生成代碼量的預測、並且根據在所述第二編碼單元處計算出的生成 代碼量校正該預測出的生成代碼量以使得校正後的生成代碼量實現所述目標生成代碼量， 來確定量化參數；以及由第三編碼單元執行的第三編碼，利用在所述代碼量控制單元處確 定的量化參數編碼所述圖像數據。根據上述配置，由第一編碼單元計算在利用固定量化參數編碼圖像數據時的生成 代碼量。此外，由第二編碼單元計算在利用多個不同的量化參數並且針對每個量化參數編 碼作為幀內圖片的圖像數據的圖像數據時的生成代碼量。通過代碼量控制單元，基於在所 述第一編碼單元處計算出的生成代碼量來預測用於實現目標生成代碼量的量化參數和在
5採用該量化參數時的生成代碼量，並且根據在所述第二編碼單元處計算出的生成代碼量來 校正該預測出的生成代碼量。此外，量化參數被確定以使得校正後的生成代碼量實現目標 生成代碼量。此外，通過第三編碼單元，利用在代碼量控制單元處確定的量化參數來執行對 圖像數據的編碼。 因此，在第三編碼單元處執行圖像數據編碼之前，對生成代碼量的預測被準確地 執行，並且用於實現目標生成代碼量的量化參數被確定，並且因此，能夠在第三編碼單元處 執行其中生成代碼量等於或小於目標生成代碼量的編碼處理，因此圖像惡化較輕。
圖1是示出圖像編碼設備的配置的示圖2A到2C是示出量化矩陣的示圖3是示出圖像編碼設備的操作的流程圖4是示出基本量化參數確定處理的流程圖5是描述用於計算量化參數和生成代碼量的處理的示圖(第1部分)；
圖6是描述用於計算量化參數和生成代碼量的處理的示圖(第2部分)；
圖7是示出用於計算與1個GOP相應的生成代碼量的處理的流程圖8是示出在採用預測量化參數時的I圖片生成代碼量計算處理的流程圖9是示出第二生成代碼量檢測處理的流程圖10是示出高頻分量成本計算操作的流程圖11是示出幀內預編碼處理的處理結果的示圖；以及
圖12是示出在採用預測量化參數時的非I圖片的生成代碼量計算處理的流程圖。
具體實施例方式以下將描述用於實現本發明的實施例。就本發明而言，通過用作第一編碼單元的 預編碼單元利用固定的量化參數執行對圖像數據的預編碼處理來計算生成代碼量。此外， 通過用作第二編碼單元的幀內預編碼單元利用多個不同的量化參數對作為幀內圖片(I圖 片)的圖像數據的圖像數據執行預編碼來計算生成代碼量。代碼量控制單元基於通過預編 碼單元執行預編碼處理而計算出的生成代碼量，預測用於實現目標生成代碼量的量化參數 和在採用該量化參數時的生成代碼量。此外，代碼量控制單元根據由幀內預編碼單元計算 出的生成代碼量，校正所預測出的生成代碼量，從而使得能夠準確地執行對生成代碼量的 預測。此外，代碼量控制單元確定量化參數，以使得校正後的生成代碼量實現目標生成代碼 量。用作第三編碼單元的主編碼單元利用所確定的量化參數來執行對圖像數據的編碼，從 而使得能夠執行其中生成代碼量等於或小於目標生成代碼量的並且圖像惡化較輕的編碼 處理。應注意，將根據如下順序來給出描述。1.圖像編碼設備的配置2.圖像編碼設備的操作1.圖像編碼設備的配置圖1示出根據本發明一實施例的圖像編碼設備的配置。圖像編碼設備10包括圖 像重新排列處理單元11、預編碼單元20、幀內預編碼單元30、代碼量控制單元40、延遲緩衝
6器50和主編碼單元60。預編碼單元20包括預測模式確定單元21、DCT(離散餘弦變換)單元22、量化單 元23、逆量化單元24、IDCT (逆離散餘弦變換)單元25、預測圖像生成單元26和代碼長度 計算單元27。幀內預編碼單元30包括畫面內預測處理單元31、DCT單元32、量化單元33、逆量 化單元34、IDCT單元35、幀內預測圖像生成單元36和代碼長度計算單元37。此外，量化單 元33由多級量化單元33-1到33-n構成，並且代碼長度計算單元37由多級代碼長度計算 單元37-1到37-n構成。主編碼單元60包括預測處理單元61、DCT單元62、量化單元63、逆量化單元64、 IDCT單元65、預測圖像生成單元66和可變長度編碼單元67。在這樣的配置的情況下，圖像重新排列處理單元11根據例如G0P(圖片組)配置 將輸入圖像的圖像數據的圖片順序從顯示順序重新排列為編碼順序。隨後，圖像重新排列 處理單元11將以編碼順序重新排列的圖像數據輸出到預編碼單元20、幀內預編碼單元30 和延遲緩衝器50。預編碼單元20執行對當利用固定的量化參數執行了圖像數據編碼時的生成代碼 量的計算，並且將計算出的生成代碼量輸出到代碼量控制單元40。預編碼單元20的預測模 式確定單元21利用輸入圖像的圖像數據以及在隨後描述的預測圖像生成單元26處生成的 預測圖像數據來確定用於每個宏塊的預測模式。此外，預測模式確定單元21使用所確定預 測模式的預測圖像數據來將指示出關於輸入圖像的圖像數據的誤差的差分圖像數據輸出 到DCT單元22。DCT單元22對差分圖像執行離散餘弦變換以生成DCT係數，並且將此輸出到量化 單元23。量化單元23利用固定量化參數QP (ρ)來執行對DCT係數的量化，並且將生成的經 量化的數據輸出到逆量化單元24和代碼長度計算單元27。逆量化單元24對經量化的數據執行逆量化以生成DCT係數，並且將此輸出到IDCT 單元25。 IDCT單元25對從逆量化單元24提供來的DCT係數執行逆離散餘弦變換以生成差 分圖像數據，並且將此輸出到預測圖像生成單元26。預測圖像生成單元26使用差分圖像數據來生成局部經解碼圖像的圖像數據。此 外，預測圖像生成單元26使用輸入圖像的圖像數據來以宏塊為增量執行當前幀和下一時 間鄰接幀之間的運動估計。此外，預測圖像生成單元26基於運動估計結果來執行對局部經 解碼圖像的運動補償以從局部經解碼圖像的圖像數據生成預測圖像數據，並且將此輸出到 預測模式確定單元21。代碼長度計算單元27利用環境自適應可變長度編碼(CAVLC)方法或環境自適應 二進位算術編碼(CABAC)方法來對經量化的數據執行編碼，針對每個宏塊計算生成代碼 量，並且將此輸出到代碼量控制單元40。CAVLC方法是比CABAC方法更簡單的方法，並且與CAVLC方法相比，CABAC方法是 數據量能夠被減小的方法。現在，將關於如下的情況給出描述其中，在預編碼單元20處採 用可變長度編碼方法來簡化處理，並且在主編碼單元60處採用算術編碼方法來減小數據量。對於可變長度編碼，某一區域的信息被有效地編碼，而對於算術編碼，區域能夠在不被 識別的情況下被有效地編碼。因此，當根據可變長度編碼來預測算術編碼的代碼量時可能 引起大的誤差。然而，與一般的可變長度編碼相比，CAVLC能夠通過自適應地改變環境來在 對區域進行識別的情況下高效地編碼該區域。因此，誤差被減小，並且能夠通過根據CAVLC 方法的編碼來估計在採用CABAC方法時的生成代碼量。因此，也能夠通過在代碼長度計算 單元27處採用CAVLC方法來估計在採用CABAC方法的主編碼單元60處的生成代碼量。應 注意，代碼長度計算單元27還能夠通過採用CAVLC方法來抑制電路規模。幀內預編碼單元30在所有圖像數據作為I圖片的情況下使用多個不同的量化參 數執行編碼，並且針對每一量化參數計算生成代碼量以將此輸出到代碼量控制單元40。幀 內預編碼單元30的畫面內預測處理單元31生成指示出輸入圖像的圖像數據與在幀內預測 圖像生成單元36處生成的預測圖像數據之間的誤差的差分圖像數據，以將此輸出到DCT單 元32。DCT單元32對差分圖像數據執行離散餘弦變換以生成DCT係數，並且將此輸出到 量化單元33。量化單元33由多個級構成，例如，量化單元33-1到33_9的九級。量化單元33_1 到33-9通過將三個不同的量化參數0 (丨0)、0 (丨1)和QP(i2)與三個不同的量化矩陣QMF、 QMN和QMS進行組合來根據九種情況執行量化。量化單元33-1到33_9將通過對DCT係數 執行量化而獲得的經量化數據輸出到代碼長度計算單元37。此外，量化單元33選擇在量化 單元33-1到33-9處生成的經量化數據中的一個，並且將此輸出到逆量化單元34。圖2A到2C例示出量化矩陣QMF、QMN和QMS。圖2A示出量化矩陣QMF。就量化 矩陣QMF而言，所有矩陣值是相等的值。也就是說，量化矩陣QMF是具有平坦特性的量化矩 陣。圖2B示出量化矩陣QMN。就量化矩陣QMN而言，高頻分量的矩陣值大於低頻分量的矩 陣值。也就是說，量化矩陣QMN是具有其中執行對高頻分量的削減的一般特性的量化矩陣。 圖2C示出量化矩陣QMS。就量化矩陣QMS而言，與量化矩陣QMN相比，高頻分量的矩陣值是 更大的值。也就是說，量化矩陣QMS是具有其中與量化矩陣QMN相比進一步增大對高頻分 量的削減的特性的量化矩陣。逆量化單元34對從量化單元33提供來的經量化數據執行逆量化以生成DCT係數 數據，並將此輸出到IDCT單元35。IDCT單元35對從逆量化單元34提供來的DCT係數數據執行逆離散餘弦變換以生 成差分圖像數據，並且將此輸出到幀內預測圖像生成單元36。幀內預測圖像生成單元36使用差分圖像數據來生成局部經解碼圖像的圖像數 據。此外，幀內預測圖像生成單元36將局部經解碼圖像的圖像數據作為預測圖像數據輸出 到畫面內預測處理單元31。代碼長度計算單元37由多個級構成，例如，對應於量化單元33的代碼長度計算單 元37-1到37-9的九級。代碼長度計算單元37-1到37_9使用與預編碼單元20的代碼長 度計算單元27相同的方法來執行編碼以針對每個宏塊計算生成代碼量，並且將此輸出到 代碼量控制單元40。代碼量控制單元40從比特速率和GOP配置之間的關係確定將被指派給1個GOP 的目標生成代碼量。代碼量控制單元40基於在預編碼單元20處計算出的與1個GOP相應
8的生成代碼量，預測用於實現目標生成代碼量的量化參數以及當採用該量化參數時的生成 代碼量。也就是說，代碼量控制單元40預測其中1個GOP的生成代碼量等於或小於目標生 成代碼量並且最緊密地接近目標生成代碼量的量化參數，以及當採用該量化參數時的生成 代碼量。此外，代碼量控制單元40根據在幀內預編碼單元30處計算出的生成代碼量來校 正所預測的生成代碼量。此外，代碼量控制單元40從校正後的生成代碼量來確定用於實現 目標生成代碼量的量化參數以將此輸出到主編碼單元60。應注意，在以下描述中，用於實現 目標生成代碼量的量化參數將被稱作基本量化參數。延遲緩衝器50將輸入圖像的圖像數據延遲在代碼量控制單元40處確定出基本量 化參數的處理所使用的時間，並且將經延遲的圖像數據輸出到主編碼單元60。主編碼單元60利用在代碼量控制單元40處確定的基本量化參數來執行對圖像數 據的編碼。主編碼單元60的預測處理單元61根據由預編碼單元20的預測模式確定單元 21所確定的圖片類型選擇預測圖像數據。此外，預測處理單元61生成指示出所選擇的預測 圖像數據與在延遲緩衝器50處被延遲的輸入圖像的圖像數據之間的誤差的差分圖像，並 且將此輸出到DCT單元62。DCT單元62對差分圖像數據執行離散餘弦變換以生成DCT係數，並且將此輸出到 量化單元63。量化單元63使用在代碼量控制單元40處確定的量化參數來執行對DCT係數的量 化，並且將經量化的數據輸出到逆量化單元64和可變長度編碼單元67。逆量化單元64對經量化的數據執行逆量化以生成DCT係數，並且將此輸出到IDCT 單元65。IDCT單元65對從逆量化單元64提供來的DCT係數執行逆離散餘弦變換以生成差 分圖像數據，並且將此輸出到預測圖像生成單元66。預測圖像生成單元66使用差分圖像數據來生成局部經解碼圖像的圖像數據。此 外，預測圖像生成單元66使用來自延遲緩衝器50的圖像數據來以宏塊為增量執行當前幀 與下一時間鄰接幀之間的運動估計。此外，預測圖像生成單元66基於運動估計結果來執行 對局部經解碼圖像的運動補償以生成預測圖像，並且將此輸出到預測處理單元61。可變長度編碼單元67用CAVLC方法或CABAC方法來對經量化的數據執行編碼以 生成經編碼的流，並且輸出這些流。可變長度編碼單元67例如利用CABAC方法來執行對經 量化數據的編碼以減小數據量，從而生成經編碼的流。2.圖像編碼設備的操作接下來，將描述圖像編碼設備的操作。圖3是示出圖像編碼設備的操作的流程圖。在步驟ST1，圖像編碼設備10執行對圖片類型的確定以及圖像重新排列。圖像編 碼設備10例如根據G0P(圖片組)配置來確定輸入圖像的圖片類型。此外，圖像編碼設備 10在圖像重新排列處理單元11處將輸入圖像的圖像數據從顯示順序重新排列為編碼順 序，並且前進到步驟ST2。在步驟ST2，圖像編碼設備10執行預編碼處理。圖像編碼設備10在預編碼單元 20處利用所確定的圖片類型來編碼輸入圖像的圖像數據以計算生成代碼量，並且前進到步 驟 ST3。在步驟ST3，圖像編碼設備10判別生成代碼量是否到達了與1個GOP相應的量。如果在預編碼單元20處計算出的生成代碼量到達了與1個GOP相應的量，則圖像編碼設備 10前進到步驟ST6，並且如果生成代碼量尚未到達與1個GOP相應的量，則返回到步驟ST2。在步驟ST4，圖像編碼設備10執行幀內預編碼處理。圖像編碼設備10在幀內預 編碼單元30處編碼作為I圖片的輸入圖像的圖像數據以計算生成代碼量，並且前進到步驟 ST5。此外，圖像編碼設備10在幀內預編碼處理中利用多個不同的量化參數以及多個不同 的量化矩陣來並行地執行編碼以計算生成代碼量。在步驟ST5，圖像編碼設備10判別生成代碼量是否到達了與1個GOP相應的量。 如果在幀內預編碼單元30處計算出的生成代碼量到達了與1個GOP相應的量，則圖像編碼 設備10前進到步驟ST6。此外，如果生成代碼量尚未到達與1個GOP相應的量，則圖像編碼 設備10返回到步驟ST4。在步驟ST6，圖像編碼設備10執行要在主編碼處理中使用的基本量化參數確定處 理。圖像編碼設備10在代碼量控制單元40處從通過執行預編碼處理而獲得的生成代碼量 和通過執行幀內預編碼處理而獲得的生成代碼量來確定將被用於主編碼處理的基本量化 參數。在步驟ST7，圖像編碼設備10執行主編碼處理。圖像編碼設備10使用在步驟ST6 中確定的基本量化參數來在主編碼單元60處編碼輸入圖像的圖像數據。接下來，將描述將被用於主編碼處理的基本量化參數確定處理。通過基本量化參 數確定處理，基於在預編碼單元20處計算出的生成代碼量來預測用於實現目標生成代碼 量的量化參數以及在採用該量化參數時的生成代碼量。此外，根據在幀內預編碼單元30處 計算出的生成代碼量來校正該預測出的生成代碼量。當目標生成代碼量不是由與1個GOP 相應的經校正的生成代碼量來實現的時，通過改變所預測出的量化參數的參數值來執行對 生成代碼量的預測以及對它的校正。當目標生成代碼量是由與1個GOP相應的經校正的生 成代碼量來實現的時，取此時的量化參數作為基本量化參數。圖4例示出示出了將被用於主編碼處理的基本量化參數確定處理的流程圖。在步 驟STl 1，代碼量控制單元40執行對量化參數的預測。代碼量控制單元40基於在預編碼單 元20處計算出的生成代碼量來預測用於實現目標生成代碼量的量化參數，並且前進到步 驟 ST12。圖5和圖6是描述用於計算量化參數以及生成代碼量的處理的示圖。代碼量控 制單元40根據在預編碼單元20處利用固定量化參數QP(P)來執行編碼時的生成代碼量 BT(p)，將宏塊分成組。此外，例如圖5所示，從預先為每個組提供的指示出量化參數和生成 代碼量之間關係的多條預測曲線中，選出相應組的預測曲線，例如預測曲線CB。此外，例如 圖6所示，利用所選出的預測曲線CB來預測生成代碼量等於或小於目標生成代碼量BT (t) 並且最緊密地接近目標生成代碼量BT (t)的量化參數。在步驟ST12，代碼量控制單元40計算與1個GOP相應的生成代碼量。代碼量控制 單元40根據在幀內預編碼單元30處計算出的生成代碼量來校正在步驟STll中預測出的 生成代碼量，並且計算與1個GOP相應的經校正的生成代碼量，並且前進到步驟ST13。在步驟ST13，代碼量控制單元40判別與1個GOP相應的生成代碼量是否大於目 標生成代碼量。當生成代碼量不大於目標生成代碼量時，代碼量控制單元40前進到步驟 ST14，並且當生成代碼量大於目標生成代碼量時，前進到步驟ST15。
在步驟ST14，代碼量控制單元40從所預測的量化參數來確定基本量化參數。當生 成代碼量和目標生成代碼量之間的差較小時，例如，當該差小於在將所預測出的量化參數 的值減小例如1時生成代碼量的增長時，代碼量控制單元40取所預測出的量化參數作為基 本量化參數，並且結束處理。此外，當生成代碼量和目標生成代碼量之間的差較大時，代碼 量控制單元40減小所預測出的量化參數的值以減小該差，並且取此量化參數作為基本量 化參數。在步驟ST15，代碼量控制單元40增大所預測出的量化參數的值。代碼量控制單 元40根據生成代碼量和目標生成代碼量之間的差來確定增量，增大所預測出的量化參數 的值，並且前進到步驟ST16。在步驟ST16，代碼量控制單元40計算與1個GOP相應的生成代碼量。代碼量控制 單元40使用在步驟ST15更新了的量化參數來以與步驟ST12中的方式相同的方式計算與 1個GOP相應的生成代碼量，並且前進到步驟ST17。在步驟ST17，代碼量控制單元40判別目標生成代碼量是否可實現。如果判別出目 標生成代碼量是不可實現的，則代碼量控制單元40返回到步驟ST13，並且如果判別出目標 生成代碼量是可實現的，則取在步驟ST15更新了的量化參數作為基本量化參數，並且結束 處理。例如，當在採用在步驟ST15更新了的量化參數時的生成代碼量等於或小於目標生成 代碼量，並且在採用比在步驟ST15更新了的量化參數小1的量化參數時的生成代碼量超出 目標生成代碼量時，代碼量控制單元40判別目標生成代碼量是可實現的，並且取更新後的 量化參數作為基本量化參數。因此，基本量化參數能夠被確定，藉此目標生成代碼量能夠被實現。應注意，基本 量化參數確定處理並不受限於圖4的流程圖中示出的處理。例如，根據生成代碼量和目標 生成代碼量之間的差來設定量化參數的增量或減量以再次計算生成代碼量。此外，當生成 代碼量和目標生成代碼量之間的差較小時，可以通過每次將量化參數增大或減小1來搜索 憑藉其能夠實現目標生成代碼量的量化參數。圖7是例示出與1個GOP相應的生成代碼量計算處理的流程圖。在步驟ST21，代 碼量控制單元40利用所預測出的量化參數來計算I圖片的生成代碼量，並且前進到步驟 ST22。在步驟ST22，代碼量控制單元40判別下一圖片是否是I圖片。當下一圖片不是I 圖片時，代碼量控制單元40前進到步驟ST23，並且當下一圖片是I圖片時，結束與1個GOP 相應的生成代碼量計算處理。在步驟ST23，代碼量控制單元40使用預測出的量化參數來計算非I圖片(即P圖 片或B圖片)的生成代碼量，並且返回到步驟ST22。接下來，將描述用於利用所預測出的量化參數來預測I圖片的生成代碼量以及非 I圖片的生成代碼量的處理。在利用所預測出的量化參數來預測I圖片的生成代碼量的情況下，代碼量控制單 元40基於預編碼處理的生成代碼量來預測在採用所預測出的量化參數時的生成代碼量。 該預測出的生成代碼量將被稱作第一生成代碼量。此外，代碼量控制單元40從在幀內預編 碼處理中獲得的生成代碼量來計算在採用所預測出的量化參數時的生成代碼量。該計算出 的生成代碼量將被稱作第二生成代碼量。代碼量控制單元40從第一生成代碼量和第二生
11成代碼量計算校正係數。此外，代碼量控制單元40用計算出的校正係數來校正第一生成代 碼量，並且取校正後的第一生成代碼量作為在採用所預測出的量化參數時I圖片的生成代 碼量。此外，代碼量控制單元40計算指示出I圖片中的高頻分量狀態的高頻分量成本，並 且使用計算出的高頻分量成本來執行對第一生成代碼量的校正。在利用所預測出的量化參數來預測非I圖片的生成代碼量的情況下，代碼量控制 單元40基於預編碼處理的生成代碼量來預測在採用所預測出的量化參數時的生成代碼 量。該預測出的生成代碼量將被稱作第三生成代碼量。此外，代碼量控制單元40計算非I 圖片中的校正係數，使用該校正係數來執行對第三生成代碼量的校正，並且取校正後的第 三生成代碼量作為在採用所預測出的量化參數時的非I圖片的生成代碼量。圖8是示出在採用所預測出的量化參數時對I圖片的生成代碼量計算處理的流程 圖。在步驟ST41，代碼量控制單元40預測第一生成代碼量。代碼量控制單元40預測 在採用所預測出的量化參數時的生成代碼量，取此生成代碼量作為第一生成代碼量，並且 前進到步驟ST44。例如，如圖6所示，代碼量控制單元40使用所選出的預測曲線CB來預測 憑藉其生成代碼量的值等於或小於目標生成代碼量BT (t)並且最緊密地接近目標生成代 碼量BT(t)的量化參數，並且預測在採用該預測出的量化參數時的生成代碼量。也就是說， 代碼量控制單元40取所預測量化參數QP (t)的生成代碼量BT (pt)作為第一生成代碼量， 並且前進到步驟ST44。應注意，量化參數QP(P)應當被預先設定為較小的值以使得在利用 量化參數QP(P)執行編碼時的生成代碼量變得大於目標生成代碼量。如果這樣設定量化參 數QP(P)，則基本量化參數能夠被設定以減小等於或小於目標生成代碼量並且最緊密地接 近目標生成代碼量的生成代碼量。在步驟ST44，代碼量控制單元40檢測第二生成代碼量。代碼量控制單元40從在 利用量化參數QP(iO)到QP(i2)執行編碼時的生成代碼量BT(iO)、BT(il)和BT(i2)檢測 量化參數QP (t)下的生成代碼量BT (it)，並且取此作為第二生成代碼量。圖9是示出第二生成代碼量檢測處理的流程圖。在步驟ST81，代碼量控制單元40 從在幀內預編碼處理中所採用的量化參數中檢測最緊密地接近所預測出的量化參數的量 化參數。代碼量控制單元40例如從量化參數QP(i0)到QP(i2)中檢測最緊密地接近量化 參數QP (t)的量化參數，並且取此作為量化參數QP (ia)，並且前進到步驟ST82。在步驟ST82，代碼量控制單元40從在幀內預編碼處理中所採用的量化參數中檢 測第二最緊密地接近所預測出的量化參數的量化參數。代碼量控制單元40例如從量化參 數QP(iO)到QP(i2)中檢測第二最緊密地接近量化參數QP(t)的量化參數，並且取此作為 量化參數QP (ib)，並且前進到步驟ST83。在步驟ST83，代碼量控制單元40計算所預測出的量化參數的生成代碼量。代碼 量控制單元40使用在採用量化參數QP (ia)時的生成代碼量BT (ia)以及在採用量化參數 QP(ib)時的生成代碼量BT(ib)來執行內插處理。代碼量控制單元40執行作為內插處理的 線性內插、曲線內插等以計算所預測出的量化參數QP(t)的生成代碼量BT(it)。例如，如圖6所示，代碼量控制單元40使用最緊密地接近量化參數QP(t)的量 化參數QP(il)的生成代碼量BT(il)以及第二最緊密地接近量化參數QP(t)的量化參數 QP(iO)的生成代碼量BT(iO)來執行內插處理。代碼量控制單元40通過內插處理來計算所
12預測出的量化參數QP (t)的生成代碼量BT (it)。代碼量控制單元40這樣檢測所預測出的量化參數QP (t)的生成代碼量BT (it)，並 且在圖8中從步驟ST44前進到步驟ST45。在步驟ST45，代碼量控制單元40計算校正係數。代碼量控制單元40使用從預編 碼處理結果檢測出的第一生成代碼量BT(pt)和從幀內預編碼處理結果檢測出的第二生成 代碼量BT(it)來執行表達式(1)的計算以計算校正係數C(i)，並且前進到步驟ST46。C (i) = BT (it) /BT (pt)... (1)在步驟ST46，代碼量控制單元40計算高頻分量成本。代碼量控制單元40計算指 示出I圖片中的高頻分量的狀態的高頻分量成本H(i)。圖10是示出高頻分量成本計算操作的流程圖。此外，圖11示出幀內預編碼處理 的處理結果。在圖10中，在步驟ST91，代碼量控制單元40選擇幀內預編碼處理中的量化參數 的最小值。例如，如圖11所示，就幀內預編碼處理而言，如果量化參數QP(iO)、QP(il)和 QP (i2) (QP (i0) <QP(il) <QP(i2))被採用，則代碼量控制單元40選擇量化參數QP (iO)， 並且前進到步驟ST92。在步驟ST92，代碼量控制單元40選擇當採用最小量化參數和從高頻到低頻的量 化步長平坦的量化矩陣時的生成代碼量。例如，量化矩陣QMF將是矩陣值為固定值並且從 高頻到低頻的量化步長平坦的矩陣。量化矩陣QMN將是其中高頻的矩陣值是比低頻的矩陣 值更大的值並且與低頻相比高頻被粗略地量化的矩陣。量化矩陣QMS將是這樣的矩陣其 中高頻的矩陣值與量化矩陣QMN相比是更大的值，並且量化是在與量化矩陣QMN相比高頻 分量的削減為陡峭的狀態中執行的。在這種情況下，當量化參數QP (iO)被選擇為為最小的 量化參數時，代碼量控制單元40選擇在採用量化參數QP (iO)和量化矩陣QMF時的生成代 碼量BT (iOF)，並且前進到步驟ST93。在步驟ST93，代碼量控制單元40選擇在採用最小的量化參數和用於與低頻相比 粗略地量化高頻的常用量化矩陣時的生成代碼量。例如，代碼量控制單元40選擇在採用量 化參數QP ( 0)和量化矩陣QMN時的生成代碼量BT ( ΟΝ)，並且前進到步驟ST94。在步驟ST94，代碼量控制單元40計算高頻分量成本。代碼量控制單元40執行表 達式(2)的計算來計算高頻分量成本H (i)。H(i) = BT(iOF)/BT(iON). . . (2)當這樣計算了高頻分量成本時，代碼量控制單元40在圖8中從步驟ST46前進到 步驟ST48，並且執行對所預測出的第一生成代碼量的校正。代碼量控制單元40利用第一 生成代碼量BT(pt)和校正係數C(i)來執行表達式(3)的計算以計算經校正的生成代碼量 BT(itc)。BT(itc) = BT(pt) XC(i) XMt. . . (3)當這樣執行圖8中的處理時，根據使用多個不同的量化參數和多個不同的量化矩 陣的幀內預編碼處理的處理結果來校正了從使用固定量化參數的預編碼處理結果預測出 的生成代碼量。因此，能夠提高I圖片的生成代碼量的預測準確性。接下來，將利用圖12所示的流程圖來描述在採用所預測出的量化參數時的非I圖 片的生成代碼量計算處理。在步驟STl 11，代碼量控制單元40檢測第三生成代碼量。代碼量控制單元40根據當在預編碼單元20處利用固定的量化參數QP (ρ)執行編碼時的生成代碼 量BT (ρ)將宏塊分成組。此外，代碼量控制單元40從預先針對每個組提供的指示出量化參 數和生成代碼量之間關係的多條預測曲線中選擇相應組的預測曲線。此外，代碼量控制單 元40取通過使用所選出的預測曲線在量化參數QP (t)下已經預測出的生成代碼量BT (ut) 作為第三生成代碼量，並且前進到步驟ST112。在步驟ST112，代碼量控制單元40計算非I圖片的高頻分量成本。代碼量控制單 元40執行與在以上圖10中示出的高頻分量成本計算相同的處理以計算非I圖片的高頻分 量成本H(U)。在這種情況下，利用表達式(4)來執行對高頻分量成本H(u)的計算。H (u) = BT (iOFu) /BT (iONu)... (4)應注意，在表達式(4)中，生成代碼量BT(iOFu)和BT(iONu)是當使得用於計算高 頻分量成本的非I圖片的圖像數據像I圖片那樣經歷幀內預編碼處理時的生成代碼量。以這種方式，在圖12中的步驟ST112計算了高頻分量成本之後，代碼量控制單元 40前進到步驟ST113以計算校正係數。代碼量控制單元40利用在I圖片處理中計算出的 校正係數C(i)和高頻分量成本H(i)以及在步驟ST112中計算出的高頻分量成本H(u)來 執行表達式(5)的計算，以計算對應於非I圖片的校正係數C(ic)，並且前進到步驟ST115。C(ic) = C(i) XH(i)/H(u). . . (5)在步驟ST115，代碼量控制單元40執行對第三生成代碼量的校正。代碼量控制單 元40利用生成代碼量BT (ut)和校正係數C(ic)執行表達式(6)的計算以計算經過校正的 生成代碼量BT (utc)。BT(Utc) = BT(ut) XC(ic). . . (6)當這樣執行圖12中的處理時，根據使用多個不同的量化參數和多個不同的量化 矩陣的幀內預編碼處理的處理結果校正了從使用固定量化參數的預編碼處理結果預測出 的生成代碼量。因此，能夠提高非I圖片的生成代碼量的預測準確性。例如如上所述，通過代碼量控制單元40，基於通過在預編碼單元20處執行預編碼 而計算出的生成代碼量，預測了用於實現目標生成代碼量的量化參數以及在採用該量化參 數時的生成代碼量。此外，根據通過在幀內預編碼單元30處執行預編碼而計算出的生成代 碼量，校正了所預測出的生成代碼量。此外，通過代碼量控制單元40，量化參數被確定以使 得校正後的生成代碼量實現目標生成代碼量。因此，例如，在宏塊的生成代碼量和量化參數 之間的關係隨圖像而改變的情況下，因該改變引起的生成代碼量的預測誤差被根據通過在 幀內預編碼單元30處執行預編碼而計算出的生成代碼量校正。因此，即使在宏塊的生成代 碼量和量化參數之間的關係隨圖像而改變的情況下，仍能夠準確地執行對生成代碼量的預 測。例如，在通過執行預編碼處理來執行對生成代碼量的預測，並且從預測結果來確 定主編碼的量化參數的情況下，作為產生預測誤差的原因，當高頻分量的數目小於估計值 時，生成代碼量的下降方式改變，並且實際的生成代碼量的數量變得小於預測值。具體地， 當在預編碼處理中固定的量化參數(P)與對應於目標生成代碼量的量化參數QP(t)之間的 差較大時，誤差傾向於變大。為了校正該誤差，代碼量控制單元40利用通過對I圖片的幀 內預編碼處理而獲得的生成代碼量。幀內預編碼單元30應用多個不同的量化參數，並且因 此，與預編碼單元20相比能夠獲得更緊密地接近所預測出的量化參數的量化參數的生成代碼量。因此，就對I圖片的預測而言，所預測出的生成代碼量根據在幀內預編碼單元30 處計算出的生成代碼量而被校正。此外，關於非I圖片，不允許獲得誤差。然而，此誤差由於圖片內的高頻分量的狀 態而波動，並且因此，高頻分量的狀態被從每個圖片獲得，並且非I圖片的生成代碼量被根 據每個圖片關於I圖片中的高頻分量的狀態的差別而校正。這樣，即使在高頻分量的狀態與在獲得預測曲線時的高頻分量狀態不同的情況 下，也能夠根據圖片的高頻分量狀態來校正生成代碼量，並且因此能夠以更準確的方式預 測生成代碼量。因此，例如，能夠準確地執行對與1個GOP相應的生成代碼量的預測。此外，在主編碼單元60利用在代碼量控制單元40處確定的基本量化參數執行了 圖像數據編碼的情況下，圖像幾乎不惡化的、生成代碼量等於或小於目標生成代碼量的經 編碼數據能夠從主編碼單元60被輸出。應注意，在高頻分量的數目較小的情況下，例如，當在採用量化矩陣QMF時的生成 代碼量與在採用量化矩陣QMN時的生成代碼量之間的差較大時，通過執行預編碼處理能夠 準確地預測生成代碼量。因此，當基於高頻分量成本判別出圖像數據包括許多高頻分量時， 代碼量控制單元40可以根據在幀內預編碼單元30處計算出的生成代碼量來校正所預測出 的生成代碼量。例如，當在採用量化矩陣QMF時的生成代碼量相比於在採用量化矩陣QMN 時的生成代碼量的百分比由於圖像的性質改變等而增大並且高頻分量成本超出預定的設 定值時，代碼量控制單元40可以根據在幀內預編碼單元30處計算出的生成代碼量來執行 校正。在這種情況下，例如在GOP內，重複地切換要根據在幀內預編碼單元30處計算出的 生成代碼量來進行校正的圖片和不要校正的圖片可能導致圖像質量的惡化。因此，如果在 GOP內執行了關於是否根據在幀內預編碼單元30處計算出的生成代碼量來校正所預測出 的生成代碼量的切換，則切換後的操作被繼續直到GOP的最終的圖片為止。這樣，能夠防止 由於在GOP內重複地切換要根據在幀內預編碼單元30處計算出的生成代碼量來進行校正 的圖片和不要校正的圖片所致的圖像質量惡化。此外，可以通過硬體、軟體或二者的組合配置來執行本說明書中描述的一系列處 理。在通過軟體執行處理的情況下，可以通過將記錄了處理序列的程序安裝在計算機內的 容宿於專用硬體中的存儲器中來執行該程序，或者可以通過將該程序安裝在能夠執行各種 類型的處理的通用計算機中來執行該程序。例如，程序可以被預先記錄在用作記錄介質的硬碟或ROM(只讀存儲器)中，或者 可以被臨時地或永久地存儲(記錄)在諸如軟盤、CD-ROM(緊緻盤只讀存儲器)、M0(磁光) 盤、DVD (數字多功能盤)、磁碟、半導體存儲器等之類的可移動介質中。這樣的可移動介質 可以作為所謂的套裝軟體而提供。應注意，除了從諸如上述介質之類的可移動記錄介質被安裝到計算機中之外，程 序可以無線地或者經由諸如LAN(區域網)、網際網路等之類的網絡通過線纜從下載站點被傳 輸到計算機。計算機能夠接收這樣傳輸的程序以將其安裝到諸如內置硬碟等之類的記錄介 質上。本申請包含與2009年7月27日遞交到日本專利局的日本在先專利申請JP 2009-173909中公開的主題有關的主題，該日本在先專利申請的全部內容通過引用而被結 合於此。
15
應注意，不以受限於本發明的上述實施例的方式來解釋本發明。通過本發明的實 施例，以例示模式公開了本發明，並且顯然本領域中的技術人員能夠想到各種修改或變更 而不背離本發明的實質和精神。也就是說，為了理解本發明的實質和精神，應當參考權利要 求。
權利要求
一種圖像編碼設備，包括第一編碼單元，被配置為利用固定的量化參數來執行對圖像數據的編碼以計算生成代碼量；第二編碼單元，被配置為利用多個不同的量化參數並且針對各個所述量化參數來執行對作為幀內圖片的圖像數據的所述圖像數據的編碼，以計算生成代碼量；代碼量控制單元，被配置為通過基於在所述第一編碼單元處計算出的生成代碼量執行對用於實現目標生成代碼量的量化參數和在採用該量化參數時的生成代碼量的預測、並且根據在所述第二編碼單元處計算出的生成代碼量來校正該預測出的生成代碼量來確定量化參數，以使得校正後的生成代碼量實現所述目標生成代碼量；以及第三編碼單元，被配置為利用在所述代碼量控制單元處確定的量化參數來執行對所述圖像數據的編碼。
2.根據權利要求1所述的圖像編碼設備，其中，所述代碼量控制單元從1個圖片組的在 所述第一編碼單元和所述第二編碼單元處計算出的生成代碼量來確定關於該1個圖片組 的量化參數。
3.根據權利要求2所述的圖像編碼設備，其中，所述代碼量控制單元當幀內圖片被在 所述第一編碼單元處編碼時，從在所述第二編碼單元處計算出的生成代碼量計算在利用所 述預測出的量化參數來執行編碼時的生成代碼量，並且取該計算出的生成代碼量作為所述 校正後的生成代碼量。
4.根據權利要求3所述的圖像編碼設備，其中，所述第二編碼單元使用多個不同的量 化矩陣來針對各個所述量化矩陣執行所述生成代碼量的計算；並且其中，所述代碼量控制單元當不同於幀內圖片的圖片在所述第一編碼單元處被量 化時，從在所述第二編碼單元處計算出的生成代碼量來計算指示出高頻分量的狀態的高頻 分量成本，根據不同於所述幀內圖片的圖片的高頻分量成本相比於所述幀內圖片的高頻分 量成本的百分比來校正所述預測出的生成代碼量，並且取該生成代碼量作為所述校正後的 生成代碼量。
5.根據權利要求3所述的圖像編碼設備，其中，所述代碼量控制單元從在所述第二編 碼單元處計算出的生成代碼量中選出在採用最接近所述預測出的量化參數的量化參數時 的生成代碼量以及在採用第二最接近所述預測出的量化參數的量化參數時的生成代碼量， 並且從這些選出的生成代碼量計算在利用所述所預測出的量化參數來執行編碼時的生成 代碼量。
6.根據權利要求4所述的圖像編碼設備，其中，所述代碼量控制單元使用在採用最小 的量化參數和不對高頻分量進行抑制的量化矩陣時的生成代碼量和在採用所述最小的量 化參數和對高頻分量進行抑制的量化矩陣時的生成代碼量來計算所述高頻分量成本。
7.根據權利要求1所述的圖像編碼設備，其中，在所述圖像數據被判別為包括許多高 頻分量的情況下，所述代碼量控制單元根據在所述第二編碼單元處計算出的生成代碼量來 校正所述預測出的生成代碼量。
8.根據權利要求7所述的圖像編碼設備，其中，如果在圖片組內關於是否根據在所述 第二編碼單元處計算出的生成代碼量來校正所述預測出的生成代碼量執行了切換，則所述 代碼量控制單元在切換後繼續操作直到所述圖片組的最終的圖像為止。
9. 一種圖像編碼方法，包括以下步驟由第一編碼單元執行的第一編碼，利用固定的量化參數來編碼圖像數據以計算生成代碼量；由第二編碼單元執行的第二編碼，利用多個不同的量化參數並且針對各個所述量化參 數來編碼作為幀內圖片的圖像數據的所述圖像數據，以計算生成代碼量；由代碼量控制單元通過以下步驟來確定量化參數基於在所述第一編碼單元處計算出 的生成代碼量執行對用於實現目標生成代碼量的量化參數和在採用該量化參數時的生成 代碼量的預測，並且根據在所述第二編碼單元處計算出的生成代碼量來校正該預測出的生 成代碼量以使得校正後的生成代碼量實現所述目標生成代碼量；以及由第三編碼單元執行的第三編碼，利用在所述代碼量控制單元處確定的量化參數來編 碼所述圖像數據。
全文摘要
本發明提供了一種圖像編碼設備和圖像編碼方法。圖像編碼設備包括第一編碼單元，用於利用固定的量化參數來編碼圖像數據以計算生成代碼量；第二編碼單元，用於利用多個不同的量化參數並且針對各個量化參數來編碼作為幀內圖片的圖像數據的所述圖像數據，以計算生成代碼量；代碼量控制單元，用於通過基於在第一編碼單元處計算出的生成代碼量預測用於實現目標生成代碼量的量化參數和在採用該量化參數時的生成代碼量、並且根據在第二編碼單元處計算出的生成代碼量來校正該預測出的生成代碼量來確定量化參數以實現目標生成代碼量；以及第三編碼單元，用於利用在代碼量控制單元處確定的量化參數來編碼圖像數據。
文檔編號H04N7/50GK101969556SQ20101023393
公開日2011年2月9日 申請日期2010年7月20日 優先權日2009年7月27日
發明者小籔恭平, 渕江孝明 申請人:索尼公司