運動圖像編碼/解碼方法和裝置的製作方法
2023-10-20 12:00:22 2
專利名稱：運動圖像編碼/解碼方法和裝置的製作方法
技術領域：
本發明涉及一種編碼/解碼衰減(fade)視頻和漸隱(dissolving)視頻，尤其是以高效率編碼/解碼衰減視頻和漸隱視頻的視頻編碼/解碼方法和裝置。
背景技術：
運動補償預測幀間編碼用作視頻編碼標準方案例如ITU-TH.261，H.263，ISO/IEC MPEG-2，或MPEG-4中的編碼模式之一。作為運動補償預測幀間編碼中的預測模型，使用當亮度在時間方向上沒有發生改變時表現出最高預測效率的模型。在圖像亮度改變的衰減視頻的情況下，至今不存在已知的方法，當例如正常圖像從黑色圖像淡入時，其對圖像亮度的變化做出正確的預測。為了保持衰減視頻的圖像質量，因此許多位是必需的。
為了解決這個問題，例如，在日本專利3166716號，「抗衰減對策視頻編碼器和編碼方法」中，衰減視頻部分被檢測，以改變位數的分配。更具體地，在漸隱視頻的情況下，許多位分配給亮度改變的漸隱的起始部分。一般地，漸隱的最後部分變成單色圖像，因此可以容易地編碼。出於這個原因，分配給該部分的位數減少。這使得能夠提高整體圖像質量，而不過分地增加位的總數。
在日本專利2938412號，「視頻亮度改變補償方法，視頻編碼裝置，視頻解碼裝置，視頻編碼或解碼程序記錄於其上的記錄介質，以及視頻的已編碼數據記錄於其上的記錄介質」中，提出一種通過根據兩個參數，即亮度變化量和對比度變化量補償基準圖像來完全解決衰減視頻的編碼方案。
在Thomas Wiegand和Berand Girod，「視頻傳輸的多幀運動補償預測」，Kluwer學術出版社2001中，提出一種基於多個幀緩衝器的編碼方案。在該方案中，已經試圖通過從保存於幀緩衝器中的多個基準幀選擇性地產生預測圖像來提高預測效率。
根據傳統的技術，為了編碼衰減視頻或漸隱視頻同時保持高的圖像質量，許多位是必需的。因此，不能期待編碼效率的提高。
發明內容
本發明的目的在於提供一種視頻編碼/解碼方法和裝置，其能夠編碼隨著時間的過去亮度改變的視頻，例如衰減視頻或漸隱視頻，尤其是以高效率編碼這種視頻。
根據本發明的第一方面，提供一種通過使用代表至少一個基準圖像的基準圖像信號和輸入視頻信號與基準圖像信號之間的運動矢量，來使輸入視頻信號經受運動補償預測編碼的視頻編碼方法，包括從多個組合中為輸入視頻信號的每個塊選擇一個組合的步驟，其中多個組合中每個包括預先為基準圖像而確定的至少一個基準圖像號碼以及預測參數，根據所選組合的基準圖像號碼和預測參數來產生預測圖像信號的步驟，產生代表輸入視頻信號和預測圖像信號之間誤差的預測誤差信號的步驟，以及編碼預測誤差信號，運動矢量的信息，和指示所選組合的索引信息的步驟。
根據本發明的第二方面，提供一種視頻解碼方法，包括解碼已編碼數據的步驟，其中已編碼數據包括代表預測圖像信號關於視頻信號的誤差的預測誤差信號，運動矢量信號，和指示至少一個基準圖像號碼和預測參數的組合的索引信息，根據由已解碼索引信息所指示的組合的基準圖像號碼和預測參數來產生預測圖像信號的步驟，以及通過使用預測誤差信號和預測圖像信號來產生再現視頻信號的步驟。
如上所述，根據本發明，使用基準圖像號碼和預測參數的組合或者與指定的基準圖像號碼相對應的多個預測參數的組合準備有多個不同的預測方案。這使得能夠基於具有較高預測效率的預測方案，對於正確的預測圖像信號不能由視頻編碼例如衰減視頻或漸隱視頻的一般預測方案產生的這種視頻信號，產生正確的預測圖像信號。
另外，視頻信號是包括為逐行信號的每個幀而獲得的圖像信號，為通過合併交錯信號的兩個場而獲得的每個幀而獲得的圖像信號，以及為交錯信號的每個場而獲得的圖像信號的信號。當視頻信號是以幀為基礎的圖像信號時，基準圖像信號號碼指示以幀為基礎的基準圖像信號。當視頻信號是以場為基礎的圖像信號時，基準圖像信號號碼指示以場為基礎的基準圖像信號。
這使得能夠基於具有較高預測效率的預測方案，對於正確的預測圖像信號不能由視頻編碼例如衰減視頻或漸隱視頻的一般預測方案產生、包括幀結構和場結構的這種視頻信號，產生正確的預測圖像信號。
此外，基準圖像號碼或預測參數本身的信息並不從編碼端發送到解碼端，但是指示基準圖像號碼和預測參數的組合的索引信息發送，或者基準圖像號碼獨立地發送。在這種情況下，編碼效率可以通過發送指示預測參數的組合的索引信息來提高。
圖1是顯示根據本發明第一實施方案的視頻編碼裝置方案的框圖；圖2是顯示圖1中幀存儲器/預測圖像產生器的詳細方案的框圖；圖3是顯示第一實施方案中使用的、基準幀號碼和預測參數的組合的表格的實例的視圖；圖4是顯示第一實施方案中為每個宏塊選擇預測方案(基準幀號碼和預測參數的組合)並且確定編碼模式的順序的實例的流程圖；圖5是顯示根據第一實施方案的視頻解碼裝置方案的框圖；圖6是顯示圖5中幀存儲器/預測圖像產生器的詳細方案的框圖；圖7是顯示根據本發明第二實施方案，在基準幀的號碼為一併且基準幀號碼作為模式信息發送的情況下預測參數的組合的表格的實例的視圖；圖8是顯示根據第二實施方案，在基準幀的號碼為二並且基準幀號碼作為模式信息發送的情況下預測參數的組合的表格的實例的視圖；圖9是顯示根據本發明第三實施方案，在基準幀的號碼為一的情況下基準圖像號碼和預測參數的組合的表格的實例的視圖；圖10是顯示根據第三實施方案僅亮度信號的表格的實例的視圖；圖11是顯示當索引信息將被編碼時每個塊的語法的實例的視圖；圖12是顯示當預測圖像將通過使用一個基準圖像來產生時，已編碼位流的具體實例的視圖；圖13是顯示當預測圖像將通過使用兩個基準圖像來產生時，已編碼位流的具體實例的視圖；圖14是顯示根據本發明第四實施方案，當待編碼信息是前場(topfield)時，基準幀號碼，基準場號碼，和預測參數的表格的實例的視圖；以及圖15是顯示根據本發明第四實施方案，當待編碼信息是後場(bottom field)時，基準幀號碼，基準場號碼，和預測參數的表格的實例的視圖。
具體實施例方式
本發明的實施方案將參考附隨附圖的幾個視圖在下面描述。
(關於編碼端)圖1顯示根據本發明第一實施方案的視頻編碼裝置的方案。視頻信號100例如以幀為基礎輸入到視頻編碼裝置。視頻信號100輸入到減法器101。減法器101計算視頻信號100和預測圖像信號212之間的差，以產生預測誤差信號。模式選擇開關102選擇預測誤差信號或視頻信號100。正交變換器103使所選信號經受正交變換，例如離散餘弦變換(DCT)。正交變換器103產生正交變換係數信息，例如DCT係數信息。正交變換係數信息由量化器104量化，並分支成兩路。分支成兩路的一個量化正交變換係數信息210導向到變長編碼器111。
分支成兩路的另一個量化正交變換係數信息210繼續由解量化器或反向量化器105和反向正交變換器106經受與量化器104和正交變換器103中相反的處理，以重構成預測誤差信號。之後，加法器107將重構的預測誤差信號加到通過開關109輸入的預測圖像信號212，以產生局部解碼視頻信號211。局部解碼視頻信號211輸入到幀存儲器/預測圖像產生器108。
幀存儲器/預測圖像產生器108選擇準備的基準幀號碼和預測參數的多個組合中的一個。由所選組合的基準幀號碼所指示的基準幀的視頻信號(局部解碼視頻信號211)的線性和根據所選組合的預測參數來計算，並且作為結果的信號加到基於預測參數的偏移量。通過該操作，在這種情況下，基準圖像信號以幀為基礎產生。接著，幀存儲器/預測圖像產生器108通過使用運動矢量來運動補償基準圖像信號，以產生預測圖像信號212。
在該過程中，幀存儲器/預測圖像產生器108產生運動矢量信息214和指示基準幀號碼與預測參數的所選組合的索引信息125，並且將選擇編碼模式所必需的信息發送到模式選擇器110。運動矢量信息214和索引信息215輸入到變長編碼器111。幀存儲器/預測圖像產生器108隨後將詳細描述。
模式選擇器110基於來自幀存儲器/預測圖像產生器108的預測信息P選擇以宏塊為基礎的編碼模式，即選擇幀內編碼模式或運動補償的預測幀間編碼模式，並且輸出開關控制信號M和S。
在幀內編碼模式中，開關102和112由開關控制信號M和S切換到A端，並且輸入視頻信號100輸入到正交變換器103。在幀間編碼模式中，開關102和112由開關控制信號M和S切換到B端。因此，來自減法器101的預測誤差信號輸入到正交變換器103，並且來自幀存儲器/預測圖像產生器108的預測圖像信號212輸入到加法器107。模式信號213從模式選擇器110輸出，並且輸入到變長編碼器111。
變長編碼器111使量化正交變換係數信息210，模式信息213，運動矢量信息214，和索引信息215經受變長編碼。由該操作產生的變長碼由乘法器114多路復用。然後，作為結果的數據由輸出緩衝器115平滑。從輸出緩衝器115輸出的已編碼數據116發送出，到傳輸系統或存儲系統(沒有顯示)。
編碼控制器113控制編碼部件112。更具體地，編碼控制器113監控輸出緩衝器115的緩衝量，並且控制編碼參數例如量化器104的量化步長，以使得緩衝量恆定。
(關於幀存儲器/預測圖像產生器108)圖2顯示圖1中的幀存儲器/預測圖像產生器108的詳細方案。參考圖2，從圖1中的加法器107輸入的局部解碼視頻信號211在存儲控制器201的控制下存儲在幀存儲器組202中。幀存儲器組202具有用於暫時保存作為基準幀的局部解碼視頻信號211的多個(N個)幀存儲器FM1～FMN。
在預測參數控制器203中，準備有預先作為表格的、基準幀號碼和預測參數的多個組合。預測參數控制器203基於視頻信號100，選擇基準幀的基準幀號碼和用來產生預測圖像信號212的預測參數的組合，並且輸出指示所選組合的索引信息215。
多幀運動評估器204根據由預測參數控制器203選擇的、基準幀號碼和索引信息的組合來產生基準圖像信號。多幀運動評估器204從該基準圖像信號和輸入視頻信號100估算運動量和預測誤差，並且輸出使預測誤差達到最小的運動矢量信息214。多幀運動補償器205使用由多幀運動評估器204選擇的基準圖像信號根據運動矢量對每個塊執行運動補償，以產生預測圖像信號212。
存儲控制器201將基準幀號碼設置到每個幀的局部解碼視頻信號，並且將每個幀存儲在幀存儲器組202的幀存儲器FM1～FMN的一個中。例如，各個幀從最靠近輸入圖像的幀開始順序編號。相同的基準幀號碼可以為不同的幀而設置。在這種情況下，例如，使用不同的預測參數。靠近輸入圖像的幀從幀存儲器FM1～FMN中選擇，並且發送到預測參數控制器203。
(關於基準幀號碼和預測參數的組合的表格)圖3顯示在預測參數控制器203中準備的、基準幀號碼和預測參數的組合的表格的實例。「索引」對應於可以為每個塊選擇的預測圖像。在這種情況下，存在有八種類型的預測圖像。基準幀號碼n是用作基準幀的局部解碼視頻的號碼，並且在這種情況下，指示與n個過去的幀相對應的局部解碼視頻的號碼。
當預測圖像信號212通過使用存儲在幀存儲器組202中的多個基準幀的圖像信號來產生時，多個基準幀號碼被指定，並且(基準幀的數目+1個)係數為亮度信號(Y)和色差信號(Cb和Cr)的每個而指定作為預測參數。在這種情況下，如由等式(1)～(3)所指示的，n假設基準幀的數目，n+1個預測參數Di(i＝，...，n+1)為亮度信號Y而準備；n+1個預測參數Ei(i＝，...，n+1)為色差信號Cb而準備；並且n+1個預測參數Fi(i＝，...，n+1)為色差信號Cr而準備Yt=i=1nDiYt-i+Dn+1---(1)]]>Cbt=i=1nEiCbt-i+En+1---(2)]]>Crt=i=1nFiCrt-i+Fn+1---(3)]]>該操作將參考圖3更詳細地描述。參考圖3，每個預測參數的最後一個數代表偏移量，並且每個預測參數的第一個數代表加權因子(預測係數)。對於索引0，基準幀的數目由n＝2給出，基準幀號碼是1，並且預測參數對於亮度信號Y和色差信號Cr和Cb的每個是1和0。如在這種情況下預測參數是1和0表示，與基準幀號碼「1」相對應的局部解碼視頻信號乘以1並且加上偏移量0。換句話說，與基準幀號碼1相對應的局部解碼視頻信號變成基準圖像信號而沒有任何改變。
對於索引1，作為與基準幀號碼1和2相對應的局部解碼視頻信號的兩個基準幀被使用。根據亮度信號Y的預測參數2，-1，和0，與基準幀號碼1相對應的局部解碼視頻信號加倍，並且與基準幀號碼2相對應的局部解碼視頻信號從作為結果的信號中減去。然後，偏移量0加到作為結果的信號。即，外推法預測從兩個幀的局部解碼視頻信號執行，以產生基準圖像信號。對於色差信號Cr和Cb，因為預測參數是1，0，和0，與基準幀號碼1相對應的局部解碼視頻信號用作基準圖像信號，而沒有任何改變。與索引1相對應的該預測方案對於漸隱視頻特別有效。
對於索引2，根據預測參數5/4和16，與基準幀號碼1相對應的局部解碼視頻信號乘以5/4並且與偏移量16相加。對於色差信號Cr和Cb，因為預測參數是1，色差信號Cr和Cb變成基準圖像信號而沒有任何改變。該預測方案對於從黑色幀的淡入視頻特別有效。
如此，基準圖像信號可以基於具有待使用基準幀的號碼和預測參數的不同組合的多個預測方案來選擇。這使得該實施方案能夠完全解決因缺乏正確的預測方案而已經經受圖像質量的退化的衰減視頻和漸隱視頻。
(關於選擇預測方案和確定編碼模式的順序)該實施方案中為每個宏塊選擇預測方案(基準幀號碼和預測參數的組合)並且確定編碼模式的具體順序的實例將緊接著參考圖4來描述。
首先，最大可假定值設置到變量min_D(步驟S101)。LOOP1(步驟S102)表示幀間編碼中預測方案的選擇的重複，並且變量i代表圖3中「索引」的值。在這種情況下，為了獲得每個預測方案的最佳運動矢量，每個索引(基準幀號碼和預測參數的每個組合)的估計值D從與運動矢量信息214相關的位數(從變長編碼器111輸出的變長碼中與運動矢量信息214相對應的位數)和預測誤差絕對值總和來計算，並且選擇使估計值D達到最小的運動矢量(步驟S103)。估計值D與min_D相比較(步驟S104)。如果估計值D小於min_D，估計值D設置到min_D，並且索引i賦值到min_i(步驟S105)。
然後計算幀內編碼的估計值D(步驟S106)。估計值D與min_D相比較(步驟S107)。如果該比較指示min_D小於估計值D，模式MODE確定為幀間編碼，並且min_i賦值到索引信息INDEX(步驟S108)。如果估計值D較小，模式MODE確定為幀內編碼(步驟S109)。在這種情況下，估計值D設置為具有相同量化步長的位數的估計值。
(關於解碼端)與圖1中所示的視頻編碼裝置相對應的視頻解碼裝置將緊接著描述。圖5顯示根據該實施方案的視頻解碼裝置的方案。從圖1中所示的視頻編碼裝置發送出並且通過傳輸系統或存儲系統發送的已編碼數據300暫時存儲在輸入緩衝器301中，並且由多路分解器302基於語法對每個幀多路分解。作為結果的數據輸入到變長解碼器303。變長解碼器303解碼已編碼數據300的每個語法的變長碼，以再現量化正交變換係數，模式信息413，運動矢量信息414，和索引信息415。
在再現的信息中，量化正交變換係數由解量化器304解量化，並且由反向正交變換器305反向地正交變換。如果模式信息413指示幀內編碼模式，再現視頻信號從反向正交變換器305輸出。然後，該信號通過加法器306作為再現視頻信號310輸出。
如果模式信息413指示幀間編碼模式，預測誤差信號從反向正交變換器305輸出，並且模式選擇開關309導通。從幀存儲器/預測圖像產生器308輸出的預測圖像信號412由加法器306加到預測誤差信號。結果，再現視頻信號310輸出。再現視頻信號310作為基準圖像信號存儲在幀存儲器/預測圖像產生器308中。
模式信息413，運動矢量信息414，和索引信息415輸入到幀存儲器/預測圖像產生器308。模式信息413也輸入到模式選擇開關309。在幀內編碼模式中，模式選擇開關309關閉。在幀間編碼模式中，開關導通。
像圖1中編碼端上的幀存儲器/預測圖像產生器108一樣，幀存儲器/預測圖像產生器308包括作為表格的、基準幀號碼和預測參數的多個準備的組合，並且從表格中選擇由索引信息415所指示的一個組合。由所選組合的基準幀號碼所指示的基準幀的視頻信號(再現視頻信號210)的線性和根據所選組合的預測參數來計算，並且基於預測參數的偏移量加到作為結果的信號。通過該操作，基準圖像信號產生。接著，產生的基準圖像信號通過使用由運動矢量信息414所指示的運動矢量來運動補償，從而產生預測圖像信號412。
(關於幀存儲器/預測圖像產生器308)圖6顯示圖5中的幀存儲器/預測圖像產生器308的詳細方案。參考圖6，從圖5中的加法器306輸出的再現視頻信號310在存儲控制器401的控制下存儲在幀存儲器組402中。幀存儲器組402具有用於暫時保存作為基準幀的再現視頻信號310的多個(N個)幀存儲器FM1～FMN。
預測參數控制器403預先具有作為像圖3中所示的表格的、基準幀號碼和預測參數的組合。預測參數控制器403基於來自圖5中的變長解碼器303的索引信息415，選擇基準幀的基準幀號碼和用來產生預測圖像信號412的預測參數的組合。多個多幀運動補償器404根據由預測參數控制器403選擇的、基準幀號碼和索引信息的組合來產生基準圖像信號，並且根據由來自圖5中的變長解碼器303的運動矢量信息414所指示的運動矢量，使用該基準圖像信號對每個塊執行運動補償，從而產生預測圖像信號412。
本發明的第二實施方案將緊接著參考圖7和8來描述。因為該實施方案中的視頻編碼裝置和視頻解碼裝置的整體方案幾乎與第一實施方案中相同，將僅描述與第一實施方案的差別。
在該實施方案中，描述了基於能夠根據宏塊基礎的模式信息指定多個基準幀號碼的方案來表示預測參數的方法的實例。基準幀號碼由每個宏塊的模式信息來區別。因此，該實施方案使用如圖7和8中所示的預測參數的表格，代替使用如第一實施方案中的、基準幀號碼和預測參數的組合的表格。即，索引信息不指示基準幀號碼，而僅有預測參數的組合被指定。
圖7中的表格顯示當基準幀的數目為一時預測參數的組合的實例。作為預測參數，(基準幀的數目+1個)參數，即兩個參數(一個加權因子和一個偏移量)為亮度信號(Y)和色差信號(Cb和Cr)的每個而指定。
圖8中的表格顯示當基準幀的數目為二時預測參數的組合的實例。在這種情況下，作為預測參數，(基準幀的數目+1個)參數，即三個參數(兩個加權因子和一個偏移量)為亮度信號(Y)和色差信號(Cb和Cr)的每個而指定。該表格為編碼端和解碼端而準備，其中編碼端和解碼端每個都像第一實施方案中一樣。
本發明的第三實施方案將參考圖9和10來描述。因為該實施方案中的視頻編碼裝置和視頻解碼裝置的整體方案幾乎與第一實施方案中相同，下面將僅描述與第一和第二實施方案的差別。
在第一和第二實施方案中，視頻以幀為基礎管理。但是，在該實施方案中，視頻以圖像為基礎管理。如果逐行信號和交錯信號都作為輸入圖像信號而存在，圖像不一定以幀為基礎編碼。考慮到這一點，圖像假設(a)逐行信號的一個幀的圖像，(b)通過合併交錯信號的兩個場而產生的一個幀的圖像，或者(c)交錯信號的一個場的圖像。
如果待編碼圖像是具有像(a)或(b)的幀結構的圖像，運動補償預測中使用的基準圖像也作為幀來管理，不管作為基準圖像的已編碼圖像具有幀結構還是場結構。基準圖像號碼分配給該圖像。類似地，如果待編碼圖像是具有像(c)的場結構的圖像，運動補償預測中使用的基準圖像也作為場來管理，不管作為基準圖像的已編碼圖像具有幀結構還是場結構。基準圖像號碼分配給該圖像。
等式(4)，(5)，和(6)是在預測參數控制器203中準備的、基準圖像號碼和預測參數的預測等式的實例。這些實例是使用一個基準圖像信號由運動補償預測來產生預測圖像信號的預測等式。
Y=clip((D1(i)RY(i)+2LY-1)>>LY+D2(i))---(4)]]>Cb=clip((E1(i)(RCb(i)-128)+2LC-1)>>LC+E2(i)+128)---(5)]]>Cr=clip((F1(i)(RCr(i)-128)+2LC-1)>>LC+F2(i)+128)---(6)]]>
其中，Y是亮度信號的預測圖像信號，Cb和Cr是兩個色差信號的預測圖像信號，RY(i)，RCb(i)，和RCr(i)是具有索引i的基準圖像信號的亮度信號和兩個色差信號的像素值，D1(i)和D2(i)是具有索引i的亮度信號的預測係數和偏移量，E1(i)和E2(i)是具有索引i的色差信號Cb的預測係數和偏移量，F1(i)和F2(i)是具有索引i的色差信號Cr的預測係數和偏移量。索引i表示從0(基準圖像的最大號碼-1)，並且為待編碼的每個塊(例如為每個宏塊)編碼的值。然後，作為結果的數據傳送到視頻解碼裝置。
預測參數D1(i)，D2(i)，E1(i)，E2(i)，F1(i)和F2(i)由預先在視頻編碼裝置和視頻解碼裝置之間確定的值或者編碼單位例如幀，場或片段來代表，並且與待從視頻編碼裝置傳送到視頻解碼裝置的已編碼數據一起來編碼。通過該操作，這些參數由兩個裝置共享。
等式(4)，(5)，和(6)是預測等式，其中2的冪，即，2，4，6，8，16，...選作與基準圖像信號相乘的預測係數的分母。預測等式可以消除除法的必要，並且可以通過算術移位來計算。這使得能夠避免因除法而導致的計算成本的大量增加。
在等式(4)，(5)，和(6)中，a＞＞b的「＞＞」代表將整數a向右算術移位b位的操作符。函數「clip」代表用於將「」中的值設置為0當它小於0時，並且將該值設置為255當它大於255時的裁減函數。
在這種情況下，假設LY是亮度信號的移位量，並且LC是色差信號的移位量。作為這些移位量LY和LC，使用預先在視頻編碼裝置和視頻解碼裝置之間確定的值。視頻編碼裝置以預先確定的編碼單位，例如幀，場，或片段，與表格和已編碼數據一起來編碼移位量LY和LC，並且將作為結果的數據傳送到視頻解碼裝置。這使得兩個裝置能夠共享移位量LY和LC。
在該實施方案中，像圖9和10中所示的、基準圖像號碼和預測參數的組合的表格在圖2中的預測參數控制器203中準備。參考圖9和10，索引i對應於可以為每個塊選擇的預測圖像。在這種情況下，四種類型的預測圖像與索引i的0～3對應地存在。換句話說，「基準圖像號碼」是用作基準圖像的局部解碼視頻信號的號碼。
「標記(flag)」是指示使用預測參數的預測等式是否應用於由索引i所指示的基準圖像號碼的標記。如果標記為「0」，運動補償預測通過使用與由索引i所指示的基準圖像號碼相對應的局部解碼視頻信號來執行，而不使用任何預測參數。如果標記為「1」，預測圖像通過使用與由索引i所指示的基準圖像號碼相對應的局部解碼視頻和預測參數根據等式(4)，(5)，和(6)來產生，從而執行運動補償預測。該標記信息也通過使用預先在視頻編碼裝置和視頻解碼裝置之間確定的值，或者以預先確定的編碼單位，例如幀，場或片段，與表格和已編碼數據一起在視頻編碼裝置中編碼。作為結果的數據傳送到視頻解碼裝置。這使得兩個裝置能夠共享標記信息。
在這些情況下，當索引i＝0時，關於基準圖像號碼105，預測圖像通過使用預測參數來產生，而當i＝1時，運動補償預測執行而不使用任何預測參數。如上所述，對於同一基準圖像號碼，可能存在多個預測方案。
圖9中所示的表格具有與等式(4)，(5)，和(6)相一致地分配給亮度和兩個色差信號的預測參數D1(i)，D2(i)，E1(i)，E2(i)，F1(i)和F2(i)。圖10顯示預測參數僅分配給亮度信號的表格的實例。一般地，與亮度信號的位數相比較，色差信號的位數不是非常大。出於這個原因，為了減少產生預測圖像所需的計算量以及表格中傳輸的位數，表格被準備，其中色差信號的預測參數被省略，如圖10中所示，並且預測參數僅分配給亮度信號。在這種情況下，僅等式(4)用作預測等式。
等式(7)～(12)是使用多個(在這種情況下，兩個)基準圖像的情況下的預測等式。
PY(i)=(D1(i)RY(i)+2LY-1)>>LY+D2(i)---(7)]]>PCb(i)=(E1(i)(RCb(i)-128)+2LC-1)>>LC+E2(i)+128---(8)]]>PCr(i)=(F1(i)(RCr(i)-128)+2LC-1)>>LC+F2(i)+128---(9)]]>Y＝clip((PY(i)+PY(j)+1)＞＞1) (10)
Cb＝clip((PCb(i)+PCb(j)+1)＞＞1) (11)Cr＝clip((PCr(i)+PCr(j)+1)＞＞1) (12)預測參數D1(i)，D2(i)，E1(i)，E2(i)，F1(i)，F2(i)，LY和LC以及標記的信息件數是預先在視頻編碼裝置和視頻解碼裝置之間確定的，或者以編碼單位例如幀，場或片段、與已編碼數據一起編碼的值，並且從視頻編碼裝置傳送到視頻解碼裝置。這使得兩個裝置能夠共享這些件的信息。
如果待解碼圖像是具有幀結構的圖像，用於運動補償預測的基準圖像也作為幀來管理，不管作為基準圖像的已解碼圖像具有幀結構還是場結構。基準圖像號碼分配到該圖像。類似地，如果待編程圖像是具有場結構的圖像，用於運動補償預測的基準圖像也作為場來管理，不管作為基準圖像的已解碼圖像具有幀結構還是場結構。基準圖像號碼分配到該圖像。
(關於索引信息的語法)圖11顯示索引信息在每個塊中編碼的情況下語法的實例。首先，模式信息MODE對於每個塊而存在。根據模式信息MODE確定指示索引i的值的索引信息IDi和指示索引j的值的索引信息IDj是否被編碼。在已編碼的索引信息之後，索引i的運動補償預測的運動矢量信息MVi和索引j的運動預測補償的運動矢量信息MVj的已編碼信息相加，作為每個塊的運動矢量信息。
(關於已編碼位流的數據結構)圖12顯示當預測圖像通過使用一個基準圖像來產生時，每個塊的已編碼位流的具體實例。索引信息IDi在模式信息MODE之後設置，並且運動矢量信息MVi在其後設置。運動矢量信息MVi通常是二維矢量信息。依賴於由模式信息所指示的塊中的運動補償方法，多個二維矢量可以進一步發送。
圖13顯示當預測圖像通過使用兩個基準圖像來產生時，每個塊的已編碼位流的具體實例。索引信息IDi和索引信息IDj在模式信息MODE之後設置，並且運動矢量信息MVi和運動矢量信息MVj在其後設置。運動矢量信息MVi和運動矢量信息MVj通常是二維矢量信息。依賴於由模式信息所指示的塊中的運動補償方法，多個二維矢量可以進一步發送。
注意，語法和位流的上述結構可以同樣應用於所有實施方案。
本發明的第四實施方案將緊接著參考圖14和15來描述。因為該實施方案中的視頻編碼裝置和視頻解碼裝置的整體方案幾乎與第一實施方案中相同，將僅描述與第一，第二和第三實施方案的差別。在第三實施方案中，以幀為基礎的編碼和以場為基礎的編碼對於每個圖像而切換。在第四實施方案中，以幀為基礎的編碼和以場為基礎的編碼對於每個宏塊而切換。
當以幀為基礎的編碼和以場為基礎的編碼對於每個宏塊而切換時，相同的基準圖像號碼指示不同的圖像，即使在同一圖像中，依賴於宏塊是以幀為基礎編碼還是以場為基礎編碼。出於這個原因，使用第三實施方案中使用的圖9和10中所示的表格，正確的預測圖像信號可能不會產生。
為了解決這個問題，在該實施方案中，像圖14和15中所示的、基準圖像號碼和預測參數的組合的表格在圖2中的預測參數控制器203中準備。假設當宏塊將以場為基礎編碼時，與當宏塊以幀為基礎編碼時所使用的基準圖像號碼(基準幀索引號碼)相對應的預測參數相同的預測參數被使用。
圖14顯示當宏塊以場為基礎編碼並且待編碼圖像是前場時所使用的表格。每個場索引列的上排和下排分別對應於前場和後場。如圖14中所示，幀索引j與場索引k相關，使得在前場中k＝2j，在後場中k＝2j+1。基準幀號碼m與基準場號碼n相關，使得在前場中n＝2m，在後場中n＝2m+1。
圖15顯示當宏塊以場為基礎編碼並且待編碼圖像是後場時所使用的表格。像圖14中所示的表格中一樣，每個場索引列的上排和下排分別對應於前場和後場。如圖15中的表格中，幀索引j與場索引k相關，使得在前場中k＝2j+1，在後場中k＝2j。這使得能夠將作為場索引k的小值指定到同相後場。基準幀號碼m與基準場號碼n之間的關係與圖14中的表格中相同。
當宏塊將以場為基礎編碼時，幀索引和場索引通過使用圖14和15中所示的表格編碼作為索引信息。當宏塊將以幀為基礎編碼時，僅有圖14和15中的表格共有的幀索引被索引編碼作為索引信息。
在該實施方案中，預測參數通過使用一個表格分配給幀和場。但是，幀的表格和場的表格可以為一個圖像或片段而單獨準備。
上述每個實施方案已經示例以塊為基礎使用正交變換的視頻編碼/解碼方案。但是，即使使用另一種變換技術例如子波變換，已經在上面的實施方案中描述的本發明的技術也可以使用。
根據本發明的視頻編碼和解碼處理技術可以作為硬體(裝置)或作為軟體使用計算機來實現。一些處理技術可以由硬體來實現，而其他處理技術可以由軟體來實現。根據本發明，可以提供一種用於使計算機執行上面的視頻編碼或視頻解碼的程序，或者一種存儲程序的存儲介質。
工業適用性如上所述，根據本發明的視頻編碼/解碼方法和裝置適合於隨著時間的過去，亮度改變的視頻，例如尤其是衰減視頻或漸隱視頻被編碼和解碼的圖像處理領域。
權利要求
1.一種視頻解碼方法，包括解碼已編碼數據的步驟，其中已編碼數據包括代表預測圖像信號關於視頻信號的誤差的預測誤差信號、運動矢量信息、和指示至少一個基準圖像號碼和預測參數的組合的索引信息，其中預測參數包括加權因子和偏移量的信息；根據包含於索引信息中的加權因子，通過計算由包含於已解碼索引信息中的基準圖像號碼所指示的基準圖像信號的線性和、然後將包含於索引信息中的偏移量加到線性和，來根據由已解碼索引信息所指示的組合的基準圖像號碼和預測參數產生預測圖像信號的步驟；以及通過使用預測誤差信號和預測圖像信號來產生再現視頻信號的步驟。
2.根據權利要求1的視頻解碼方法，其中加權因子具有2的冪作為分母。
3.根據權利要求1的視頻解碼方法，其中視頻信號是為逐行信號的每個幀而獲得的圖像信號，或者為通過合併交錯信號的兩個場所獲得的每個幀而獲得的圖像信號，並且基準圖像號碼指示以幀為基礎的基準圖像信號的號碼。
4.根據權利要求1的視頻解碼方法，其中視頻信號是為交錯信號的每個場而輸入的圖像信號，並且基準圖像信號號碼指示以場為基礎的基準圖像信號的號碼。
5.根據權利要求1的視頻解碼方法，其中輸入視頻信號具有亮度信號和兩個色差信號，並且預測參數為亮度信號和兩個色差信號的每一個而準備。
6.根據權利要求5的視頻解碼方法，其中所述亮度信號和兩個色差信號如下確定Y=clip((D1(i)RY(i)+2LY-1)>>LY+D2(i))]]>Cb=clip((E1(i)(Rcb(i)-128)+2LC-1)>>LC+E2(i)+128)]]>Cr=clip((F1(i)(RCr(i)-128)+2LC-1)>>LC+F2(i)+128)]]>其中，Y是亮度信號的預測圖像信號，Cb和Cr是兩個色差信號的預測圖像信號，RY(i)，RCb(i)，和RCr(i)是具有索引i的基準圖像信號的亮度信號和兩個色差信號的像素值，D1(i)和D2(i)是具有索引i的亮度信號的預測係數和偏移量，E1(i)和E2(i)是具有索引i的色差信號Cb的預測係數和偏移量，F1(i)和F2(i)是具有索引i的色差信號Cr的預測係數和偏移量，索引i表示從0開始的值，基準圖像的最大號碼-1。
7.一種視頻解碼方法，包括解碼已編碼數據的步驟，其中已編碼數據包括代表預測圖像信號關於視頻信號的誤差的預測誤差信號、運動矢量信息、和指示指定的基準圖像號碼和預測參數的組合的索引信息，預測參數包括加權因子和偏移量的信息；根據包含於索引信息中的加權因子，通過計算由已解碼基準圖像號碼所指示的基準圖像信號的線性和、然後將包含於索引信息中的偏移量加到線性和，來根據由已解碼索引信息所指示的組合的已解碼基準圖像號碼和預測參數產生預測圖像信號的步驟；以及通過使用預測誤差信號和預測圖像信號來產生再現視頻信號的步驟。
8.一種視頻解碼方法，包括解碼已編碼數據的步驟，其中已編碼數據包括代表預測圖像信號關於視頻信號的誤差的預測誤差信號、運動矢量信息、和指示指定的基準圖像號碼和預測參數的組合的索引信息；根據由已解碼索引信息所指示的組合的基準圖像號碼和預測參數來產生預測圖像信號的步驟；以及通過使用預測誤差信號和預測圖像信號來產生再現視頻信號的步驟，其中，視頻信號是包括為逐行信號的每個幀而獲得的圖像信號、為通過合併交錯信號的兩個場而獲得的每個幀而獲得的圖像信號、以及為交錯信號的每個場而獲得的圖像信號的信號，當視頻信號是以幀為基礎的圖像信號時，基準圖像信號號碼指示以幀為基礎的基準圖像信號，而當視頻信號是以場為基礎的圖像信號時，基準圖像信號號碼指示以場為基礎的基準圖像信號。
9.根據權利要求8的視頻解碼方法，其中預測參數包括加權因子和偏移量的信息，並且產生預測圖像信號的步驟包括根據包含於索引信息中的加權因子，計算由包含於已解碼索引信息中的基準圖像號碼所指示的基準圖像信號的線性和，然後將包含於索引信息中的偏移量加到線性和的步驟。
10.一種視頻解碼裝置，包括解碼器，用於解碼已編碼數據，其中已編碼數據包括代表預測圖像信號關於視頻信號的誤差的預測誤差信號、運動矢量信息、和指示至少一個基準圖像號碼和預測參數的組合的索引信息，其中預測參數包括加權因子和偏移量的信息；預測圖像產生器，根據包含於索引信息中的加權因子，通過計算由包含於已解碼索引信息中的基準圖像號碼所指示的基準圖像信號的線性和、然後將包含於索引信息中的偏移量加到線性和，來根據由已解碼索引信息所指示的組合的基準圖像號碼和預測參數產生預測圖像信號；以及再現視頻產生器，通過使用預測誤差信號和預測圖像信號來產生再現視頻信號。
11.一種視頻解碼裝置，包括解碼器，用於解碼已編碼數據，其中已編碼數據包括代表預測圖像信號關於視頻信號的誤差的預測誤差信號、運動矢量信息、和指示指定的基準圖像號碼和預測參數的組合的索引信息，預測參數包括加權因子和偏移量的信息；預測圖像產生器，根據包含於索引信息中的加權因子，通過計算由已解碼基準圖像號碼所指示的基準圖像信號的線性和、然後將包含於索引信息中的偏移量加到線性和，來根據由已解碼索引信息所指示的組合的已解碼基準圖像號碼和預測參數產生預測圖像信號；以及再現視頻產生器，通過使用預測誤差信號和預測圖像信號來產生再現視頻信號。
全文摘要
本發明公開一種運動圖像編碼/解碼裝置，包括圖像存儲器/預測圖像產生器(108)。該圖像存儲器/預測圖像產生器(108)從預先準備的至少一個基準圖像號碼和預測參數之間的多個組合中選擇一個組合，並且根據所選組合的基準圖像號碼和預測參數來產生預測圖像信號(212)。該裝置使用變長編碼器(111)來編碼關於預測圖像信號(212)對於輸入運動圖像信號(100)的預測誤差信號的正交變換係數信息(210)、指示編碼模式的模式信息(213)、運動矢量信息(214)以及指示所選基準圖像號碼和預測參數的組合的索引信息(215)。
文檔編號H04N7/50GK1863315SQ20061008995
公開日2006年11月15日 申請日期2003年4月18日 優先權日2002年4月18日
發明者中條健, 古藤晉一郎, 菊池義浩 申請人:株式會社東芝