用於對來自數位化圖像序列的符號編碼的方法

2023-12-02 10:34:51 1

專利名稱：用於對來自數位化圖像序列的符號編碼的方法
技術領域：
本發明涉及一種用於對來自數位化圖像序列的符號編碼的方法以及一種相應的解碼方法。此外，本發明涉及一種用於執行該編碼方法及解碼方法的編碼設備和解碼設備。
背景技術：
視頻編碼方法一般以兩個處理過程來執行。首先，圖像在視頻流中以適當的方式藉助於預測和變換被去相關。去相關步驟的結果是變換係數、運動矢量、其他編碼信息等形式的符號。之後經常還接著對所產生的符號進行量化，由此提高壓縮效率。在第二處理過程中，對所生成的符號進行無損耗的熵編碼，其中在所生成的符號中的仍存在的冗餘、也即所述符號的出現概率及其統計學上的彼此相關性被充分利用，以便從符號中產生具有數據流的儘可能短的總長度的儘可能短的代碼字。
從現有技術中已知用於熵編碼的不同方法。在VLC編碼(VLC=Variable Length Coding，可變長度編碼)情況下，每個所生成的符號被雙射地映射到代碼字上。在符號和相應的代碼字之間的關係在此通過代碼表、例如查找表來表示。
熵編碼的另一常用的方法是算術編碼。與符號被變換成代碼字的VLC編碼不同， 在算術編碼情況下從多個符號中生成單個代碼字。在算術編碼情況下，符號基於其頻率優選地被映射到二進位數，使得獲得相繼的符號的二進位表示。
通常，熵編碼方法基於以下原理從出現的符號的頻率中推導出一個或多個概率模型，基於所述概率模型產生短代碼字，也即對於具有高頻率的符號或符號序列，利用熵編碼來生成比對於具有低頻率的符號或符號序列更短的代碼字。一般，熵編碼方法基於上下文，也即區分符號的不同類型，所述符號的不同類型表示不同的信息。對於符號的不同類型，出現的符號的頻率分開地在自己的上下文中並且從而基於自己的概率模型來處理。上下文在視頻編碼方法中必要時也可以與其他準則有關，例如圖像區域的編碼可以與圖像中相鄰的圖像區域的編碼決策有關。另外，熵編碼方法經常自適應地被設計，也即概率模型基於出現的符號的變化頻率在編碼時相應地被匹配。
為了提高熵編碼方法的編碼速度，從現有技術中已知不同的方法。在視頻編碼標準H. 264/AVC中，視頻流的圖像被分成所謂的切片，其中每個切片是圖像的一部分，該部分可以完全與其他部分無關地被編碼。也就是說，最初符號的生成以及基於熵編碼對代碼字的隨後的生成均不具有在不同切片之間的相關性。因此，概率模型或上下文不越過切片被匹配。這導致更差的壓縮效率。
從現有技術中另外已知將視頻圖像劃分成所謂的熵切片(Entropy-Slice)(參見印刷品[2])。與上述傳統的切片不同，熵切片允許符號之間的相關性，例如內部預測。只有基於熵編碼產生代碼字是在各個熵切片之間無關的。通過使用熵切片，與傳統的切片相比， 壓縮效率得以提高。儘管如此，還存在缺點，即對於不同的熵切片的符號使用不同的統計， 這又減小了熵編碼的效率。
在文獻[1]中，描述了所謂的有序熵切片的概念，所述有序熵切片改善了上述熵切片的特性。在此，對於熵編碼允許越過熵切片來形成上下文。因此考慮在熵切片之間的統計相關性並且由此改善編碼效率。此外，圖像中的各個宏塊在編碼時不逐行地被讀入，而是以之字形(zickzack-fSrmig)來讀入。這在圖IA至IC中加以說明。這些圖示出根據印刷品[1]讀入宏塊的不同變型，其中各個宏塊作為相繼的矩形被再現並且出於清晰性原因僅部分地用附圖標記MB表示。圖IA示出按行讀入宏塊，如通過垂直線Ll所表明的。在考慮上下文的情況下一一在該上下文中為了對宏塊編碼左側、左上、右側和右上的相鄰的宏塊必須是可用的，在該變型的情況下存在以下問題不能並行地處理宏塊的多個行。與此不同，在以之字形處理宏塊時基於根據圖IB的線L2能夠實現每兩行的並行處理，因為如果讀入了第一行對的五個宏塊，則已經可以開始在第三行中對後續熵切片的第一宏塊進行編碼。圖IC示出以之字形讀入宏塊的另一變型，其中現在能夠根據線L3實現每有序熵切片三個行的處理。
熵切片的另一變型是所謂的交錯熵切片，所述交錯熵切片在印刷品[4]中得以描述。在此，切片不是連續的行，而是各個切片的行是相互嵌套的。這再次在圖2A和2B中加以說明。圖2A在此示出將圖像I劃分成兩個傳統的熵切片SLl和SL2，其中圖像的上面的一半構成具有宏塊MBl的連續的切片SL1，並且下面的圖像部分SL2構成具有相應的宏塊 MB2 (陰影線所示)的相連的切片SL2。與該傳統的切片不同，在圖2B中示出交錯熵切片的例子。在此，相應的切片SL1，或SL2，通過彼此偏移一行的宏塊行構成。切片SL1，在圖2B 中用全平面的宏塊ΜΒΓ表明並且通過第一、第三、第五等行構成。與此相對，切片SL2』通過陰影線的宏塊MB2』表明並且通過第二、第四、第六等行構成。交錯熵切片能夠實現越過熵切片的上下文形成。但是對於為熵編碼所使用的概率模型不生成共同的統計。
為了改善視頻編碼方法中的壓縮效率，另外在印刷品W]中描述了句法元素分割。在此，對於不同群的句法元素(例如模式信息、運動矢量、變化係數)產生多個代碼字。 因為各個群具有不同的上下文，所以也分開地執行上下文形成。因為不同群的相對頻率是不同的，所以在使用並行的編碼分支的情況下對於各個編碼分支不均衡在編碼時的計算負荷。
在文獻[3]中描述了算術編碼的特殊變型，其中在編碼時並行地處理兩個二進位符合。通過這種方式可以在一個編碼循環中編碼四個狀態而不是兩個狀態。但是，在編碼的該方式情況下上下文形成是複雜的並且每編碼循環需要多個操作。發明內容
本發明的任務是，這樣改善數位化圖像序列中的符號的熵編碼，使得在編碼效率同時高的情況下能夠實現對多個圖像區域的並行處理。
該任務通過根據權利要求1的編碼方法和根據權利要求14的解碼方法和根據權利要求16的編碼設備和根據權利要求18的解碼設備來解決。本發明的擴展在從屬權利要求中予以定義。
在用於對來自數位化圖像序列的符號編碼的本發明方法中，圖像被劃分成圖像區域，並且相應圖像區域的符號藉助於熵編碼被編碼，其中熵編碼基於一個或多個概率模型。 表述「圖像區域」在這裡和在下面可以廣義地來解釋並且可以涉及任意形式的圖像片段。但是在優選的變型中，圖像區域是圖像塊，例如從視頻編碼中已知的宏塊。所述概率模型在此考慮在圖像區域中出現的符號的頻率。因此通過概率模型經由相應的出現頻率而對相應符號的概率進行建模，其中如果使用具有不同統計的不同類型的符號，則可以使用多個概率模型。
根據本發明，在編碼循環中這樣處理圖像區域，使得在一個編碼循環中在多個並行的編碼分支中進行熵編碼。在此可以將並行的編碼分支理解為同時或時間上重疊地執行圖像區域的熵編碼的編碼分支。由此通過使用並行工作的熵編碼器對於每個編碼分支實現快速的熵編碼。根據本發明，在此在相應的編碼分支中基於概率模型組對圖像區域編碼，其中概率模型組可以包括一個或多個概率模型。在此在相應的編碼分支中對圖像區域編碼的情況下，對於該概率模型組基於在圖像區域中出現的符號來適配頻率。
本發明方法的特點在於，在每個編碼分支中用於編碼的該概率模型組基於共同的、對於所有編碼分支有效的概率模型組，其中所述共同的組考慮所有編碼分支的圖像區域中的符號的頻率。該共同的概率模型組在此以預先確定的時間間隔基於在至少一個時間在前的編碼循環中適配的頻率來更新。「時間在前的編碼循環」在此可以被理解為在更新所述共同的概率模型組之前(緊接著或也已經過去較長時間)經歷的編碼循環。
本發明方法具有優點，即一方面通過使用並行的編碼分支實現符號的快速編碼並且另一方面通過考慮所有編碼分支的統計在共同的概率模型組中確保高編碼效率。
所述共同的概率模型組的更新可以根據本發明通過不同的方式進行。在一種變型中，所述共同的概率模型組的更新至少有時順序地這樣執行，使得在時間上相繼的更新時考慮不同編碼分支的適配的頻率。可替代地或附加地，也可以在預先給定的同步時刻至少有時進行所述共同的概率模型組的更新，在所述同步時刻，所述共同的概率模型組基於至少一個在前編碼循環的所有編碼分支的適配頻率被更新。
在本發明的一種變型中，所述共同的概率模型組可以基於在時間上直接在前的編碼循環中適配的頻率被更新。為了避免編碼分支相互阻止，另外存在以下可能性，即所述共同的概率模型組的更新基於在時間上不直接在前的編碼循環中適配的頻率進行。通過這種方式，更新被延遲一個或多個編碼循環。
在本發明方法的另一變型中，在相應的編碼分支中對圖像區域編碼之後，將適配的頻率中間存儲在中間的、分配給該相應的編碼分支的概率模型組中，其中一個或多個中間存儲的中間的概率模型組結合共同的概率模型組被用於相應編碼分支中的熵編碼，直至對共同的概率模型組更新為止。通過臨時中間存儲適配的頻率可以以簡單的方式實現根據本發明的編碼的不同變型。
在本發明方法中，基於任意的、從現有技術中已知的熵編碼方法對相應的圖像區域進行熵編碼。尤其是可以使用已經在開頭所提及的VLC編碼和/或算術編碼。例如，可以使用從視頻編碼標準H. 264/AVC已知的CAVLC編碼(CAVLC=Context_based Adaptive Variable Length Coding，基於上下文的自適應可變長度編碼)或CABAC編碼 (CABAC=Context-based Adaptive Binary Arithmetic Coding，白勺自iSiS二 制算術編碼)。
在本發明方法中可以通過不同的方式來將圖像區域布置在編碼分支中。尤其是可以這樣設計編碼分支，使得編碼循環通過根據圖像中的圖像區域的以行或列方式的走向相繼的圖像區域構成。同樣可能的是，這樣設計編碼分支，使得編碼循環通過根據圖像中的圖像區域的之字形走向相繼的圖像區域構成。通過最後所述的變型，尤其是也可以在考慮相鄰圖像區域的上下文的情況下實現編碼。
本發明方法也可以以適當的方式與已知的編碼方法組合，在所述已知的編碼方法中，圖像被劃分成圖像片段，所述圖像片段分開地被熵編碼。圖像片段在此可以至少有時在不考慮圖像片段之間的相關性的情況下和/或至少有時在考慮圖像片段之間的相關性的情況下被編碼。在不考慮相關性的情況下編碼的實施形式是基於切片的開頭所提及的分割。在考慮相關性的情況下編碼的變型是基於熵切片對圖像的開頭所提及的分割。
用於熵編碼的本發明方法可以與任意的、從現有技術中已知的視頻編碼方法組合。尤其是可以基於標準H. 264從數位化圖像序列中生成符號。優選地，通過從現有技術中充分已知的變換(例如DCT變換)和同樣從現有技術中已知的對圖像區域的量化從數位化圖像序列中產生符號。
除了上述編碼方法之外，本發明此外包括一種解碼方法，利用所述解碼方法對根據本發明編碼的來自數位化圖像序列的符號進行解碼。在此，類似於編碼方法，所編碼的圖像區域在解碼循環中這樣被處理，使得在解碼循環中在多個並行的解碼分支中進行熵解碼，其中在相應的解碼分支中基於概率模型組對所編碼的圖像區域解碼，其中頻率在對所編碼的圖像區域解碼時基於在所解碼的圖像區域中出現的符號對於該概率模型組被適配。
在每個解碼分支中用於解碼的概率模型組在此基於共同的、對於所有解碼分支有效的概率模型組，該概率模型組考慮所有解碼分支的所解碼圖像區域中的符號的頻率。該共同的概率模型組以預先確定的時間間隔基於在至少一個時間在前的解碼循環中適配的頻率被更新。
本發明此外涉及一種用於對數位化圖像序列編碼和解碼的方法，其中來自數位化圖像序列的符號利用上述編碼方法被編碼並且接著例如在經由傳輸線段被傳輸之後利用上述本發明解碼方法被解碼。
本發明此外涉及一種用於對來自數位化圖像序列的符號編碼的設備，其中圖像被劃分成圖像區域並且相應圖像區域的符號可以通過所述設備藉助於熵編碼被編碼，所述熵編碼基於一個或多個概率模型，其中所述一個或多個概率模型考慮在圖像區域中出現的符號的頻率，其中所述設備包括處理單元，所述處理單元包含-用於將圖像區域分成編碼循環使得在編碼循環中在多個並行的編碼分支中進行熵編碼的裝置；-多個編碼裝置，其中每個編碼法裝置這樣用於相應編碼分支的熵編碼，使得圖像區域在相應的編碼分支中基於概率模型組被編碼，其中每個編碼裝置包括-用於在對圖像區域編碼時基於在圖像區域中出現的符號針對所述概率模型組適配頻率 的適配裝置，-用於這樣處理共同的概率模型使得在相應的編碼分支中用於編碼的概率模型組基於共同的對於所有編碼分支有效的概率模型組的裝置，所述共同的概率模型組考慮所有編碼分支的圖像區域中的符號的頻率；-用於以預先確定的時間間隔基於在至少一個時間在前的編碼循環中適配的頻率來更新該共同的概率模型組的裝置。
本發明編碼設備因此適用於基於本發明方法對來自數位化圖像序列的符號進行編碼，其中尤其是可以利用編碼設備的相應的其他裝置實現本發明方法的上述實施形式中的一個或多個。
除了編碼設備之外，本發明還包括一種用於對來自數位化圖像序列的符號解碼的相應的解碼設備，其中圖像被劃分成圖像區域並且相應圖像區域的符號藉助於熵編碼基於本發明編碼方法被編碼，其中熵編碼基於一個或多個概率模型，其中所述一個或多個概率模型考慮在所解碼的圖像區域中出現的符號的頻率。所述設備在此包括處理單元，所述處理單元包含-用於將所編碼的圖像區域分成解碼循環使得在解碼循環中在多個並行的編碼分支中進行熵解碼的裝置；-多個解碼裝置，其中每個解碼裝置這樣用於相應解碼分支的熵解碼，使得所編碼的圖像區域在相應的解碼分支中基於概率模型組被解碼，其中每個解碼裝置包括-用於在對所編碼的圖像區域解碼時基於在所解碼的圖像區域中出現的符號針對所述概率模型組適配頻率的適配裝置，-用於這樣處理共同的概率模型使得在相應的解碼分支中用於解碼的概率模型組基於共同的對所有解碼分支有效的概率模型組的裝置，所述共同的概率模型組考慮所有解碼分支的所解碼的圖像區域中的符號的頻率；-用於以預先確定的時間間隔基於在至少一個時間在前的解碼循環中適配的頻率來更新共同的概率模型組的裝置。
除了上述編碼設備和上述解碼設備之外，本發明還包括編解碼器或者用於對來自數位化圖像序列的符號編碼和解碼的系統，其中所述編解碼器包含本發明編碼設備以及本發明解碼設備。


下面根據附圖詳細化地描述本發明的實施例。
圖IA至IC以及圖2A和2B示出不同的從現有技術中已知的編碼技術；圖3示出用於視頻編碼和視頻解碼的方法的原理表示，其中可以使用本發明的熵編碼或熵解碼；圖4A和4B示出基於本發明方法對宏塊進行並行處理的兩個變型； 圖5至圖8示出在共同的概率模型的不同更新情況下本發明編碼方法的不同的變型； 圖9示出符號的解碼，所述符號利用根據圖5的方法的變型被編碼；和圖10示出本發明編碼和解碼系統的實施形式的示意性表示。
具體實施方式
根據圖IA至IC以及圖2A和2B的從現有技術中已知的編碼的變型已經在上面廣泛地闡述，從而放棄對這些圖的再次描述。
本發明的熵編碼或熵解碼方法的下面描述的實施形式的特點在於，多個圖像區域並行地在不同的編碼分支中被處理，但是其中各個編碼分支訪問共同的概率模型，所述共同的概率模型考慮所有編碼分支的符號的頻率分布。該概率模型以有規則的間隔基於要編碼或解碼的符號的變化的頻率被更新。符號在此在視頻編碼方法的範圍中被產生，其中這9樣的方法示意性地在圖3中示出。
圖3的左邊部分示出相應的編碼器COD並且圖3的右邊部分示出用於解碼所使用的解碼器DEC。根據圖3，對來自數位化圖像I的視頻流進行編碼，其中由在輸入信號I和先前圖像的經運動補償的重構之間的差得出的預測誤差信號被壓縮。對在圖3中在加法器A中作為所讀入圖像與所預測圖像的差所確定的預測誤差進行變換T、尤其是DCT變換 (DCT=Discrete Cosine Transformation，離散餘弦變換)。由此獲得的變換係數接著以適當的方式在量化器Q中被量化。通過這種方式對於相應的圖像區域以宏塊的形式獲得相應的符號S，該符號S代表來自圖像區域的所編碼的圖像信息，尤其是以變換係數和用於預測的運動矢量以及其他編碼參數的形式。在編碼範圍中所確定的運動矢量在此用MV表示，並且在解碼時也需要該運動矢量，如通過圖3中的垂直虛線所表明的。為了進一步提高編碼效率，再次在熵編碼器EC中無損耗地對符號S進行熵編碼，其中根據本發明使用熵編碼的特殊變型。
如由圖2得出的，在編碼的範圍中也對量化的符號S進行逆量化IQ和逆變換IT。 由此生成的信號最終到達圖像存儲器SP中，該圖像存儲器SP的輸出首先經由加法器A』反饋到輸入端上，其中輸出另外經由加法器A以負的方式到達變換T的輸入端。圖像存儲器 SP在此控制運動估計器ME，該運動估計器在其方面在輸入側被施加有視頻輸入數據並且已經在上面提及的運動矢量MV被提供用於驅動編碼器COD中的圖像存儲器SP。如已經闡明的，所述運動矢量也被傳輸給解碼器DEC，其中運動矢量為此也被熵編碼，這從圖1不能看出。通過熵編碼器產生的代碼字S』最後被傳輸給解碼器DEC並且在那裡首先進行適當的根據本發明的熵解碼。由此，在編碼器側生成的符號S再次被重構，接著對所述符號進行逆量化IQ和逆變換IT。如此確定的所解碼的視頻數據接著與在解碼器DEC側上的相應的圖像存儲器SP的數據相加並且是解碼器的輸出。該和信號此外被輸送給解碼器側的圖像存儲器SP，該圖像存儲器SP的輸出被輸送回到加法器A』』的輸入端上。
下面，基於相應視頻圖像中的相應宏塊的符號描述根據本發明的熵編碼和熵解碼的實施形式。在這裡所闡述的變型中，三個解碼分支在相應的解碼循環中被編碼，其中在編碼循環的每個編碼分支中，宏塊被熵編碼。各個編碼分支因此是不同的宏塊群，這些宏塊群按照實施形式是圖像的不同組成部分。
圖4A示出將宏塊MB分群成三個編碼分支的第一變型。第一編碼分支的宏塊在此用附圖標記1指定，第二編碼分支的宏塊用附圖標記2指定並且第三編碼分支的宏塊用附圖標記3指定。這些附圖標記也被用於表示相應的編碼分支。編碼循環CC在圖4A的實施形式中由三個相繼的宏塊1、2和3構成。圖像為了編碼因此逐行地被讀入，如通過圖4A中的線L所表明的。根據圖4A的分群在此適用於熵編碼，其中不使用相鄰宏塊的信息來對上下文建模。
與此不同地，圖4B示出編碼分支的構造的另一變型，其中基於相鄰宏塊的信息能夠實現上下文建模。編碼分支在此通過圖像I的相應的相鄰的行構成，其中在圖4B中第一行構成第一編碼分支1，第二行構成第二編碼分支2並且第三行構成第三編碼分支3。重疊地進行各個編碼分支的處理，其中在一個編碼分支中的編碼相對於下一行的編碼分支時間偏移兩個宏塊，這通過線L』表明。圖4B在此示出以下情形，在該情形時一些宏塊已經被編碼，其中這些宏塊通過括號中的相應的附圖標記表明。編碼又在並行的分支中進行，其中在編碼循環中現在來自相應編碼分支的彼此偏移兩個宏塊的宏塊被處理。相繼的編碼分支因此根據圖像中的宏塊的之字形走向來構成。對應於圖4A的編碼循環CC在圖4B中例如通過圖像I的第一行中的第五宏塊1、圖像I的第二行中的第三宏塊2以及圖像I的第三行中的第一宏塊3構成。
如已經提及的，利用在圖4B中所示的實施形式可以基於相鄰的宏塊實現上下文的建模。儘管如此，該實施形式也可以在無上下文建模的情況下在用於編碼的方法時使用。 除了在圖4A和4B中所示的將宏塊分群成並行處理的編碼分支之外，必要時也可以設想其他分群。在本發明範圍中決定性的僅僅是，所有編碼分支在執行熵編碼時訪問共同的概率模型組，如下面還要更詳細闡明的。
圖5至圖8示出在共同的概率模型組的不同類型的更新情況下根據本發明的熵編碼的不同變型。在不限制一般性的情況下，在此根據圖4A基於對宏塊的按行處理構成各個編碼分支。在宏塊的熵編碼的範圍中，在此基於概率模型組考慮符號的頻率，其中組可以包含一個或多個概率模型。每個概率模型在此考慮一個上下文(也即一種相應類型的符號和 /或已經編碼的塊的編碼決策)。例如，可以使用不同的概率模型用於要不同地編碼的信息， 例如用於變換係數、運動矢量以及編碼模式信息。
在單個編碼分支中的宏塊的熵編碼基於常用的熵編碼方法執行，例如基於開頭提及的VLC編碼或算術編碼。尤其是，可以使用從現有技術中已知的編碼方法CABAC或CAVLC。 在單個編碼分支中的熵編碼從而基於已知的方法進行，但是在這種熵編碼時以適當的方式使用共同的概率模型組，其中考慮所有並行的編碼分支的符號的頻率。
在所有下面描述的圖5至8中通過相應的箭頭表明，正在被編碼的宏塊動用哪個概率模型組。在此，在各個宏塊的熵編碼範圍中，相應的用於熵編碼的該類模型組被適配並且被存儲在中間概率模型組中，其中中間概率模型組在方法的過程中在更新已經在上面提及的共同的概率模型組之後再次被丟棄。下面，將中間概率模型組稱為陰影組。
圖5示出根據本發明的熵編碼的變型，其中共同的概率模型組順序地通過各個編碼分支的所適配的頻率而被調整。箭頭的起源在此在圖5中以及也在所有其他圖6至9中表明，對於相應的箭頭尖端所處於的該(正在被編碼的)宏塊訪問哪個概率模型組。在圖5的實施形式中，首先在編碼循環CCl中對編碼分支1至3的每一個的宏塊的符號編碼。在此， 對於每個所述分支使用無關的自適應熵編碼器。因為在每個編碼分支中涉及所編碼的第一宏塊，所以在編碼時對於所有編碼分支使用相同的初始標準統計(也即概率模型)。在每個編碼分支的編碼範圍中，最初的概率模型組在每個編碼分支中基於符號的相應的頻率被調整，使得對於每個編碼分支而言概率模型的第一陰影組被生成。概率模型的所述陰影組在此必須僅包含相應的符號類型的經修改的概率模型。未修改的概率模型不必被存儲。最初的標準統計是共同的概率模型組的第一版本，該第一版本於是在編碼的過程中被更新。
在圖5的實施形式中，在第一編碼循環CCl中對宏塊1編碼之後已經在後續的編碼循環CC2中對宏塊1進行編碼，而不必等待在編碼循環CCl中對宏塊2和3的編碼結束。 在此，在第二編碼循環CC2中對宏塊1的編碼範圍中生成概率模型的第二陰影組，該第二陰影組存儲相對於概率模型的第一陰影組的變化。編碼決策基於最初的共同的概率模型組以及概率模型的第一和第二陰影組來作出。
在第一編碼循環CCl中對宏塊2和3的編碼結束之後，用概率模型的第一陰影組更新共同的概率模型組，該第一陰影組在編碼循環CCl中對宏塊1進行編碼時被生成。概率模型的該第一陰影組然後可以被丟棄。最後在第二編碼循環CC2中對宏塊2進行編碼， 其中現在動用更新的共同的概率模型組。在此，在對宏塊進行編碼時再次考慮概率模型的以前產生的第一陰影組，該第一陰影組在第一編碼循環CCl中對相應的宏塊2進行編碼時被生成。類似於第二編碼分支CC2中的宏塊1，在第二編碼循環CC2中對宏塊2進行編碼時現在生成概率模型的另外的第二陰影組，其中在編碼循環CC2中對宏塊2的編碼基於更新的共同的概率模型組以及概率模型的第一和第二陰影組。
一旦在第二編碼循環CC2中對宏塊1進行了編碼，可以用來自在第一編碼循環CCl 中的宏塊2的編碼的概率模型的第一陰影組更新共同的概率模型組。類似地，在編碼循環 CC2中對宏塊2進行編碼之後用來自第一編碼循環CCl中的宏塊3的編碼的概率模型的第一陰影組更新共同的概率模型組。該方法通過這種方式繼續，直至所有宏塊被編碼為止。
如從圖5的實施例的上述描述中得出的，只有當共同的概率模型組用來自編碼循環CCl中的宏塊1的編碼的概率模型的第一陰影組更新時，才能夠開始在編碼循環CC2中對宏塊2編碼。但是，只有當在第一編碼循環CCl中完成地對宏塊3編碼時才能夠執行該更新，因為否則在編碼分支3中使用錯誤的統計。
因此在上述方法的擴展中，除了對於確定的編碼分支特定的概率模型的陰影組之外，也在考慮概率模型的一個或多個已經編碼的陰影組的情況下對於共同的概率模型組生成中間概率模型組。通過這種方式可以在新編碼循環的編碼分支中基於相應的中間的概率模型組執行編碼，即使當在前的編碼循環的編碼分支中仍進行編碼時也是如此。一旦在前的編碼循環的編碼分支中的編碼結束並且共同的概率模型組被更新，則相應的臨時概率模型組不再被需要。相應生成的臨時的概率模型組在此不必完整地被生成，而是僅計算如下概率模型組就足夠了，在所述概率模型組中符號的頻率已變化。
共同的概率模型組的順序更新的上述變型可以以適當的方式也作為延遲的更新來構造，其中共同的概率模型組不用在前的循環的概率模型的相應的陰影組更新，而是用還進一步在過去的循環的概率模型的相應的陰影組更新。本發明的這樣的變型在圖6中示出。在此情況下認識到，對於第一和第二編碼循環CCl和CC2首先使用初始的標準概率模型組並且從第三編碼循環起才用來自第一編碼循環CCl的概率模型的在編碼過程中所產生的陰影組來相應地更新共同的概率模型組。同樣，在第四編碼循環CC4中用來自第二編碼循環CC2的概率模型的陰影組更新共同的概率模型組並且在第五編碼循環CC5中用來自第三編碼循環CC3中的概率模型的陰影組更新共同的概率模型組。圖6的變型的優點在於， 在一般情況下編碼分支相互不阻止。另外，如果更新被延遲一個編碼循環，也僅需要概率模型的兩個陰影組，如這在圖6中所表明的。如果延遲多於一個編碼循環，則需要概率模型的附加的陰影組。更新的延遲越大，在編碼分支的速度方面的偏差越能夠更多地被容忍，而編碼分支不相互阻止。但是由於統計的延遲的更新，編碼效率稍微變差。
圖7示出共同的概率模型組的更新的第三變型。在該變型中，在每個編碼循環中結束了各個編碼之後在固定的同步時刻用概率模型的所有對每個編碼分支生成的陰影組更新共同的概率模型組。通過這種方式避免每編碼分支產生概率模型的多個陰影組。但是，編碼循環的編碼速度通過最慢的編碼分支確定。同步時刻在此不必在每個編碼循環結束之後被設置。更確切地說也存在以下可能性，即在預先確定數量的編碼循環之後執行更12新。該變型具有優點，即共同的概率模型組不必再如此經常地被更新並且在編碼分支的速度方面的較大偏差被容忍。圖8示出編碼分支的更新的這樣的變型，其中更新總是在兩個編碼循環之後才進行。在圖8中尤其是認識到，對於編碼循環CCl和CC2分別使用相同的共同的概率模型組，其中在考慮第一編碼循環CCl的陰影組的情況下在編碼循環CC3開始時執行該共同的概率模型組的更新。
對用在前面所述的方法編碼的符號的解碼與編碼類似地來進行。也就是說，解碼在並行的解碼分支中被執行，其中共同的概率模型組又基於所解碼的符號的頻率被更新。 下面，示例性地基於所編碼的符號來描述解碼過程，所述符號用根據圖5的編碼過程產生。 該解碼過程在圖9中被再現，其中又通過相應的箭頭表明，正在被解碼的宏塊訪問哪個概率模型組。解碼在相應的解碼循環DC1、DC2、DC3等中進行，在所述解碼循環內現在並行地實施相應的解碼分支1』、2』和3』，利用這些解碼分支對相應編碼的宏塊解碼。解碼分支1』、 2』和3』中的每一個因此在分開的解碼過程中被解碼。在此，首先在第一解碼循環DCl中用適當的初始標準概率模型組對宏塊解碼。在解碼時得出的對所解碼的符號的頻率的更新又被存儲在概率模型的單獨的陰影組中。
在第一解碼循環DCl中對宏塊1』解碼之後，在使用概率模型的第二陰影組的情況下在第二解碼循環DC2中進行宏塊1』的解碼。如果在第一解碼循環DCl中對於宏塊2』和 3』的熵解碼結束，則與在編碼時類似地用解碼循環DCl中的宏塊1』的概率模型的第一陰影組更新共同的概率模型組。
最後，進行第二編碼循環DC2的宏塊2』的解碼，其中為此現在使用更新的共同的概率模型組。可替代地，如果由共同的概率模型組和解碼循環DCl中的宏塊1』的概率模型的第一陰影組生成臨時的概率模型組，則在解碼循環DC2中的宏塊2』的熵解碼也可以在執行更新之前開始。如果共同的概率模型組用第一解碼循環DCl中的宏塊2』的概率模型的第一陰影組更新，則解碼分支3』通過類似的方式開始解碼。可替代地，如果在第一解碼循環DCl中宏塊1』和2』的解碼結束，則可以使用臨時的概率模型組用於在第二解碼循環DC2 中對宏塊3』解碼。在相應的更新情況下基於用於所有其他編碼循環的上述步驟繼續編碼， 直至所有宏塊被解碼為止。
在實施上述方法時必須用信號通知給解碼器的主參數一方面是並行編碼分支的數量N，其中該數量在圖3或圖8的例子中為N=3。對於N=I的情況，該方法對應於傳統的熵編碼，如例如在標準H. 264/AVC中所使用的。作為另外的參數，可以傳輸共同的概率模型組的更新的延遲D。該參數在圖5和圖7的實施形式中是D=O編碼循環。對於圖6和圖8 的實施形式，適用的是D=l。同樣，作為參數也可以傳遞是否在預先確定的同步時刻執行同步化的更新。在圖7和圖8的實施形式中，用信號通知同步化的更新，而在圖5和圖6的實施形式中用信號通知不執行同步化的更新。
本發明方法的在前面所述的變型可以與上下文建模的適當的方法組合，例如上述熵切片、有序熵切片或交錯熵切片。同樣，可以將本發明方法與根據印刷品[3]和[4]的上述句法元素分割或多個二進位符號的並行處理組合。
如果在各個編碼分支中的熵編碼暫停，則一般必須執行共同的概率模型組的更新。但是必要時也存在的可能性是，共同的概率模型組中的各個概率模型以原子的 (atomar)方式被更新。在這種情況下，各個編碼分支能夠在無中斷的情況下繼續其編碼。以原子方式的更新在此意味著，在更新概率模型時由編碼分支對該模型的讀訪問被中斷並且在更新概率模型之後，相應的概率模型從編碼分支的概率模型的陰影組中被刪除。
本發明方法的在前面所述的實施形式基於各個宏塊的編碼被描述。但是該方法也可以被應用於要編碼的圖像序列內的任意其他圖像區域並且不被限制於宏塊。
本發明方法具有一系列優點。尤其是實現高的壓縮效率，因為使用共同的對於所有編碼分支有效的概率模型組，該概率模型組以規則的間隔用編碼分支的所適配的統計來更新。因此，共同的概率模型組中的統計比在使用分開的無關的概率模型組時更好地近似於實際的概率。通過並行地編碼或解碼多個編碼或解碼分支，另外以小的延遲實現快速的編碼和解碼。此外，本發明方法也可以以適當的方式與用於基於上下文地自適應地熵編碼的其他並行處理方法組合。
圖10以示意性表示示出由本發明編碼設備和本發明解碼設備組成的系統的具體構型。編碼設備用於對數位化圖像序列進行熵編碼，並且類似於圖3用EC表示。解碼設備用於對利用設備EC熵編碼的數位化圖像序列進行解碼，並且類似於圖3用ED表示。不僅設備EC而且設備ED均包含多個組件，這些組件可以被設計為各個硬體組件、例如設計為計算機中的硬體組件。以相同的方式，設備ED也包含多個組件，這些組件可以被設計為硬體組件，例如設計為計算機中的硬體組件。
除了在圖10中所示的組件之外，設備EC必要時作為附加的組件可以包含以變換單元T、量化器Q、逆量化器IQ、逆變換單元IT、圖像存儲器SP、運動估計器ME以及相應的加法器A和A』形式的在圖3中所示的組件。所有這些組件又可以被實現為各個硬體組件。
設備EC在圖10的構型中包含用於將所處理的圖像的圖像區域分成編碼循環的裝置100。在此，在編碼循環中在多個並行的編碼分支中執行熵編碼。為了在相應的編碼分支中執行編碼，設備EC例如包含三個編碼裝置101、102和103，其中每個編碼裝置均被設置用於在相應的編碼分支中編碼。如果利用該設備應該能夠編碼多於三個的編碼分支，則設置相應較大數量的編碼裝置。每個編碼裝置基於概率模型組執行熵編碼。
編碼裝置101作為子組件包含適配裝置IOla以及用於處理共同的概率模型的裝置101b。類似地，編碼裝置102和103也包含相應的適配裝置10 或103a和相應的用於處理共同的概率模型的裝置102b或10北。相應編碼分支中的適配裝置在此用於在對圖像區域編碼時基於在圖像區域中出現的符號對於該概率模型組適配頻率。在每個編碼分支中設置的用於處理共同的概率模型的裝置這樣執行處理，使得在相應的編碼分支中用於編碼的概率模型組基於共同的對所有編碼分支有效的概率模型組，該概率模型組考慮所有編碼分支的圖像區域中的符號的頻率。在設備EC中另外設置用於以預先確定的時間間隔基於在至少一個時間在前的編碼循環中適配的頻率更新共同的概率模型組的裝置104。
根據圖10的編碼設備EC提供所編碼的數位化圖像序列，該數位化圖像序列可以經由任意的傳輸線段被傳輸給解碼設備ED。經由傳輸線段的傳輸在此在圖10中通過箭頭 P表明。解碼設備ED接收所編碼的圖像流並且執行相應的熵解碼，其中該設備為此具有多個組件。特別地，設備ED包含用於這樣將所編碼的數位化圖像序列的所編碼的圖像區域分成解碼循環使得在解碼循環中在多個並行的解碼分支中進行熵解碼的裝置。對於每個解碼分支，在此設置相應的解碼裝置201或202或203，其中在多於三個編碼分支的情況下，相應的其他解碼裝置集成在設備ED中。每個解碼裝置基於概率模型組執行熵解碼。
解碼裝置201包括用於在對所編碼的圖像區域解碼時基於在所解碼的圖像區域中出現的符號對於該概率模型組適配頻率的適配裝置201a。此外，這樣設置用於處理共同的概率模型的裝置201b，使得在相應的解碼分支中用於解碼的概率模型組基於共同的對於所有解碼分支有效的概率模型組，該概率模型組考慮所有解碼分支的所解碼的圖像區域中的符號的頻率。類似於解碼裝置201，解碼裝置202或203也包括相應的用於適配頻率的適配裝置20 或203a和相應的用於處理共同的概率模型的裝置202b或20北。圖10的解碼設備ED另外作為其他組件包含用於以預先確定的時間間隔基於在至少一個時間在前的解碼循環中適配的頻率更新共同的概率模型組的裝置204。
利用解碼設備ED獲得所解碼的數位化圖像序列。解碼設備在此必要時還可以包含以逆量化器IQ和逆變換單元IT以及存儲器SP和加法器A』，形式的在圖3中所示的附加組件。這些附加的組件在此可以被設計為各個硬體組件、例如設計為計算機的硬體組件。
文獻目錄[1]X. Guo, "Ordered Entropy Slices for Parallel CABACITU-T SG 16/Q. 6， Doc. VCEG-AK25, Yokohama,日本，2009 年 4 月[2]A. Segall 禾口 J. Zhao, "Entropy slices for parallel entropy decoding", ITU-T SG 16/Q. 6，Doc. C0M16-C405，日內瓦，瑞士，2008 年 4 月[3]V. Sze 禾口 M. Budagavi, "Parallel CABAC，，， ITU—T SG 16/Q. 6， Doc. C0M16-C334,日內瓦，瑞士，2008 年 4 月[4]V. Sze, M. Budagavi, A. P. Chandrakasan, "Massively Parallel CABAC", ITU-T ITU-T SG 16/Q. 6，Doc. VCEG-AL21,倫敦，英國 / 日內瓦，瑞士，2009 年 7 月。
權利要求
1.用於對來自數位化圖像(I)序列的符號編碼的方法，其中圖像(I)被劃分成圖像區域(MB)並且相應圖像區域(MB)的符號(S)藉助於熵編碼被編碼，所述熵編碼基於一個或多個概率模型，其中所述一個或多個概率模型考慮在圖像區域(MB)中出現的符號(S)的頻率，其中-圖像區域(MB)在編碼循環(CC，CC1，CC2，…，CC5)中被處理為，使得在編碼循環(CC， CCl, CC2，…CC5)中在多個並行的編碼分支(1，2，3)中進行熵編碼，其中在相應的編碼分支(1，2，3 )中基於概率模型組對圖像區域(MB)編碼，其中所述頻率在對圖像區域編碼時基於在圖像區域(MB)中出現的符號(S)針對該概率模型組被適配；-在每個編碼分支(1，2，3)中用於編碼的概率模型組基於共同的、對於所有編碼分支 (1，2，3)有效的概率模型組，該共同的、對於所有編碼分支有效的概率模型組考慮在所有編碼分支(1，2，3)的圖像區域(MB)中的符號(S)的頻率；-所述共同的概率模型組以預先確定的時間間隔基於在至少一個時間在前的編碼循環 (CC，CCl, CC2，…，CC5)中適配的概率被更新。
2.根據權利要求1所述的方法，其中這樣順序地進行共同的概率模型組的更新，使得在時間相繼的更新時考慮不同編碼分支(1，2，3)的所適配的頻率。
3.根據前述權利要求之一所述的方法，其中在預先給定的同步時刻(Tl，T2，T3)進行共同的概率模型組的更新，在所述同步時刻，共同的概率模型組基於至少一個在前的編碼循環(CC，CCl, CC2，…，CC5)的所有編碼分支(1，2，3)的所適配的頻率被更新。
4.根據前述權利要求之一所述的方法，其中至少有時基於在時間上直接在前的編碼循環(CC，CCl, CC2，…，CC5)中所適配的頻率進行共同的概率模型組的更新。
5.根據前述權利要求之一所述的方法，其中至少有時基於在時間上不直接在前的編碼循環(CC，CCl, CC2，…，CC5)中所適配的頻率進行共同的概率模型組的更新。
6.根據前述權利要求之一所述的方法，其中在相應的編碼分支(1，2，3)中對圖像區域 (MB)編碼之後將適配的頻率存儲在中間的分配給該相應的編碼分支(1，2，3)的概率模型組中，其中一個或多個中間存儲的中間的概率模型組結合共同的概率模型組被用於在相應的編碼分支(1，2，3)中熵編碼，直至對共同的概率模型組更新為止。
7.根據前述權利要求之一所述的方法，其中相應的圖像區域(MB)的熵編碼是VLC編碼和/或算術編碼，尤其是CAVLC和/或CABAC編碼。
8.根據前述權利要求之一所述的方法，其中編碼分支(1，2，3)被設計為，使得編碼循環(CC，CCl, CC2，…，CC5)由圖像區域(MB)構成，所述圖像區域按照圖像(I)中的圖像區域(MB)的以行或列方式的走向相繼。
9.根據前述權利要求之一所述的方法，其中編碼分支(1，2，3)被設計為，使得編碼循環(CC，CCl, CC2，…，CC5)由圖像區域(MB)構成，所述圖像區域按照圖像(I)中的圖像區域(MB)的之字形走向相繼。
10.根據前述權利要求之一所述的方法，其中圖像(I)被劃分成圖像片段，所述圖像片段分開地被熵編碼。
11.根據權利要求10所述的方法，其中所述圖像片段至少有時在不考慮圖像片段之間的相關性情況下和/或至少有時在考慮圖像片段之間的相關性的情況下被編碼。
12.根據前述權利要求之一所述的方法，其中來自數位化圖像序列的符號(S)通過圖像區域(MB)的變換和量化來生成。
13.根據前述權利要求之一所述的方法，其中來自數位化圖像序列的符號基於標準 H. 264來生成。
14.用於對來自數位化圖像(I)序列的用根據前述權利要求之一所述的方法編碼的符號(S』)解碼的方法，其中圖像(I)被劃分成圖像區域(MB)並且相應的圖像區域(MB)的符號(S)藉助於熵編碼根據前述權利要求之一被編碼，其中熵編碼基於一個或多個概率模型， 其中所述一個或多個概率模型考慮在圖像區域(MB)中出現的符號(S)的頻率，其中-所編碼的圖像區域(MB，)在解碼循環(DC1，DC2，DC3)中被處理為，使得在解碼循環 (DC1，DC2，DC3)中在多個並行的解碼分支(1』，2』，3』)中進行熵解碼，其中在相應的解碼分支(1』，2』，3』)中基於概率模型組對所編碼的圖像區域(MB』 )解碼，其中頻率在對所編碼的圖像區域(MB』)解碼時基於在所解碼的圖像區域(MB』)中出現的符號(S)針對該概率模型組被適配；-在每個解碼分支(1』，2』，3』)中用於解碼的概率模型組基於共同的、對於所有解碼分支有效的概率模型組，該共同的、對於所有解碼分支有效的概率模型組考慮在所有解碼分支(1』，2』，3』)的所解碼的圖像區域中的符號(S)的頻率；-共同的概率模型組以預先確定的時間間隔基於在至少一個時間在前的解碼循環 (DC1，DC2，DC3)中適配的頻率被更新。
15.用於對數位化圖像序列編碼和解碼的方法，其中-來自數位化圖像序列的符號(S)用根據權利要求1至13之一的方法被編碼；-所編碼的符號(S』 )利用按照權利要求14的方法被解碼。
16.用於對來自數位化圖像序列的符號編碼的設備，其中圖像(I)被劃分成圖像區域 (MB)並且相應圖像區域(MB)的符號(S)能夠通過所述設備藉助於熵編碼被編碼，所述熵編碼基於一個或多個概率模型，其中所述一個或多個概率模型考慮在圖像區域(MB)中出現的符號(S)的頻率，其中所述設備包括處理單元(EC)，所述處理單元包含-用於這樣將圖像區域(MB)分成編碼循環(CC，CCl, CC2，…，CC5)使得在編碼循環 (CC，CC1，CC2，…，CC5)中在多個並行的編碼分支(1，2，3)中進行熵編碼的裝置(100)；-多個編碼裝置，其中每個編碼裝置(101，102，103)均用於這樣對相應的編碼分支(1， 2，3)進行熵編碼，使得在相應的編碼分支(1，2，3)中基於概率模型組對圖像區域(MB)編碼，其中每個編碼裝置(101，102，103)包括-用於在對圖像區域編碼時基於在圖像區域(MB)中出現的符號(S)針對該概率模型組適配頻率的適配裝置(101a, 102a，103a)，-用於這樣處理共同的概率模型使得在相應的編碼分支(1，2，3)中用於編碼的概率模型組基於共同的、對於所有編碼分支(1，2，3)有效的概率模型組的裝置(101b，10 ， 10北)，所述共同的、對於所有編碼分支有效的概率模型組考慮所有編碼分支(1，2，3)的圖像區域(MB)中的符號(S)的頻率；-用於以預先確定的時間間隔基於在至少一個時間在前的編碼循環(CC，CCl, CC2，… ，CC5)中所適配的頻率更新共同的概率模型組的裝置(104)。
17.根據權利要求16所述的設備，其中所述設備(COD)包括一個或多個用於執行根據權利要求2至13之一所述的方法的其他裝置。
18.用於對來自數位化圖像(I)序列的所編碼的符號(S』)解碼的設備，其中圖像(I) 被劃分成圖像區域(MB)並且相應的圖像區域(MB)的符號(S)藉助於熵編碼根據權利要求 1至13之一被編碼，其中熵解碼(ED)基於一個或多個概率模型，其中所述一個或多個概率模型考慮在所解碼的圖像區域(MB)中出現的符號(S)的頻率，其中所述設備包括處理單元 (ED )，所述處理單元包含-用於這樣將所編碼的圖像區域(MB，)分成解碼循環(DC1，DC2，DC3)使得在解碼循環 (DC1，DC2，DC3)中在多個並行的解碼分支(1』，2』，3』)中進行熵解碼的裝置(200)；-多個解碼裝置，其中每個解碼裝置(201，202，203)這樣用於對相應的解碼分支(1』， 2』，3』)進行熵解碼，使得在相應的解碼分支(1』，2』，3』)中基於概率模型組對所編碼的圖像區域(MB，)解碼，其中每個解碼裝置(201，202，203)包括-用於在對所編碼的圖像區域(MB』)解碼時基於在所解碼的圖像區域(MB』)中出現的符號(S)針對該概率模型組適配頻率的適配裝置(201a，202a, 203a),-用於這樣處理共同的概率模型使得在相應的解碼分支(1』，2』，3』)中用於解碼的概率模型組基於共同的、對於所有解碼分支有效的概率模型組的裝置(201b，202b，203b)，該共同的、對於所有解碼分支有效的概率模型組考慮在所有解碼分支(1』，2』，3』)的所解碼的圖像區域(MB，)中的符號(S)的頻率；-用於以預先確定的時間間隔基於在至少一個時間在前的解碼循環(DC1，DC2，DC3)中適配的頻率更新共同的概率模型組的裝置(204 )。
19.用於對來自數位化圖像(I)序列的符號(S)編碼和解碼的編解碼器，包括根據權利要求16或17的編碼設備(COD)和根據權利要求18的解碼設備(DEC)。
全文摘要
本發明涉及一種用於對來自數位化圖像(I)序列的符號編碼的方法，其中圖像(I)被劃分成圖像區域(MB)並且相應圖像區域(MB)的符號(S)藉助於熵編碼被編碼，所述熵編碼基於一個或多個概率模型，其中所述一個或多個概率模型考慮在圖像區域(MB)中出現的符號(S)的頻率。在根據本發明的方法中，圖像區域(MB)在編碼循環(CC，CC1，CC2，…CC5)中這樣被處理，使得在編碼循環(CC，CC1，CC2，…CC5)中在多個並行的編碼分支(1，2，3)中進行熵編碼，其中在相應的編碼分支(1，2，3)中基於概率模型組對圖像區域(MB)編碼，其中頻率在對圖像區域編碼時基於在圖像區域(MB)中出現的符號(S)針對該概率模型組被適配。在每個編碼分支(1，2，3)中用於編碼的該概率模型組基於共同的、對於所有編碼分支(1，2，3)有效的概率模型組，該共同的、對於所有編碼分支有效的概率模型組考慮在所有編碼分支(1，2，3)的圖像區域(MB)中的符號(S)的頻率。共同的概率模型組以預先確定的時間間隔基於在至少一個時間在前的編碼循環(CC，CC1，CC2，…CC5)中適配的概率被更新。
文檔編號H04N7/50GK102550028SQ201080046392
公開日2012年7月4日 申請日期2010年10月13日 優先權日2009年10月15日
發明者P.阿蒙 申請人:西門子公司