基於混合色度採樣率的圖像壓縮方法和裝置的製作方法

2023-08-06 12:23:36

專利名稱：基於混合色度採樣率的圖像壓縮方法和裝置的製作方法
技術領域：
本發明涉及一種視頻壓縮編碼及解碼系統，特別是複合圖像和視頻編碼及解碼的方法和裝置。
背景技術：
計算機和信息處理已經進入以「遠程屏幕」為特徵的「雲計算」與「移動計算」相結合的時代。實時遠程屏幕傳輸已成為當前迫切 的需求。由於需要傳輸的屏幕視頻數據量很大，以1920*1200像素解析度且60幀/秒刷新率的24位真彩色屏幕圖像為例，需要傳輸的數據超過每秒3千兆比特，如此多的數據要想在當前的網絡條件下實現實時傳輸是不可能的，因此有效的屏幕圖像數據壓縮是必不可少的。屏幕圖像的數字視頻信號的自然形式是圖像的序列。一幅圖像通常是由若干像素組成的矩形區域，如果一個數字視頻信號每秒有50幅圖像，那麼一個30分鐘的數字視頻信號就是個由30x60x50 = 90000幅圖像組成的視頻圖像序列，有時也簡稱為視頻序列或序列。對數字視頻信號進行編碼就是對一幅一幅圖像進行編碼。為了降低編碼和解碼的延遲，需要把一幅圖像劃分成若干塊子圖像，稱為編碼單元，以編碼單元為基本編碼單位，對子圖像一塊一塊進行編碼。一種常用的編碼單元的大小是16x16個像素，這種編碼單元稱為宏塊。因此，對一個視頻圖像序列進行編碼就是對各個編碼單元依次進行編碼。同樣，解碼時也是對各個編碼單元依次進行解碼，最終重構出整個視頻圖像序列。像素有各種格式，如1個像素由I個紅色分量、I個綠色分量、I個藍色分量組成的RGB像素格式；1個像素由I個亮度Y分量、I個色度U分量、I個色度V分量組成的YUV4:4:4像素格式；左右相鄰的2個像素由2個亮度Y分量、I個色度U分量、I個色度V分量組成的YUV4:2:2像素格式；左右上下相鄰按2x2空間位置排列的4個像素由4個亮度Y分量、I個色度U分量、I個色度V分量組成的YUV4:2:0像素格式。一個分量一般用I個8 16比特的數字來表示。YUV4:2:2像素格式和YUV4:2:0像素格式都是對YUV4:4:4像素格式施行色度分量的下採樣得到，下採樣後，數據率分別降低了 33%和50%。圖像可以分為兩類1)計算機生成的文字、背景、圖形等非自然圖像，具有非連續色調的特性，線條精細，稜角分明，色彩相對簡單；2)攝像機拍攝的自然圖像，具有連續色調的特性，色彩豐富，但少有很細的線條和尖銳的稜角。對自然圖像，色度下採樣幾乎沒有視覺影響又可降低數據率。所以對自然圖像的壓縮編碼，絕大多數都是針對YUV4:2:0像素格式的圖像的編碼。另一方面，色度下採樣對非自然圖像中的線條和稜角有非常明顯的視覺影響。所以對非自然圖像的高質量壓縮編碼，必須是直接對YUV4:4:4像素格式的圖像進行編碼。包括屏幕圖像在內的各種類型圖像和視頻序列的編碼技術中，使用最多的現有技術的編碼方法的流程示意圖如圖I所示。現有技術的編碼方法包括如下步驟I)讀入具有同一像素格式的一個圖像編碼單元；2)對該編碼單元進行有損編碼；
3)對步驟2)的編碼結果繼續進行無損編碼，並輸出編碼得到的壓縮碼流數據；4)對步驟2)的編碼結果進行所述有損編碼的逆運算，即重構出所述編碼單元的像素，並把重構編碼單元的像素放入歷史像素暫存區，用作後續編碼的參考像素，由於編碼是有損的，重構像素不等於原先輸入的像素；5)判斷是否已經完成對所有編碼單元的編碼，如果是，則結束編碼，否則回到步驟I)，開始對下一個編碼單元的編碼。現有技術的解碼方法的流程示意圖如圖2所示。現有技術的解碼方法包括如下步驟I)讀入一段對應與一個圖像編碼單元的部分輸入視頻碼流數據；2)解碼並重構具有同一像素格式的一個編碼單元，並把重構編碼單元的像素放入歷史像素暫存區，用作後續解碼的參考像素； 3)輸出重構編碼單元；4)判斷是否已經完成對所有編碼單元的壓縮碼流數據的解碼，如果是，則結束解碼，否則回到步驟I)，開始對下一個編碼單元的解碼。現有技術的編碼裝置示意圖如圖3所示。整個編碼裝置由以下模塊組成I)可以存儲至少一個編碼單元的像素的存儲模塊；2)單一像素格式的有損編碼模塊；3)單一像素格式的無損編碼模塊；4)像素的重構模塊；5)同一像素格式的歷史像素暫存模塊。現有技術的的解碼裝置示意圖如圖4所示。整個解碼裝置由以下模塊組成I)單一像素格式的解碼重構模塊；2)同一像素格式的歷史像素暫存模塊。如上所述，現有技術中，對一幅圖像中的所有編碼單元，都是採用同樣的單一的像素格式直接對其進行編碼。在整幅圖像都是自然圖像或非自然圖像的場合，現有技術是有效的。隨著多媒體技術在計算機中的普及，今天和未來的計算機屏幕圖像中，如瀏覽中的多媒體網頁，部分屏幕區域是自然圖像而另一部分屏幕區域則是非自然圖像，兩種區域交錯混合。因此，現有技術不適用於對含自然圖像區域和非自然圖像區域的複合圖像進行既有高質量又有高壓縮率的編碼。

發明內容
為了解決複合圖像視頻編碼和解碼的現有技術中的這一問題，本發明提供了一種基於混合色度採樣率的圖像編碼與解碼的方法和裝置。本發明的主要技術特徵如圖5所示。本發明的編碼方法和裝置中，輸入圖像是亮度採樣率和色度採樣率完全一致的圖像，如圖5所示YUV4:4:4像素格式的圖像。輸入圖像被分割成具有一定像素的基本編碼單位，稱為編碼單元(Coding Unit簡稱⑶)，對⑶逐個進行編碼。對一個⑶進行編碼時，首先讀入一個YUV4:4:4像素格式的⑶(稱為4:4:4編碼單元或簡稱4:4:4⑶)的全部像素。這個4:4:4⑶有3個分量。對該4:4:4⑶的兩個色度分量進行下採樣，得到對應的4:2:0⑶。如果在對一幅YUV4:4:4圖像進行編碼前，已經對該圖像的所有色度分量進行了下採樣而產生了對應的YUV4:2:0圖像，那麼所述對應的4:2: OOT也可以從所述對應的YUV4:2:0圖像中直接讀入。 然後，本發明同時使用兩組不同類型的編碼工具，分別對4:4:4⑶和4:2:0⑶進行壓縮編碼。兩組編碼完成後，分別計算兩種編碼結果的率-失真特性，選擇率-失真特性最優的那組編碼工具的編碼結果作為對該CU的最後編碼結果，並把相應的壓縮碼流數據寫入輸出壓縮碼流。最終的輸出壓縮碼流是既含有YUV4:4:4像素格式的壓縮碼流數據又含有YUV4:2:0像素格式的壓縮碼流數據的具有混合色度採樣率的壓縮碼流。在壓縮碼流的解碼端，本發明從碼流中不斷讀入部分碼流數據，按照CU在碼流中的順序，逐個進行以⑶為單位的解碼。解碼端有兩組不同類型的解碼工具YUV4:4:4解碼工具和YUV4:2:0解碼工具。對一個CU的碼流數據進行解碼時，首先解析出該CU是以YUV4:4:4還是YUV4:2:0像素格式進行編碼的，然後把碼流數據送往相應的那組解碼工具 進行解碼。從YUV4:4:4解碼工具得到的是YUV4:4:4像素格式的重構⑶，而從YUV4:2:0解 碼工具得到的是YUV4:2:0像素格式的重構⑶。後者還必須經過色度上採樣，得到YUV4:4:4像素格式的重構⑶。這樣，就得到最終的完整的YUV4:4:4像素格式的重構圖像。本發明的編碼方法的流程示意圖如圖6所示。本發明對一幅圖像的編碼方法包括如下步驟I)讀入具有第一像素格式的一個圖像編碼單元，稱其為第一編碼單元；2)對所述第一編碼單元的色度分量進行下採樣，保持亮度分量不變，生成第二像素格式的編碼單元，稱其為第二編碼單元；3)用第一組編碼工具對所述第一編碼單元進行第一編碼，產生第一組編碼工具的編碼結果；4)用第二組編碼工具對所述第二編碼單元進行第二有損編碼；5)用所述第二組編碼工具繼續對步驟4)的編碼結果進行第二無損編碼，產生第二組編碼工具的編碼結果；6)對步驟3)的編碼結果進行所述第一編碼的逆運算，產生出第一重構編碼單元，並把所述第一重構編碼單元的像素放入第一像素格式的歷史像素暫存區，用作所述第一組編碼工具的後續編碼的參考像素，由於編碼可能是有損的，所述第一重構編碼單元的像素不一定等於所述第一編碼單元的像素；7)對步驟4)的編碼結果進行所述第二有損編碼的逆運算，產生出第二重構編碼單元，並把所述第二重構編碼單元的像素放入第二像素格式的歷史像素暫存區，用作所述第二組編碼工具的後續編碼的參考像素，由於編碼是有損的，所述第二重構編碼單元的像素不一定等於所述第二編碼單元的像素；8)使用步驟3)的編碼結果和步驟6)的重構結果，計算第一組編碼工具的編碼結果的率-失真特性；9)對所述第二重構編碼單元進行色度上採樣，得到第一像素格式的第二重構上採樣編碼單元；10)使用步驟5)的編碼結果和步驟9)的重構上採樣結果，計算第二組編碼工具的編碼結果的率-失真特性；
11)選擇率-失真特性最優的那組編碼工具的編碼結果作為對所述第一編碼單元的最後編碼結果，並輸出相應壓縮碼流數據；12)判斷率-失真特性最優的那組編碼工具是否是第一組編碼工具，如果是，則順序執行下一步驟，否則跳至步驟14)；13)對所述第一重構編碼單元進行色度下採樣，得到第二像素格式的第一重構下採樣編碼單元，並用所述第一重構下採樣編碼單元的像素更新和替換步驟7)中放入第二像素格式的歷史像素暫存區的第二重構編碼單元的像素，然後跳至步驟15)；14)用所述第二重構上採樣編碼單元的像素更新和替換步驟6)中放入第一像素格式的歷史像素暫存區的第一重構編碼單元的像素；15)判斷是否已經完成對一幅圖像所有編碼單元的編碼，如果是，則結束編碼，否則回到步驟I)，開始對下一個編碼單元的編碼。本發明的解碼方法的流程示意圖如圖7所示。本發明對壓縮碼流的解碼方法包括如下步驟I)從輸入壓縮碼流中讀入屬於一個被編碼的編碼單元，稱其為被編碼單元，的一段壓縮碼流數據；2)從所述一段壓縮碼流數據中解析出該段壓縮碼流數據所含的當前被編碼單元採用第一像素格式還是第二像素格式，並把該段壓縮碼流數據送往對應的第一組解碼工具或第二組解碼工具；3)所述當前被編碼單元採用第一像素格式的場合，本步驟包括下列子步驟3a)用所述第一組解碼工具對壓縮碼流進行解碼，產生出第一像素格式的第一重構編碼單元，並把所述第一重構編碼單元的像素放入第一像素格式的歷史像素暫存區，用作所述第一組解碼工具的後續解碼的參考像素；3b)對所述第一重構編碼單元進行色度下採樣，得到第二像素格式的第一重構下採樣編碼單元，並把所述第一重構下採樣編碼單元的像素放入第二像素格式的歷史像素暫存區，用作所述第二組解碼工具的後續解碼的參考像素；3c)輸出所述第一重構編碼單元；4)所述當前被編碼單元採用第二像素格式的場合，本步驟包括下列子步驟4a)用所述第二組解碼工具對壓縮碼流進行解碼，產生出第二像素格式的第二重構編碼單元，並把所述第二重構編碼單元的像素放入第二像素格式的歷史像素暫存區，用作所述第二組解碼工具的後續解碼的參考像素；4b)對所述第二重構編碼單元進行色度上採樣，得到第一像素格式的第二重構上採樣編碼單元，並把所述第二重構上採樣編碼單元的像素放入第一像素格式的歷史像素暫存區，用作所述第一組解碼工具的後續解碼的參考像素；4c)輸出所述第二重構上採樣編碼單元；5)判斷是否已經完成對一幅圖像或一個視頻序列所有被編碼單元壓縮碼流數據的解碼，如果是，則結束解碼，否則回到步驟I)，開始對下一個被編碼單元的解碼。本發明的編碼裝置示意圖如圖8所示。整個編碼裝置由以下模塊組成I)第一像素格式像素存儲模塊，用於存儲至少一個編碼單元的第一輸入像素；2)使用第一組編碼工具的編碼模塊，用於對第一像素格式的第一輸入像素編碼單、元進行編碼；3)第一重構模塊,用於重構產生第一重構編碼單兀，第一重構編碼單兀的一個用途是用於第一組編碼工具所需的參考像素，另一個用途是用於計算第一率-失真特性；4)第一像素格式的歷史像素暫存模塊，用於暫存第一組編碼工具所需的參考像素；5)第一率-失真特性計算模塊，用於計算所述使用第一組編碼工具的編碼模塊產生的編碼結果的第一率-失真特性；6)色度下採樣模塊，有兩個用途 6a)對第一像素格式的第一輸入像素進行色度下採樣，產生第二像素格式的第二輸入像素；6b)對第一像素格式的參考像素進行色度下採樣，產生第二組編碼工具所需的第二像素格式的參考像素；7)第二像素格式像素存儲模塊，用於存儲至少一個編碼單元的第二輸入像素；8)使用第二組編碼工具的有損編碼模塊，用於對第二像素格式的第二輸入像素編碼單元進行有損編碼；9)使用第二組編碼工具的無損編碼模塊，用於對所述使用第二組編碼工具的有損編碼模塊產生的編碼結果繼續進行無損編碼；10)第二重構模塊，用於重構產生第二重構編碼單元，第二重構編碼單元的一個用途是用於第二組編碼工具所需的參考像素，另一個用途是經過色度上採樣後用於計算第二率_失真特性；11)第二像素格式的歷史像素暫存模塊，用於暫存第二組編碼工具所需的參考像素；12)色度上採樣模塊，有兩個用途12a)對第二重構編碼單元進行色度上採樣，提供給第二率-失真特性計算模塊用於計算第二率-失真特性；12b)對第二像素格式的參考像素進行色度上採樣，產生第一組編碼工具所需的第一像素格式的參考像素；13)第二率-失真特性計算模塊，用於計算所述使用第二組編碼工具的編碼模塊產生的編碼結果的第二率-失真特性；14)最優編碼工具選擇模塊，連接於所述第一和第二率-失真特性計算模塊，用於對所述率-失真特性計算結果進行分析，並選擇出率-失真特性最優的那組編碼工具的編碼結果作為對當前第一輸入像素編碼單元的最後編碼結果；15)碼流暫存輸出模塊，連接於所述最優編碼工具選擇模塊，用於暫存所述最優編碼工具編碼模塊所產生的壓縮碼流數據，並在特定的時間，把所述的壓縮碼流數據輸出到壓縮碼流。本發明的解碼裝置示意圖如圖9所示。整個解碼裝置由以下模塊組成I)碼流像素格式解析模塊，用於接收從一外部裝置輸入的視頻壓縮碼流，解析出接收到的一段壓縮碼流數據內壓縮的當前編碼單元，稱為當前被編碼單元，是第一像素格式編碼單元還是第二像素格式編碼單元，選擇相對應的第一組解碼工具或第二組解碼工具對所述一段壓縮碼流數據進行解碼，並把所述一段壓縮碼流數據輸出至相對應的第一解碼重構模塊或第二解碼重構模塊；2)第一解碼重構模塊，在所述當前被編碼單元是第一像素格式的場合，使用第一組解碼工具對第一像素格式的壓縮碼流數據進行解碼，重構產生出第一像素格式的第一重構編碼單元；3)第一像素格式的歷史像素暫存模塊，用於暫存第一組解碼工具所需的參考像素；4)第二解碼重構模塊，在所述當前被編碼單元是第二像素格式的場合，使用第二組解碼工具對第二像素格式的壓縮碼流數據進行解碼，重構產生出第二像素格式的第二重構編碼單元；5)第二像素格式的歷史像素暫存模塊，用於暫存第二組解碼工具所需的參考像 素；6)色度下採樣模塊，在所述當前被編碼單元是第一像素格式的場合，對所述第一重構編碼單元的像素進行色度下採樣，產生第二組解碼工具後續解碼所需的第二像素格式的參考像素；7)色度上採樣模塊，在所述當前被編碼單元是第二像素格式的場合，對所述第二重構編碼單元的像素進行色度上採樣，產生符合最終輸出像素格式要求的第一像素格式的重構像素，同時也是第一組解碼工具後續解碼所需的參考像素；8)重構圖像暫存輸出模塊，連接於所述的第一解碼重構模塊和所述的色度上採樣模塊，用以暫存解碼重構的一幅或多幅圖像，並在預設的時間按照圖像的顯示順序，把圖像輸出。


圖I、現有技術中編碼方法流程示意2、現有技術中解碼方法流程示意3、現有技術中編碼裝置的模塊組成示意4、現有技術中解碼裝置的模塊組成示意5、本發明的主要技術特徵說明6、本發明的編碼方法流程示意7、本發明的解碼方法流程示意8、本發明的編碼裝置的模塊組成示意9、本發明的解碼裝置的模塊組成示意10、混合YUV4:4:4和YUV4:2:0像素格式的編碼方法流程示意圖
具體實施例方式以下通過特定的具體實例說明本發明的實施方式，本領域技術人員可由本說明書所揭示的內容輕易地了解本發明的其他優點與功效。本發明還可以通過另外不同的具體實施方式
加以實施或應用，本說明書中的各項細節也可以基於不同觀點與應用，在不背離本發明的精神下進行各種修飾或改變。
實施例中所提供的圖示僅以示意方式說明本發明的基本構想，遂圖式中僅顯示與本發明中有關的組件而非按照實際實施時的組件數目、形狀及尺寸繪製，其實際實施時各組件的型態、數量及比例可為一種隨意的改變，且其組件布局型態也可能更為複雜。實施例混合YUV4:4:4和YUV4:2:0像素格式的編碼方法第一個實施例是圖6所表示的編碼方法的一個具體和優化的實施，其中第一像素格式是YUV4:4:4格式而第二像素格式是YUV4:2:0格式；第一組編碼工具是無損編碼工具，即第一重構編碼單元的像素完全等同於第一編碼單元的像素，故相應的重構步驟和重構之後的下採樣步驟都可省略；第一組編碼工具僅使用選擇了第一組編碼工具的編碼結果作為最後編碼結果的那些編碼單元的像素為參考像素，故當選擇了第二組編碼工具的編碼結果作為最後編碼結果的時候，不需要用第二重構上採樣編碼單元的像素更新和替換放入第一像素格式的歷史像素暫存區的第一編碼單元的像素。本實施例的編碼方法的流程示意圖如圖10所示。本實施例的編碼方法包括如下步驟 I)讀入YUV4:4:4格式的一個圖像編碼單元，稱其為第一編碼單元；2)對所述第一編碼單元的色度分量進行下採樣，生成YUV4:2:0格式的編碼單元，稱其為第二編碼單元；3)用無損的第一組編碼工具對所述第一編碼單元進行第一編碼，產生第一組編碼工具的編碼結果；4)用第二組編碼工具對所述第二編碼單元進行第二有損編碼；5)用所述第二組編碼工具繼續對步驟4)的編碼結果進行第二無損編碼，產生第二組編碼工具的編碼結果；6)對步驟4)的編碼結果進行所述第二有損編碼的逆運算，產生出第二重構編碼單元，並把所述第二重構編碼單元的像素放入YUV4:2:0格式的歷史像素暫存區，用作所述第二組編碼工具的後續編碼的參考像素，由於編碼是有損的，所述第二重構編碼單元的像素不一定等於所述第二編碼單元的像素；7)使用步驟3)的編碼結果，計算第一組編碼工具的編碼結果的率-失真特性，由於第一組編碼工具是無損的，失真為零；8)對所述第二重構編碼單元進行色度上採樣，得到YUV4:4:4格式的第二重構上採樣編碼單元；9)使用步驟5)的編碼結果和步驟8)的重構上採樣結果，計算第二組編碼工具的編碼結果的率-失真特性；10)選擇率-失真特性最優的那組編碼工具的編碼結果作為對所述第一編碼單元的最後編碼結果，並輸出相應壓縮碼流數據；11)判斷率-失真特性最優的那組編碼工具是否是第一組編碼工具，如果是，則順序執行下一步驟，否則跳至步驟14)；12)把所述第一編碼單元的像素放入YUV4:4:4格式的歷史像素暫存區；13)用所述第二編碼單元的像素更新和替換步驟6)中放入第二像素格式的歷史像素暫存區的第二重構編碼單元的像素；14)判斷是否已經完成對一幅圖像所有編碼單元的編碼，如果是，則結束編碼，否則回到步驟I)，開始對下一個編碼單元的編碼。第二個實施例也是圖6所表示的編碼方法的一個具體和優化的實施，其中第一像素格式是YUV4:4:4格式而第二像素格式是YU V4:2:2格式,其他方面與第一個實施例相同。第三個實施例也是圖6所表示的編碼方法的一個具體和優化的實施，其中第一像素格式是YUV4:2:2格式而第二像素格式是YUV4:2:0格式,其他方面與第一個實施例相同。
權利要求
1.一種圖像編碼方法，其特徵在於包括以下步驟 1)讀入具有第一像素格式的一個圖像編碼單元，稱其為第一編碼單元； 2)對所述第一編碼單元的色度分量進行下採樣，保持亮度分量不變，生成第二像素格式的編碼單兀，稱其為第二編碼單兀； 3)用第一組編碼工具對所述第一編碼單元進行第一編碼，產生第一組編碼工具的編碼結果; 4)用第二組編碼工具對所述第二編碼單元進行第二有損編碼； 5)用所述第二組編碼工具繼續對步驟4)的編碼結果進行第二無損編碼，產生第二組編碼工具的編碼結果； 6)對步驟3)的編碼結果進行所述第一編碼的逆運算，產生出第一重構編碼單元，並把所述第一重構編碼單元的像素放入第一像素格式的歷史像素暫存區，用作所述第一組編碼工具的後續編碼的參考像素，由於編碼可能是有損的，所述第一重構編碼單元的像素不一定等於所述第一編碼單元的像素； 7)對步驟4)的編碼結果進行所述第二有損編碼的逆運算，產生出第二重構編碼單元，並把所述第二重構編碼單元的像素放入第二像素格式的歷史像素暫存區，用作所述第二組編碼工具的後續編碼的參考像素，由於編碼是有損的，所述第二重構編碼單元的像素不一定等於所述第二編碼單元的像素； 8)使用步驟3)的編碼結果和步驟6)的重構結果，計算第一組編碼工具的編碼結果的率_失真特性； 9)對所述第二重構編碼單元進行色度上採樣，得到第一像素格式的第二重構上採樣編碼單元； 10)使用步驟5)的編碼結果和步驟9)的重構上採樣結果，計算第二組編碼工具的編碼結果的率-失真特性； 11)選擇率-失真特性最優的那組編碼工具的編碼結果作為對所述第一編碼單元的最後編碼結果，並輸出相應壓縮碼流數據； 12)判斷率-失真特性最優的那組編碼工具是否是第一組編碼工具，如果是，則順序執行下一步驟，否則跳至步驟14)； 13)對所述第一重構編碼單元進行色度下採樣，得到第二像素格式的第一重構下採樣編碼單元，並用所述第一重構下採樣編碼單元的像素更新和替換步驟7)中放入第二像素格式的歷史像素暫存區的第二重構編碼單元的像素，然後跳至步驟15)； 14)用所述第二重構上採樣編碼單元的像素更新和替換步驟6)中放入第一像素格式的歷史像素暫存區的第一重構編碼單元的像素； 15)判斷是否已經完成對一幅圖像所有編碼單元的編碼，如果是，則結束編碼，否則回到步驟I)，開始對下一個編碼單元的編碼。
2.根據權利要求I所述的的編碼方法，其特徵在於所述第一像素格式是YUV4:4:4格式，所述第二像素格式是YUV4:2:0格式，所述第一組編碼工具是無損編碼工具，所述第一組編碼工具僅使用選擇了所述第一組編碼工具的編碼結果作為最後編碼結果的那些編碼單元的像素為參考像素，所述步驟I) 15)優化為以下步驟I) 14) I)讀入YUV4:4:4格式的一個圖像編碼單元，稱其為第一編碼單元；2)對所述第一編碼單元的色度分量進行下採樣，生成YUV4:2:0格式的編碼單元，稱其為第二編碼單元； 3)用無損的第一組編碼工具對所述第一編碼單元進行第一編碼，產生第一組編碼工具的編碼結果； 4)用第二組編碼工具對所述第二編碼單元進行第二有損編碼； 5)用所述第二組編碼工具繼續對步驟4)的編碼結果進行第二無損編碼，產生第二組編碼工具的編碼結果； 6)對步驟4)的編碼結果進行所述第二有損編碼的逆運算，產生出第二重構編碼單元，並把所述第二重構編碼單元的像素放入YUV4:2:0格式的歷史像素暫存區，用作所述第二組編碼工具的後續編碼的參考像素，由於編碼是有損的，所述第二重構編碼單元的像素不一定等於所述第二編碼單元的像素； 7)使用步驟3)的編碼結果，計算第一組編碼工具的編碼結果的率-失真特性，由於第一組編碼工具是無損的，失真為零； 8)對所述第二重構編碼單元進行色度上採樣，得到YUV4:4:4格式的第二重構上採樣編碼單元； 9)使用步驟5)的編碼結果和步驟8)的重構上採樣結果，計算第二組編碼工具的編碼結果的率-失真特性； 10)選擇率-失真特性最優的那組編碼工具的編碼結果作為對所述第一編碼單元的最後編碼結果，並輸出相應壓縮碼流數據； 11)判斷率-失真特性最優的那組編碼工具是否是第一組編碼工具，如果是，則順序執行下一步驟，否則跳至步驟14)； 12)把所述第一編碼單元的像素放入YUV4:4:4格式的歷史像素暫存區； 13)用所述第二編碼單元的像素更新和替換步驟6)中放入第二像素格式的歷史像素暫存區的第二重構編碼單元的像素； 14)判斷是否已經完成對一幅圖像所有編碼單元的編碼，如果是，則結束編碼，否則回到步驟I)，開始對下一個編碼單元的編碼。
3.一種圖像解碼方法，其特徵在於包括以下步驟 1)從輸入壓縮碼流中讀入屬於一個被編碼的編碼單元，稱其為被編碼單元，的一段壓縮碼流數據； 2)從所述一段壓縮碼流數據中解析出該段壓縮碼流數據所含的當前被編碼單元採用第一像素格式還是第二像素格式，並把該段壓縮碼流數據送往對應的第一組解碼工具或第二組解碼工具； 3)所述當前被編碼單元採用第一像素格式的場合，本步驟包括下列子步驟 3a)用所述第一組解碼工具對壓縮碼流進行解碼，產生出第一像素格式的第一重構編碼單元，並把所述第一重構編碼單元的像素放入第一像素格式的歷史像素暫存區，用作所述第一組解碼工具的後續解碼的參考像素； 3b)對所述第一重構編碼單元進行色度下採樣，得到第二像素格式的第一重構下採樣編碼單元，並把所述第一重構下採樣編碼單元的像素放入第二像素格式的歷史像素暫存區，用作所述第二組解碼工具的後續解碼的參考像素；3c)輸出所述第一重構編碼單元； 4)所述當前被編碼單元採用第二像素格式的場合，本步驟包括下列子步驟 4a)用所述第二組解碼工具對壓縮碼流進行解碼，產生出第二像素格式的第二重構編碼單元，並把所述第二重構編碼單元的像素放入第二像素格式的歷史像素暫存區，用作所述第二組解碼工具的後續解碼的參考像素； 4b)對所述第二重構編碼單元進行色度上採樣，得到第一像素格式的第二重構上採樣編碼單元，並把所述第二重構上採樣編碼單元的像素放入第一像素格式的歷史像素暫存區，用作所述第一組解碼工具的後續解碼的參考像素； 4c)輸出所述第二重構上採樣編碼單元； 5)判斷是否已經完成對一幅圖像或一個視頻序列所有被編碼單元壓縮碼流數據的解碼，如果是，則結束解碼，否則回到步驟I)，開始對下一個被編碼單元的解碼。
4.一種圖像編碼裝置，其特徵在於包括以下模塊 1)第一像素格式像素存儲模塊，用於存儲至少一個編碼單元的第一輸入像素； 2)使用第一組編碼工具的編碼模塊，用於對第一像素格式的第一輸入像素編碼單元進行編碼； 3)第一重構模塊，用於重構產生第一重構編碼單元，第一重構編碼單元的一個用途是用於第一組編碼工具所需的參考像素，另一個用途是用於計算第一率-失真特性； 4)第一像素格式的歷史像素暫存模塊，用於暫存第一組編碼工具所需的參考像素； 5)第一率-失真特性計算模塊，用於計算所述使用第一組編碼工具的編碼模塊產生的編碼結果的第一率-失真特性； 6)色度下採樣模塊，有兩個用途 6a)對第一像素格式的第一輸入像素進行色度下採樣，產生第二像素格式的第二輸入像素； 6b)對第一像素格式的參考像素進行色度下採樣，產生第二組編碼工具所需的第二像素格式的參考像素； 7)第二像素格式像素存儲模塊，用於存儲至少一個編碼單元的第二輸入像素； 8)使用第二組編碼工具的有損編碼模塊，用於對第二像素格式的第二輸入像素編碼單元進行有損編碼； 9)使用第二組編碼工具的無損編碼模塊，用於對所述使用第二組編碼工具的有損編碼模塊產生的編碼結果繼續進行無損編碼； 10)第二重構模塊，用於重構產生第二重構編碼單元，第二重構編碼單元的一個用途是用於第二組編碼工具所需的參考像素，另一個用途是經過色度上採樣後用於計算第二率_失真特性； 11)第二像素格式的歷史像素暫存模塊，用於暫存第二組編碼工具所需的參考像素； 12)色度上採樣模塊，有兩個用途 12a)對第二重構編碼單元進行色度上採樣，提供給第二率-失真特性計算模塊用於計算第二率-失真特性； 12b)對第二像素格式的參考像素進行色度上採樣，產生第一組編碼工具所需的第一像素格式的參考像素；13)第二率-失真特性計算模塊，用於計算所述使用第二組編碼工具的編碼模塊產生的編碼結果的第二率-失真特性； 14)最優編碼工具選擇模塊，連接於所述第一和第二率-失真特性計算模塊，用於對所述率-失真特性計算結果進行分析，並選擇出率-失真特性最優的那組編碼工具的編碼結果作為對當前第一輸入像素編碼單元的最後編碼結果； 15)碼流暫存輸出模塊，連接於所述最優編碼工具選擇模塊，用於暫存所述最優編碼工具編碼模塊所產生的壓縮碼流數據，並在特定的時間，把所述的壓縮碼流數據輸出到壓縮碼流。
5. 一種圖像解碼裝置，其特徵在於包括以下模塊 1)碼流像素格式解析模塊，用於接收從一外部裝置輸入的視頻壓縮碼流，解析出接收到的一段壓縮碼流數據內壓縮的當前編碼單元，稱為當前被編碼單元，是第一像素格式編碼單元還是第二像素格式編碼單元，選擇相對應的第一組解碼工具或第二組解碼工具對所述一段壓縮碼流數據進行解碼，並把所述一段壓縮碼流數據輸出至相對應的第一解碼重構模塊或第二解碼重構模塊； 2)第一解碼重構模塊，在所述當前被編碼單元是第一像素格式的場合，使用第一組解碼工具對第一像素格式的壓縮碼流數據進行解碼，重構產生出第一像素格式的第一重構編碼單元； 3)第一像素格式的歷史像素暫存模塊，用於暫存第一組解碼工具所需的參考像素； 4)第二解碼重構模塊，在所述當前被編碼單元是第二像素格式的場合，使用第二組解碼工具對第二像素格式的壓縮碼流數據進行解碼，重構產生出第二像素格式的第二重構編碼單元； 5)第二像素格式的歷史像素暫存模塊，用於暫存第二組解碼工具所需的參考像素； 6)色度下採樣模塊，在所述當前被編碼單元是第一像素格式的場合，對所述第一重構編碼單元的像素進行色度下採樣，產生第二組解碼工具後續解碼所需的第二像素格式的參考像素； 7)色度上採樣模塊，在所述當前被編碼單元是第二像素格式的場合，對所述第二重構編碼單元的像素進行色度上採樣，產生符合最終輸出像素格式要求的第一像素格式的重構像素，同時也是第一組解碼工具後續解碼所需的參考像素； 8)重構圖像暫存輸出模塊，連接於所述的第一解碼重構模塊和所述的色度上採樣模塊，用以暫存解碼重構的一幅或多幅圖像，並在預設的時間按照圖像的顯示順序，把圖像輸出。
全文摘要
本發明提供一種圖像和視頻序列的壓縮方法和裝置，包含兩組不同類型的編碼工具，分別對兩種不同格式的像素進行壓縮編碼。第一種格式的像素是原始輸入像素，經過對其色度分量的下採樣得到第二種格式的像素。編碼以具有一定像素的編碼單元為基本單位逐個進行。兩組編碼工具同時對兩種像素格式的編碼單元進行編碼，然後選擇率-失真特性最優的那組編碼工具的壓縮結果並將其放入輸出壓縮碼流。兩組編碼工具分別有兩種像素格式的歷史像素暫存區。這兩個暫存區通過上採樣和下採樣同步更新。本發明特別適用於既含有非連續色調的由計算機產生的文字、背景、圖形等非自然圖像又含有連續色調的攝像機拍攝的自然圖像的複合圖像和視頻序列的壓縮編碼。
文檔編號H04N7/26GK102761738SQ20111039902
公開日2012年10月31日 申請日期2011年12月5日 優先權日2011年12月5日
發明者林濤 申請人:上海天荷電子信息有限公司