在基於塊的視頻編碼系統中確定最佳網格的方法和設備的製作方法
2023-09-18 23:45:10
專利名稱：在基於塊的視頻編碼系統中確定最佳網格的方法和設備的製作方法
技術領域：
本發明涉及在基於塊的視頻信號編碼系統中使用的確定最佳網絡的方法和設備，更具體地，涉及確定最佳網絡以便改善表示對象圖象的視頻信號的編碼效率的方法和設備。
在數位電視系統，例如可視電話、電視會議和高清晰度電視系統中，由於視頻幀內的視頻行信號包括被稱為象素值的一系列數字數據，所以需要大量的數字數據來確定各視頻幀。但是，由於普通傳輸信道的可用頻率帶寬有限，所以為了經由這種傳輸信道傳送大量的數字數據，就必然要利用數據壓縮技術來壓縮或減少數據量，對於諸如可視電話或電視會議系統這樣的低位率視頻信號編碼器更是要這樣做。
在低位率編碼系統中編碼視頻信號的這種技術之一是所謂的面向對象的分析-綜合編碼技術，其中把輸入視頻圖象分成對象，利用不同的編碼信道處理定義各對象的運動、輪廓和象素數據的三組參數。
這種面向對象編碼方案的一個例子是所謂的運動圖象專家組(MPEG)階段4(MPEG-4)，這一編碼方案在諸如低位率通信、交互多媒體(例如遊戲、交互TV等)和區域監視的應用中提供允許基於內容的交互性、改善的編碼效率和/或普遍可達性的視聽編碼標準(參看例如MPEG-4VideoVerification Model Version 2.0，國際標準化組織，ISO/IEC JTC1/SC29/WG11 N1260，1996年3月)。
根據MPEG-4，輸入視頻圖象被分成多個視頻對象平面(VOP)，它們相當於用戶能夠存取和操作的位流中的實體。可將VOP稱為對象，可用其寬度和高度可以是圍繞各對象的16個象素的最小倍數的邊界矩形來表示，以便編碼器根據逐個VOP、即根據逐個對象地處理輸入視頻圖象。
就是說，用邊界矩形來表示各VOP，並且必需按照4∶2∶0的格式正確地設定邊界矩形的亮度(Y)和色度(U，V)數據之間的相位差。具體來說，由於在4∶2∶0格式中每一色度數據與4(＝2×2)個亮度數據相關，所以可以這樣實現這種相位差的正確設定，即首先分別把邊界矩形在上角坐標捨入為不大於包圍對象的最緊密的矩形的左上角坐標、例如(2n+1，2m+1)的最接近的偶數、例如(2n，2m)，n和m為整數。然後這樣確定該邊界矩形的右下角，即使得該邊界矩形的寬和高是16個象素的最小倍數。
MPEG-4中討論的邊界矩形的信息包括形狀信息和由亮度和色度數據組成的彩色信息，形狀信息用例如二進位掩碼來表示，與亮度數據相關。在二進位掩碼中，一個二進位值、例如0被用來表示位於邊界矩形內的對象之外的象素，另一二進位值、例如1被用來表示該對象內的象素。因此，VOP內的亮度數據被根據二進位掩碼進行處理，可將其稱為亮度形狀數據，由此選擇了待編碼的可用亮度數據。
為了處理在邊界矩形內的亮度數據，邊界矩形一般被分成若干個利用搜索網格產生的同樣大小的搜索塊，然後利用各種基於塊的編碼技術、例如DCT編碼技術順序地編碼這些同樣大小的搜索塊並逐塊地進行量化。
但是，由於編碼效率受到對象的邊界區域的顯著影響，所以非常希望減少包括了對象的邊界的搜索塊的數目來減少數位訊號的數據量。
因此，本發明的主要目的是提供在基於塊的視頻信號編碼系統中使用的、確定用於視頻對象平面的最佳網絡的方法和設備，該方法和設備能夠提供最少的邊緣塊、即環繞對象的邊界的搜索塊，由此改善了視頻信號的編碼效率。
本發明的另一目的是提供確定用於視頻對象平面的最佳網格的方法和設備，該方法和設備能夠有效地提供具有最小平均活動性的邊緣塊，由此改善了視頻信號的編碼效率。
根據本發明，提供了在基於塊的視頻信號編碼系統中使用的、確定最佳搜索網格的方法和設備，最佳搜索網格把對象的視頻信號的視頻對象平面分成多個同樣大小的搜索塊，每一搜索塊有N×N個象素，N為正整數，該方法包括以下步驟(a)產生多個搜索網格，每一搜索網格相對於相鄰搜索網格移位了預定的間距；(b)利用對象的形狀信息檢測被包括在每一搜索網格內的邊緣塊，邊緣塊指具有對象的一部分邊界的搜索塊；以及(c)根據邊緣塊的數目和網格在邊緣塊內的象素值選擇搜索網格，以便把所選的搜索網格確定為最佳搜索網格。
參看附圖閱讀最佳實施例的以下描述將清楚本發明的上述和其它目的及特點，其中
圖1是根據本發明的用於確定VOP的最佳網格的設備的方框圖；圖2表示由一個搜索網格產生的搜索塊和在對象的邊界上形成的邊緣塊；圖3示出一示範性幀來表示搜索網格的偏移。
圖1表示本發明一最佳實施例的在基於塊的視頻信號編碼系統中使用的、確定用於視頻對象平面(VOP)的最佳網格的設備10的方框圖，該設備10包括搜索網格產生電路20-1至20-M、邊緣塊檢測電路40-1至40-M、活動性計算電路73-1至73-M、第一和第二比較電路50、70以及多路復用器75。
表示對象邊界的形狀信息被提供給每一邊緣塊檢測電路40-1至40-M，形狀信息一般，用二進位掩碼、即「0」和「1」來表示。在此期間，包括亮度和色度數據的視頻幀信號被傳送給每一活動性計算電路73-1至73-M。
搜索網絡產生電路20-1至20-M分別產生第一至第M個搜索網格，每一搜索網格可以通過沿水平和垂直方向將其相鄰網格移位預定數目的象素位置、例如一個象素或兩個象素來獲得。
搜索網格產生電路20-1至20-M分別向邊緣塊檢測電路40-1至40-M、活動性計算電路73-1至73-M以及向多路復用器75提供搜索網格信息、例如相應搜索網格的偏移。參看圖2，該圖概略地示出覆蓋了幀21的一示範性搜索網絡22。搜索網格22是無數的格子，其每一同樣大小的單元形成搜索塊23。搜索塊23包含M個象素，M等於N×N，N是例如8或16的整數，搜索塊的大小M依賴於待編碼信號的類型。
由於搜索網格22可移位，所以可有相應於多個不同偏移的多個移位位置，其中定義一偏移來表示幀21的最遠的左上角象素和搜索網格22的最遠的左上角搜索塊的象素之間的位移。參看圖3，如果最左上角搜索塊的(1，1)象素位於幀的(3，2)象素處，就把搜索網格稱為相應於偏移(3，2)的(3，2)搜索網格。同樣地，把相應於偏移(2，3)的搜索網格稱為(2，3)搜索網格，依此類推。
一旦搜索網格被移位，就可能會產生不完整的搜索塊24，其中不完整的搜索塊是如圖2所示沒有N×N個象素的搜索塊。由於搜索網格可以逐個象素地被移位，所以如果一個搜索塊具有N×N個象素，就可以有相應於M(＝N×N)個偏移的M(＝N×N)個被移位的搜索網格。但是，如果需要的話，可以每兩個象素地移位搜索網格，以便按照4∶2∶0-格式編碼色度電平，每一色度電平與四個最接近的亮度電平相關。
即使一對象也許遠大於搜索塊，但也可選擇搜索網格使該對象可被該搜索網格的最少數目的搜索塊所包圍。
回到圖1，對形狀信息和由每一相應的搜索網格產生電路20-1至20-M提供的搜索網格信息作出響應，每一邊緣塊檢測電路40-1至40-M檢測邊緣來產生表示邊緣塊的位置的邊緣塊信息。如圖2所示，邊緣塊25指包括對象的一部分邊界26的搜索塊，即在這些搜索塊內，表示形狀信息的二進位值不相同。換句話說，如果二進位值在一搜索塊內不相同，即一些二進位值是「0」而另一些二進位值是「1」，就把該搜索塊稱為邊緣塊，但在其內全部二進位值都相同、即都是0或都是1的搜索塊不是邊緣塊。
因為編碼效率對於對象的邊界是決定性的，所以我們在這一實施例中挑選出了「邊緣」。在本發明的另一實施例中，如果需要的話，我們可以用「對象」來代替「邊緣」。在這種情況下，表示一對象的、包括二進位值「1」的搜索塊成為對象塊，所以可以通過替換邊緣塊信息來產生表示對象塊的位置的對象塊信息。
回到圖1，每一邊緣塊檢測電路40-1至40-M通過導線L11至LM1向每一相應的活動性計算電路73-1至73-M和向多路復用器75傳送在相應搜索網格上的邊緣塊信息。
每一邊緣塊檢測電路40-1至40-M還對在相應搜索網格上的邊緣塊的個數進行計數以產生邊緣塊數目信號。如果任一不完整的搜索塊包含對象的一部分邊界，則因為不能夠對不完整的搜索塊執行通常的編碼，所以最好給相應搜索網格的邊緣塊數目信號指定最大值，以便該搜索網格在接著的編碼過程中不大重要。邊緣塊檢測電路40-1至40-M的全部邊緣塊數目信號通過導線L12至LM2提供給第一比較電路50。
第一比較電路50對全部邊緣塊數目相互進行比較，選擇全部邊緣塊數目中的最小值來向第二比較電路70提供第一選擇信號，該第一選擇信號表示具有最少數目的邊緣塊的搜索網格。如果一個以上的搜索網格具有同一最小數目的邊緣塊、就選擇所有相應的搜索網格並將該最小值作為第一選擇信號傳送給第二比較電路70。
在此期間，對每一邊緣塊檢測電路40-1至40-M傳送的邊緣塊信息作出響應，每一活動性計算電路73-1至73-M如下地計算被包括在相應搜索網格內的每一邊緣塊的活動性值AV=1Mi=1Nj=1N(H(i,j)-m)2]]>其中的M等於N×N，一邊緣塊內象素的數目，H(i，j)表示該邊緣塊內位置(i，j)處的象素值、例如亮度電平或色度電平，m是該邊緣塊內全部象素的平均象素值，i和j分別是不大於整數N的正整數值。然後，每一活動性計算電路73-1至73-M計算相應搜索網格的平均活動性值，它表示在該相應搜索網格內的全部邊緣塊的活動性值的平均值。
對第一比較電路50提供的第一選擇信號和活動性計算電路73-1至73-M提供的全部平均活動性值作出響應，第二比較電路70對相應於第一選擇信號的搜索網格的全部平均活動性值相互進行比較，選擇上述搜索網格的最小平均活動性值作為第二選擇信號提供給多路復用器75，該第二選擇信號表示一些搜索網格中的具有邊緣塊的最小平均活動性值的一搜索網格。
在本發明的另一最佳實施例中，如果一個以上的搜索網格被第一比較電路50選擇，具有同一最小邊緣塊數目的搜索網絡，就可以首先只對選擇的搜索網格而不對全部搜索網格計算平均活動性值，然後可以在選擇的搜索網格內選擇具有最小平均活動性值的搜索網格。
對第二選擇信號作出響應，多路復用器75就根據每一搜索網格產生電路20-1至20-M傳送的搜索網格信息在具有最小邊緣塊數目的搜索網格內選擇具有最小平均活動性值的搜索網格。然後，根據每一邊緣塊檢測電路40-1至40-M傳送的邊緣塊信息，多路復用器7 5把搜索網格信息和在選出的搜索網格上的邊緣塊信息作為當前幀的最佳搜索網格信息進行傳送。
把該最佳搜索網格信息、例如第K個搜索網格信息提供給多個編碼處理器(未示出)、例如DCT和Q處理器，以便對視頻信號進行編碼。因此，這些編碼處理器能夠在最佳搜索網格的逐個搜索塊的基礎上進行視頻信號的編碼。
雖然已相對於特定實施例描述了本發明，但本領域的普通技術人員將認識到，在不違背所附權利要求書中限定的發明精神和不超出其範圍的前提下，可以對本發明作出各種改進。
權利要求
1.在基於塊的視頻信號編碼系統中使用的、用於確定把對象的視頻信號的視頻對象平面分成多個同樣大小的搜索塊的最佳搜索網格的方法，每一搜索塊具有N×N個象素，N為正整數，所述方法包括以下步驟(a)產生多個搜索網格，其中每一搜索網格相對於相鄰搜索網格移位了預定的間距；(b)利用對象的形狀信息檢測包括在每一搜索網格內的邊緣塊，其中邊緣塊指具有對象的一部分邊界的搜索塊；以及(c)根據邊緣塊的數目和在邊緣塊內的象素值選擇搜索網格，以便把所選的搜索網格確定為最佳搜索網格。
2.根據權利要求1所述的方法，其中所述步驟(c)包括以下步驟(c1)選出具有最小數目的邊緣塊的搜索網格；(c2)如果多個搜索網格具有同一最小數目的邊緣塊，就根據被包括在這些搜索網格的每一個內的邊緣塊的象素值計算這些搜索網格的每一個的平均活動性值，平均活動性值表示邊緣塊的象素值之間的離散程度；(c3)檢測這些搜索網格中的具有最小平均活動性值的搜索網格；以及(c4)把檢測的搜索網格確定為最佳搜索網格。
3.根據權利要求2所述的方法，其中所述步驟(c2)還包括以下步驟(c21)根據被包括在所述每一搜索網格內的邊緣塊的象素值計算在每一搜索網格內的每一邊緣塊的活動性值，各邊緣塊的各活動性值計算如下AV=1Mi=1Nj=1N(H(i,j)-m)2]]>其中的M是在一邊緣塊內的N×N個象素的數目，H(i，j)表示該邊緣塊內的象素位置(i，j)處的象素值，m是該邊緣塊內全部象素值的平均象素值，i和j分別是不大於整數N的正整數；以及(c22)對在一搜索網格內的全部邊緣塊的全部活動性值求平均來產生該搜索網格的平均活動性值。
4.根據權利要求3所述的方法，其中每一搜索網格逐個象素地彼此移位。
5.根據權利要求4所述的方法，其中的象素值是象素的亮度電平。
6.在基於塊的視頻信號編碼系統中使用的、用於確定把對象的視頻信號的視頻對象平面分成多個同樣大小的搜索塊的最佳搜索網格的設備，每一搜索塊具有N×N個象素，N為正整數，所述設備包括產生多個搜索網格的裝置，其中每一搜索網格相對於相鄰搜索網格移位了預定的間距；利用對象的形狀信息檢測被包括在每一搜索網格內的邊緣塊的裝置，邊緣塊指具有對象的一部分邊界的搜索塊；以及根據邊緣塊的數目和在邊緣塊內的象素值選擇搜索網格，以便把所選的搜索網格確定為最佳搜索網格的裝置。
7.根據權利要求6所述的設備，其中所述選擇裝置包括選出具有最小數目的邊緣塊的搜索網格的裝置；如果多個搜索網格具有同一最小數目的邊緣塊，就根據被包括在這些搜索網格的每一個內的邊緣塊的象素值計算這些搜索網格的每一個的平均活動性值的裝置，平均活動性值表示邊緣塊的象素值之間的離散程度；檢測這些搜索網格中的具有最小平均活動性值的搜索網格的裝置；以及把檢測的搜索網格確定為最佳搜索網格的裝置。
8.根據權利要求7所述的設備，其中所述計算裝置包括根據被包括在所述每一搜索網格內的邊緣塊的象素值計算在每一搜索網格內的每一邊緣塊的活動性值的裝置，各邊緣塊的各活動性值計算如下AV=1Mi=1Nj=1N(H(i,j)-m)2]]>其中的M是在一邊緣塊內的N×N個象素的數目，H(i，j)表示該邊緣塊內的象素位置(i，j)處的象素值，m是該邊緣塊內全部象素值的平均象素值，i和j分別是不大於整數N的正整數；以及對在一搜索網格內的全部邊緣塊的全部活動性值求平均來產生該搜索網格的平均活動性值的裝置。
9.根據權利要求8所述的設備，其中每一搜索網格逐個象素地彼此稱位。
10.根據權利要求9所述的設備，其中的象素值是象素的亮度電平。
全文摘要
在基於塊的視頻信號編碼系統中使用的、通過把對象的視頻對象平面分成多個同樣大小的搜索塊來確定搜索網格的方法，該方法產生多個搜索網格，每一搜索網格相對於相鄰搜索網格移位了預定的間距，並檢測被包括在每一搜索網格內的邊緣塊。然後，該方法根據邊緣塊的數目和在邊緣塊內的象素值選擇搜索網格。
文檔編號H04N7/32GK1168060SQ9711173
公開日1997年12月17日 申請日期1997年4月24日 優先權日1996年5月23日
發明者金鎮憲 申請人:大宇電子株式會社