二進位圖象的內插方法
2023-08-03 04:54:36 1
專利名稱：二進位圖象的內插方法
技術領域：
本發明涉及二進位圖象的內插方法，並特別涉及根據上下文(相鄰象素的狀態值)確定用於判定要由內插產生的象素值的可變閾值的改進的內插方法。
近來，處理形狀信息的功能已經添加到MPEG-4中。涉及圖象的對象信息的形狀信息表示為二進位圖象。為了對這種二進位圖象進行編碼，MPEG-4採用了基於上下文的運算編碼器(CAE)。對於有損形狀編碼在每一二進位形狀的宏塊中執行下降採樣方法和上升採樣方法。形狀圖象分割為具有M×M塊規格的形狀塊。
下降採樣是指根據給定的轉換率用來簡化二進位圖象塊的方法。簡化的圖象塊與轉換率一同傳輸。這裡，轉換率的確定要使得原始二進位圖象塊與後來恢復的二進位圖象塊之間的誤差在預定的範圍內。
通過下降採樣獲得的簡化的圖象塊由CAE編碼並然後傳輸。
上升採樣方法用來恢復這種簡化的圖象塊。通過內插上升採樣用於恢復簡化的圖象塊為具有原始的二進位圖象塊規格的塊。
在這種上升採樣處理中，有效的內插方法必須不會在恢復的二進位圖象中引起過分的分塊和平滑效果。
為了滿足上述要求，本發明的一個目的是要提供一種改進的內插方法，其中上下文(由內插產生的與一個象素(被內插的象素)相鄰的參照象素的狀態值)用於內插，由此降低分塊和平滑效果。
為了達到以上目的，提供了一種用於二進位圖象內插方法，用於將通過下降採樣簡化的二進位圖象塊恢復為具有原始的二進位圖象塊規格的塊的方法，該方法包括以下步驟(a)圍繞一個被內插的象素，準備表示對應於簡化圖象的象素(參照象素)上下文(狀態值)CP各個閾值的閾值表；(b)基於鄰接於和／或圍繞被內插的象素的象素(對象象素)的象素值計算內插值；(c)計算作為圍繞被內插象素的參照象素狀態值的上下文CP；(d)從閾值表獲得對應於計算的上下文的閾值；以及(e)比較內插值與步驟(d)的閾值，並如果內插值大於閾值則設置被內插象素的象素值為「1」，而如果內插值等於或小於閾值則設置被內插象素的象素值為「0」。
步驟(a)最好包含以下子步驟(a1)計算參照象素可能的總和；(a2)計算對於參照象素可能總和的可能的內插值；(a3)對於參照象素可能的總和設置備選閾值；以及(a4)對於對應於參照象素可能總和的每一上下文，從備選閾值選擇一個閾值，結果得到一個閾值表。
通過參照附圖詳細說明其優選實施例，本發明以上的目的和優點將更為明顯。這些附圖是
圖1A是表示根據MPEG-4用於二進位圖象的編碼和解碼方法的示意圖；圖1B是其中進行圖1A中所示下降採樣步驟的一形狀宏塊；圖1C是其中進行圖1A中所示上升採樣步驟的一形狀宏塊；圖2是表示傳統的內插方法的示意圖；圖3A到3D是表示根據本發明的內插方法的示意圖；圖4表示閾值表的一例；圖5A是表示參照象素值的總和與可能的內插值之間的關係的表；圖5B是表示對於參照象素可能的總和可能的備選閾值一例的一個表；圖6是表示根據可能的上下文組合在圖5B的備選閾值中選擇的中間值的一個表；圖7是一個閾值表，該表是根據可能的上下文組合考慮圖6所示閾值的限定範圍準備的；以及圖8A到8C表示根據本發明的內插方法與傳統方法比較的效果。
圖1A中，根據MPEG-4對於具有對象信息的二進位圖象的編碼和解碼方法包含上升採樣步驟100、編碼步驟102、反編碼步驟104及上升採樣步驟106。
在下降採樣步驟100中，將一個M×N二進位圖象塊轉換為(M×CR)×(N×CR)二進位圖象塊。這裡，CR是表示通過下降採樣獲得的簡化的圖象塊的對原始二進位圖象塊的規格比例的轉換率。
在編碼步驟102中，簡化的圖象被編碼。為了對包含對象二進位圖象編碼，MPEG-4採用基於運算解碼器(CAE)的上下文。CAE由於其簡潔性比較高的編碼效率在MPEG-4檢驗模型中被採用作為編碼方法。
通過編碼步驟102被編碼的簡化的圖象經過傳輸路徑傳輸。在反編碼步驟104中，被編碼的簡化的圖象恢復為簡化的圖象。在上升採樣步驟106中，對簡化的圖象塊進行內插以便獲得具有原始二進位圖象規格的塊。
圖1B詳細表示圖1A所示的下降採樣步驟100。二進位圖象的一個宏塊如圖1B所示，其中由「0」所示的圓圈對應於二進位象素。從圖1B的圓圈可見，在宏塊中由符號「0」表示的象素被轉換為由「X」表示的象素。這裡，宏塊的尺寸取決於轉換率而定。MPEG-4的轉換率可以是1、1／2或1／4。這種轉換是對所有宏塊進行的，結果得到一個簡化的圖象。在圖1B中，一個宏塊的四個象素(由「0」指示)簡化為一個象素201，即轉換率等於1／2。
在下降採樣步驟中，如果四個象素(由「0」指示)的一半或者更多等於「1」，則被轉換的象素的象素值變為「1」。這裡，具有值「1」的象素表示包含對象的畫面部分，而具有值「0」的象素表示對象之外的畫面部分。即包含具有值「1」的象素又包含具有值「0」的象素的宏塊表示對象信息的邊界塊。
圖1C詳細表示圖1A所示的上升採樣步驟106。在上升採樣步驟期間，具有原始的二進位塊規格的宏塊的每一象素通過使用簡化圖象塊的象素的內插被恢復。在圖1C中，由「X」指示的象素表示恢復的形狀塊的象素，由「0」指示的象素表示簡化的形狀塊的象素。
基本上來說，恢復的形狀塊300的象素(由「X」指示)，如圖1C的圓圈303所示，是從簡化的形狀宏塊的鄰近的象素(由「0」指示)獲得的。
例如，上邊界301和左邊界302的象素分別被稱為屬於上宏塊和左宏塊的下降採樣象素。
當宏塊300下邊界和右邊界的象素涉及到塊300之外的象素時，能夠通過延伸如圖1C所示的塊內的最外面的象素而獲得塊外的象素。
參見圖2，以下將詳細說明傳統的內插方法。
圖2中，象素A，B，C，D，E，F，G，H，I，J，K和L表示內插中有關的對象象素，而象素P1，P2，P3和P4表示通過內插獲得的內插象素。這裡，對象象素A，B，C，D，E，F，G，H，I，J，K和L圍繞被內插的象素P1，P2，P3和P4。而且，對象象素屬於簡化的圖象，而被內插的象素則屬於被恢復的二進位圖象。
首先，獲得一內插值INP[P]如下INP[P1]=r*A+s*(B+C+D)+t*(E+F+G+H+I+J+K+L)INP[P2]=r*B+s*(A+C+D)+t*(E+F+G+H+I+J+K+L)INP[P3]=r*C+s*(A+B+D)+t*(E+F+G+H+I+J+K+L)INP[P4]=r*D+s*(A+B+C)+t*(E+F+G+H+I+J+K+L)其中，r，s和t為根據對被內插的象素距離的權值，r是最靠近被內插的象素的對象象素的權值，s是次最靠近被內插的對象象素的權值，且t是圍繞次最靠近象素的對象象素的權值。滿足條件t＞r＞s。
然後，比較獲得的內插值INP[P]和閾值THR。這裡，閾值THR設置為最大可能的內插值的一半的一個值。例如，如果t，r和s分別為4，2和1，那麼閾值設置為8。如果內插值INP[P]大於閾值THR，則該內插象素的象素值變為「1」。否則，內插象素值變為「0」。
這裡，當可能使用多個內插值INP時，則只使用一個閾值THR。因而如果內插值INP[P]和閾值THR彼此接近，則內插的象素的象素值是否正確變得不清楚。於是，在恢復的二進位圖象中呈現嚴重的成塊或平滑現象。
為了降低成塊或平滑效果，根據上下文(圍繞內插象素的象素(參照象素)狀態值)適當地確定與內插值INP[P]進行比較的一個閾值，由此降低在判定內插象素的象素值中的不確定性。
以下將參照圖3A到3D描述根據本發明一種改進的內插方法。在圖3A到3D中，標以「0」的象素A，B，C，D，E，F，G，H，I，J，K和L表示屬於簡化的圖象的象素，而標以「X」的象素P1，P2，P3和P4表示恢復的二進位圖象的內插象素。
首先，通過如下的對象象素獲得內插值INP[P]INP[P1]=r*A+s*(B+C+D)+t*(E+F+G+H+I+J+K+L)INP[P2]=r*B+s*(A+C+D)+t*(E+F+G+H+I+J+K+L)INP[P3]=r*C+s*(A+B+D)+t*(E+F+G+H+I+J+K+L)INP[P4]=r*D+s*(A+B+C)+t*(E+F+G+H+I+J+K+L)
其中，r，s和t為根據對被內插的象素距離的權值，即r是最靠近被內插的象素的對象象素的權值，s是次最靠近被內插的對象象素的權值，且t是圍繞次最靠近象素的對象象素的權值。滿足條件t＞r＞s。這裡，r，s和t分別為4，2和1。
然後，通過以下公式(1)計算作為參照象素的狀態值的上下文CPCP=0kOK2K...(1)]]>其中P表示內插象素的位置，O表示參照象素，而k為參照象素的指數及權值。這裡，指數k依照內插象素和相鄰對象象素之間的相對位置而變化。圖3A到3D表示當對被內插的象素P1，P2，P3和P4進行內插時參照象素的指數。
然後，參照圖4所示的閾值表判定取決於計算出的上下文的閾值THRc。圖4的閾值是由試驗通過比較原始圖象和恢復的圖象使得恢復誤差為最小而獲得的。
在圖4的閾值表中，上下文值按16為單位的規格安排在左列，而對應於每一上下文值的閾值值安排在每一行。
由於用於計算上下文的參照象素的數為8，故潛在的組合數變為256。
圖3A中，如果上下文值為「0」，參照象素「FELKJIHG」的值變為「00000000」。而且，如果參照象素的值分別為「1」和「2」，則參照象素值變為「10000000」及「01000000」。又如果上下文值為255，則參照象素值變為「11111111」。
圖4中，標號400，402和404表示當上下文值分別為0，1和2時的閾值。而且，標號406表示上下文值為255時的閾值。這就是說，當上下文值為0，1和2時，閾值分別等於5，6和6。而且，當上下文值為255時，閾值等於如標號406所示的14。
對內插值INP[P]和根據對象象素的上下文的閾值THRc進行比較以便確定內插象素的象素值。
如果內插值INP[P]大於閾值THRc，則設置內插象素的象素值為「1」。否則內插象素的象素值設置為「0」。
本發明中使用的閾值表在考慮參照象素值中被有效確定。以下將參照圖5到7說明用於在考慮參照象素值中比較閾值表的過程。
1)計算參照象素可能的和。
這裡，參照象素的和表示有助於計算上下文的參照象素的象素值的和。例如，它表示由圖3中的E，F，G，H，I，J，K，和L表示的參照象素的象素值的和。
圖3中，由於參照象素的數目等於8，參照象素可能的和為1，2，3，4，5，6，7和8之一。
2)對於可能的參照象素和計算可能的內插值。
圖5A表示參照象素和與可能的內插值之間的關係。在圖5A中，參照象素的和根據大小排在左列，而和的可能的內插值排在右列。這裡，權值r，s和t分別為4，2和1。
例如，如果參照象素的和等於「0」，即參照象素的所有的象素值等於「0」，則內插值為0，2，4，6，8和10之一。如果相鄰對象象素A，B，C和D的所有象素值為「0」，則內插值變為「0」。而且如果相鄰對象象素A，B，C和D的所有象素值為「1」，則內插值變為「10」。
總之，如果參照象素的和等於「8」，即如果參照象素的象素值為「0」，則內插值變為8，10，12，14，16和18之一。
3)確定對於參照象素可能的和的可能的備選閾值。
圖5B表示對應於可能的內插值的可能的閾值。圖5B中，可能的備選閾值為圖5B中按大小排列的每一對相鄰可能的閾值的平均值。
4)在可能的備選閾值中選擇對於對應於參照象素可能的和的每一上下文值的閾值。這裡閾值可能是可能閾值中間的平均。
5)通過使上下文與選擇的閾值匹配而準備表。這裡，對於對應於參照象素的和每一上下文與閾值匹配。
圖6表示根據上下文可能的組合，對應於備選閾值的平均值，從圖5B的備選閾值中選擇的閾值。
圖6中，標號600，602和604表示當上下文值分別為0，1和2時的閾值。而且，標號606表示當上下文值為255時的閾值。即，如果上下文值等於0，1和2，則閾值分別變為「5」，「6」和「6」。又如果上下文值等於255。則閾值變為「13」。
如果上下文值等於「0」，即如果圖5A中的參照象素的和為「0」，則如圖5B所示備選閾值包含-1，1，3，5，7，9和11，並選擇這些值的平均值，即5，為閾值。
如果上下文值等於「1」，即如果圖5A中參照象素的和為「1」，則如圖5B所示備選閾值包含0，2，4，6，8，10和12，並選擇它們的平均值即6作為閾值。
如果上下文值等於「2」，即如果圖5A中參照象素的和為「2」，則如圖5B所示備選閾值包含1，4，5，7，9，11和13，並選擇它們的平均值即7作為閾值。
如果上下文值等於「255」，即如果圖5A中參照象素的和為「8」，則如圖5B所示備選閾值包含7，9，11，13，15，17和19，並選擇它們的平均值即13作為閾值。
而且，圖7是在考慮關於圖6的閾值±2可變範圍之下獲得的一個閾值表，即，±2可變範圍閾值施加到實際的二進位圖象，並然後選擇表示恢復期間最小誤差的閾值。
在本發明的內插方法中，通過使用圍繞內插象素的參照象素的狀態值(上下文)消除了內插值與閾值之間在比較中的不確定性，因而降低了恢復的二進位圖象中分塊和平滑現象。
圖8A到8C表示根據本發明的內插方法與傳統方法對比的效果。詳細來說，圖8A表示原始的二進位圖象，圖8B表示傳統的二進位內插的結果，而圖8C表示根據本發明的內插的結果。
正如從圖8B和8C可見，與傳統的雙線性方法比較明顯降低了分塊效果。
如上所述，在本發明的內插方法中，通過使用圍繞內插象素的參照象素的狀態值(上下文)消除了內插值與閾值之間比較的不確定性，因而降低了恢復的二進位圖象中的分塊和平滑現象。
在本發明的內插方法中，由於從閾值表能夠迅速獲得根據上下文組合可變的閾值，故能夠迅速進行內插。
權利要求
1．一種用於二進位圖象內插方法，用於將通過下降採樣簡化的二進位圖象塊恢復為具有原始的二進位圖象塊規格塊規格的方法，該方法包括以下步驟(a)圍繞一個被內插的象素，準備表示對應於簡化圖象的象素(參照象素)上下文(狀態值)CP的各個閾值的閾值表；(b)基於鄰接於和／或圍繞被內插的象素的象素(對象象素)的象素值計算內插值；(c)計算作為圍繞被內插象素的參照象素狀態值的上下文CP；(d)從閾值表獲得對應於計算的上下文的閾值；以及(e)對內插值與步驟(d)的閾值進行比較，並如果內插值大於閾值則設置被內插象素的象素值為「1」，而如果內插值等於或小於閾值則設置被內插象素的象素值為「0」。
2．如權利要求1的內插方法，其中通過使用以下等式的內插方法計算步驟(b)INP[P1]=r*A+s*(B+C+D)+t*(E+F+G+H+I+J+K+L)INP[P2]=r*B+s*(A+C+D)+t*(E+F+G+H+I+J+K+L)INP[P3]=r*C+s*(A+B+D)+t*(E+F+G+H+I+J+K+L)INP[P4]=r*D+s*(A+B+C)+t*(E+F+G+H+I+J+K+L)其中P1，P2，P3和P4表示內插象素，A，B，C和D為與內插象素相鄰的對象象素，E，F，G，H，I，J，K和L為圍繞象素A，B，C和D的對象象素，INP[P]表示內插象素P的內插值，r是最靠近被內插的象素的對象象素的權值，s是次最靠近被內插的對象象素的三個對象象素的權值，且t是圍繞次最靠近象素的八個對象象素的權值，並滿足條件t＞r＞s。
3．如權利要求1的內插方法，其中使用以下等式進行步驟(c)的計算CP=0kOK2K]]>其中P表示內插象素的位置，O表示參照象素，而k為參照象素的指數。
4．如權利要求3的內插方法，其中步驟(c)的指數k根據對於相鄰象素的內插象素的位置而變化。
5．如權利要求1的內插方法，其中步驟(a)包括以下子步驟(a1)計算參照象素可能的和；(a2)對於參照象素可能的和計算可能的內插值；(a3)對於參照象素可能的和設置可能的備選閾值；以及(a4)對於對應於參照象素可能的和的每一個上下文從備選閾值中選擇閾值，結果得到閾值表。
6．如權利要求5的內插方法，其中步驟(a3)的備選閾值為按大小排列的可能的閾值的每一相鄰對的平均值。
7．如權利要求5的內插方法，其中步驟(a4)中，選擇對於每一上下文的備選閾值的平均值作為閾值。
8．如權利要求7的內插方法，還包括以下步驟通過允許對於被選擇的閾值一預定的可變範圍而調節表的閾值，並然後對於每一上下文選擇表示當閾值施加到實際的二進位圖象時恢復中的最小誤差的閾值。
全文摘要
本發明為一種改進的內插方法,其中根據作為相鄰象素狀態值的上下文使用一閾值確定由內插產生的象素的象素值。在該內插方法中,通過使用上下文消除了內插值和閾值之間的不確定性,因而降低了恢復的二進位圖象中的分塊和平滑現象。
文檔編號H04N7/46GK1205601SQ97123470
公開日1999年1月20日 申請日期1997年12月29日 優先權日1997年7月10日
發明者趙大星, 申在燮 申請人:三星電子株式會社